乐商网_商业资讯网站
您当前的位置 : 乐商网  >  资讯
算力协同·推理破局丨大模型推理技术与工程实践Meetup在京举办
2026-10-30 13:48:57 来源:互联网 阅读:-

2026年10月22日,“算力协同·推理破局”大模型推理技术与工程实践Meetup在北京举行。本次活动面对Token需求暴增、模型规模持续膨胀的行业现状,集结众多一线技术专家,围绕大模型推理创新、Token工厂构建、生产环境部署等议题,探讨如何以软硬协同的方式,帮助企业和开发者突破算力困局,支撑智能创新。

华为计算昇腾生态创新中心业务负责人赵满意在开场表示,Agent的全面爆发,带来对算力的旺盛需求,国内每日推理Token已超500万亿量级,华为一方面基于昇腾超节点实现软硬件持续创新,另一方面通过生态合作繁荣生态。从今年6月起,CANN社区已成为国内活跃度最高的开源社区,7月28日起,昇腾也成为Pytorch社区官方支持的,首个来自中国的算力平台,昇腾已经见跨越生态拐点。希望以更多技术交流活动,汇聚产业链上下游,以更紧密的算力协同实现推理破局,打造共同繁荣的AI生态。

模型规模和精度需求与日俱增,软硬协同成破局良方

在人工智能产业日益火热的当下,算力资源是否“充足”、是否“可用”、是否“高效”等难题被推向台前,产业意识到不仅要提升算力的“量”,还需要优化算力的“质”。活动现场,来自产业一线的多位技术专家就此带来主题分享。

Mooncake核心贡献者吴兴元认为,智能体时代下,产业关注点开始从卡数转向每天的Token产出、时延、稳定性和单位成本,企业需要“可进入生产系统”的高品质AI Token。对此,Mooncake架构通过异构推理等技术,在系统架构、PD分离、高性能通信库、KVCache等方面进行工程优化,让适合的任务运行在适合的硬件上,极致利用硬件性能,保障算力品质,为客户提供高效、稳定的“Token工厂”服务。

Mooncake核心贡献者吴兴元

值得关注的是,异构协同让更多国内算力加速进入高品质AI Token生产体系。华为昇腾推理服务化架构师陈波介绍了Mooncake架构基于昇腾的实践,表示昇腾主流推理引擎支持MemCache和MoonCake两种池化方案,同时在传输接口、CANN-HIXL、CS架构等方面做了大量工作,目前Mooncake已在Ascend 950实现全硬件形态适配,带宽利用率可达80%以上,更充分发挥异构协同的优势,进一步优化综合Token的成本。

华为昇腾推理服务化架构师陈波

在推理需求端,尤其是互联网热门应用,面对每天海量的用户请求,如何让算力更“节约”?小红书Dots训练推理专家、Mooncake核心贡献者夜秋介绍,小红书在910C超节点实现推理引擎与KVCache协同优化,把要存的内容“切碎”分摊到不同芯片,同时通过“预热缓存”“保留常用片段”等技巧,让重复内容直接复用,传输速度快5.7倍,常用内容命中率从47%提升到63%,用更少的显存、更快的取数实现更精准的服务反馈。

小红书Dots训练推理专家、Mooncake核心贡献者夜秋

此外,在生产环境部署大模型,同样面临着资源和效率的压力。Inferact推理优化专家、vLLM社区核心贡献者黄梓铭介绍了通过分布式KV缓存池、四级缓存、显存对齐与调度、部分命中等优化手段,解决Kimi K3超大规模参数带来的“重复存、重复取、重复算”问题,充分利用有限的算力资源。从中也可见,对存储池、缓存层、显存布局到调度策略逐层优化,更高效“榨取”算力,已经成为业界的共识。

Inferact推理优化专家、vLLM社区核心贡献者黄梓铭

生态合作成为产业共识,多方共建“高效Token工厂”

会上,在华为中国区昇腾生态运营总经理苏同岩和Mooncake生态负责人郑环环的见证下,昇腾&Mooncake基于昇腾950的推理解决方案正式发布。新一代昇腾算力底座,叠加久经生产验证的开源推理架构Mooncake,助力产业探索算力利用和高效推理的最优解,让更多企业能够享受更顺滑的推理服务。本次发布也成为“生态合作、软硬协同”理念的最佳佐证。

昇腾&Mooncake基于昇腾950的推理解决方案正式发布

圆桌论坛环节,围绕“Agent爆发,如何打造高效Token工厂”这一议题,在华为昇腾北京生态总监李博的主持下,商汤大装置产品总经理卢国强、昇腾大语言模型推理技术专家王瑾、Mooncake核心贡献者吴兴元、词元无限首席架构师杨泽毓依次发言,分享洞见。嘉宾们探讨了产业对高品质Token的定义和期许,以及当下推理流程面临的技术瓶颈,认为算法与算力依然协同不足,尤其模型架构的演进速度“日新月异”,对算力优化和适配提出了极大挑战。与会嘉宾认为,算法团队与算力团队必须深度协同,但仅靠单一厂商无法实现。近年,昇腾大力推动训练推理套件、调优工具、CANN等全面开源开放,让更多开发者深入昇腾生态,这对打造高效算力、加速AI创新有着深远的意义。

圆桌论坛现场

Agent加速规模化落地,让“Token工厂”从一个生动比喻,变成产业必须直面的现实议题。华为致力于构建开源开放的算力生态,未来将持续通过产业合作、社区共建、技术交流等方式,携手企业和开发者拥抱人工智能时代大潮,探索以生态发展算力协同破局推理桎梏的路径,开拓中国人工智能产业发展的新局面。

现场交流

推荐阅读:

频道推荐
  • 娱乐新势力、互动再升级 高达中国计划发布 万代南梦宫中国市场再提速
    娱乐新势力、互动再升级 高达中国计划发布 万

    高达中国计划(简称GCP)正式发布。2021年,实物大自由高达立像将会震撼登场,这将会成为上海新的消费旅游地标,以及众多高达粉丝的圣地。在7月11日线上举行的G...

    2020-07-13
  • 秋刀鱼又硬又小为啥日本人那么爱它?哈尔滨网友:只怪我知识浅薄
    秋刀鱼又硬又小为啥日本人那么爱它?哈尔滨网友

    秋刀鱼又硬又小,为啥日本人那么爱它?了解原因:只怪我知识浅薄。秋刀鱼是日本的一种名菜,日本人最喜欢这种肉食。比起鱼子酱,更多的日本人喜欢吃秋刀鱼,当地人把这种鱼...

    2020-02-12
  • 一口电饭锅就能做的六道烤箱美食,快来学习一下
    一口电饭锅就能做的六道烤箱美食,快来学习一下

    对普通的家庭来说,日常的各种吃食一般用不到烤箱,所以厨房也就一直没有配备烤箱,那么在这个时候如果自己想吃一些好吃的美食的话,除了去外面店买之外也没有其他得更好的...

    2020-02-12
  • 不要再买枣糕了,教你在家自己做,香甜可口,比买的还要好吃
    不要再买枣糕了,教你在家自己做,香甜可口,比

    枣糕可以说是一种从小吃到大的甜食,从小就喜欢枣糕的味道,每次去超市或者蛋糕店的时候总是要买上几块吃。味道特别丰富,红枣的味道充斥在其中,香甜可口,特别诱人。现在...

    2020-02-12
  • 世界十大冰激凌排行榜 世界顶级冰激凌品牌
    世界十大冰激凌排行榜 世界顶级冰激凌品牌

    爱吃冰淇淋的你知道世界十大冰激凌排行榜是怎么样的吗?哈根达斯、COLD STONE、VIVOLI GELATO、COPPELIA、BERTHILION、Dair...

    2020-02-12
  • 四菜一汤,精美套餐
    四菜一汤,精美套餐

    可乐鸡翅鸡翅中 8个可乐 半瓶葱 适量姜 2片生抽 适量料酒 适量冰糖 5粒老抽 少许盐 适量鸡精 适量1.把鸡翅洗净后背面划几刀,正面用牙签扎些小眼方便入味。...

    2020-02-12
  • 无法拒绝的温暖,甜蜜的中式甜品了解一下
    无法拒绝的温暖,甜蜜的中式甜品了解一下

    现在的人一说到甜品,就会想到蛋糕、马卡龙、蛋挞还有各种派这样子的西式甜品,不得不说,在甜品这方面西方确实做得很好。但西式甜品的入侵,也导致了许多人对于我们传统的...

    2020-02-12