上周中国算力大会(廊坊站)上,移动云联合电科南湖研究院、灵汐科技、天数智芯、清华北大,放了个挺特别的东西——国内首个"国产 GPU + 类脑芯片"异构混合推理系统。说实话,我当时盯着新闻标题愣了好几秒,脑子里蹦出来的第一个念头是:类脑芯片?就是那个研究了很多年、一直半只脚踩在实验室里的类脑芯片?它跑大模型推理了?

结果越往后看越觉得有意思。这套系统在 DeepSeek V4 上实测跑下来,说性价比比同类国产 GPU 集群提升一倍以上,运营成本直接降了四成。英伟达那边对标的是 Vera Rubin 推理方案。你没有看错,国产芯片跑推理,不是靠堆单卡算力,而是靠"混搭"把成本打下来了。今天想跟你好好聊聊这事,它不是又一个"国产突破"的爽文新闻,背后其实是整个 AI 算力叙事从"堆算力"转向"算账"的一个缩影。

先说这系统到底聪明在哪。它的思路一句话能讲清楚:别让一颗芯片干所有活,把大模型拆开,让擅长什么芯片的去干什么。具体拆法是,对 Transformer 结构做 PD/AF 分离——Prefill(预填充,指把用户的输入一次性算成中间状态那一步)和 Attention(注意力计算)交给国产 GPU,发挥它通用计算的强项;而 FFN(前馈网络,MoE 稀疏专家模型里最吃带宽的那部分)交给类脑芯片。类脑芯片走的是存算一体、片上大容量 SRAM 的路子,正好对付那种对带宽敏感、数据搬来搬去最费劲的部分。算力这件事,很多时候浪费不在"算不动",而在"数据在芯片和内存之间来回搬",类脑芯片等于把这个搬运的瓶颈直接从物理上绕过去了。这个分工逻辑,比它到底用了哪颗具体芯片更值钱。

聊到这儿我想起来,这其实不是一个特别新的想法——异构异构,大家早就在喊了。英伟达自己也是 CPU、GPU、网络一堆东西往机柜里塞。那为什么过去国产芯片搞异构,总让人觉得是"听起来很美、落地很虚"?我的看法是,以前大家搞异构,更多是被"单卡算力不够"逼出来的无奈,是拿不同芯片去凑总数,工程上乱成一锅粥;而这次最大的进步,是在"怎么分"这件事上做对了。它不是粗暴地"这张卡跑这批任务",而是把一个请求内部的、更细粒度的计算阶段(Prefill / Attention / FFN)拆给不同架构。这种"阶段级分工"的粒度,才真正吃到了异构的红利。换句话说,把蛋糕切开重新分配的,和把两座山硬凑到一起的,完全不是一回事。

往深里说,这件事最大的意义可能不在"国产芯片能不能行",而在于它揭示了一个正在发生的产业转向——AI 算力竞争的焦点,正在从"训练得起"变成"推理用得起"。前两年大家盯着的是谁能训出更大的模型,一张卡几百万,大家比的是谁烧得起;可模型训完进了生产,每天跑服务才是无底洞,推理成本在 AI 算力总成本里的占比一路往上飙,有人估算到 2030 年要吃掉七成五的算力。这时候"每 token 多少钱"就成了生死线。你看最近一个月,英伟达 Vera Rubin 号称推理吞吐提升 30 倍,Groq 3 LPX 说每 token 成本降 35 倍,国内这边运营商干脆打出 0.99 元一百万 token 的 MaaS 套餐——方向惊人的一致:把单位成本打下来。国产芯片追了这么多年,终于在"算账"这个维度上,跟人家站到了同一条起跑线上,甚至靠架构创新还有点后发优势的意思。

当然,冷静下来也得泼盆冷水。这类系统的官宣数字,落地时基本都要打个折扣,真实生产环境里那些 token 工厂、多智能体协同的高并发场景,考验的不只是芯片本身,还有整个软件栈、调度框架、以及和现有 CUDA 生态怎么共存。类脑芯片虽然在 FFN 这种对带宽敏感的场景上有优势,但它的生态成熟度、可编程性,跟成熟 GPU 体系还差着一大截。我见过太多"发布会惊艳、上线就翻车"的案例,异构系统尤其容易在"两套芯片之间的通信开销"上栽跟头——分得越细,协作成本越高,这是绕不开的账。所以我的判断是:方向对,但距离"生产力"还有一段工程化的路要走。

不过话说回来,国产算力能走到"靠架构创新去摊薄推理成本"这一步,本身就值得注意。它不再是"我比英伟达差多少"的追赶叙事,而是开始在"同样钱能买多少 token"这个更务实的维度上找自己的生态位。当算力从"堆"变成"算",真正拼的就是谁更懂自己的硬件、谁把软硬件的账算得清。

我挺好奇你们在实际项目里是咋想的——你现在公司跑推理,是死磕英伟达的单卡性能,还是已经认真核算过国产异构方案的每 token 成本了?如果哪天类脑芯片生态真成熟了,你愿意为那四成的成本降幅,去趟一趟异构编排的浑水吗?评论区聊聊,我特别想听听一线真实的账是怎么算的。

Logo

脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区,共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。

更多推荐