智谱 推理成本一面真题

推理成本题 · 模型选型篇

"为了保险全用大模型"只能拿 50 分；讲清 按任务难度分层 + 先拿效果上界再降级，才到 90 分。

上一课讲完开源闭源怎么拍板，这一课接着选型：这题不考胆子，考会不会把任务难度和模型规模分开看。

一、面试现场

面试官提问

“7B 够用时，怎么判断还要不要上大模型？”

客服系统全用大模型，成本和延迟会一起爆。智谱推理成本面里，候选人的系统最初就是这样。

智谱面试官把日志拆给他看：“80% 的请求是意图分类和模板回复，这些也要大模型？” 候选人答不上拐点在哪。这题实际在考你能不能区分"任务难度"和"模型规模"——前者决定要不要大模型，后者只是手段。

**直接回答：不是越大越好，先用大模型测出效果上界，小模型能逼近就降级。**按任务难度路由，不是一个大模型扛所有。

二、大多数人怎么答的

典型翻车回答

“为了效果保险，所有任务都用最大的模型。”

这答案不算错——用大模型确实少操心，效果有保底，能拿 50 分。它的问题是把"保险"当成了唯一目标，没算延迟和成本这两笔账。

面试官一句话就戳中：“你 80% 的请求是简单分类，用大模型不是又慢又贵吗？”

大部分线上请求是窄任务，全压大模型是延迟和成本的双重浪费。

公开 benchmark 测的是综合能力——在 MMLU 官方榜上，同代大模型约 86.5%、7B 小模型约 64.2%，差出二十多分。

可在意图分类这类窄任务上，这个差距几乎体现不出来。综合分高，不代表你这个分类任务上它更值得。

三、深度解析（4 条判断）

把"要不要大模型"拆成 4 条判断。

第 1 条：不是越大越好，窄任务小模型常更稳

简单任务上，大模型反而又慢又贵，还容易"想太多"。意图分类、字段抽取、格式化这类窄任务，7B 级小模型常常够用，甚至比大模型更稳定——输出更短、格式更可控、延迟低一个量级。能力过剩不是优点，是浪费。

第 2 条：按任务难度分层，分清哪些必须大

先记住哪 4 个活轮到小模型：抽取 / 分类 / 格式化 / 简单改写 → 小模型常够；多步推理、长链路、开放式生成、需要广博世界知识 → 这些才真正需要大模型。先把你的请求按难度分桶，再看每桶落在哪一档，而不是一刀切。

第 3 条：先拿效果上界，再试降级

顺序不要反着来：先用大模型把这个任务跑通，拿到"效果上界"做基线，再换小模型或小模型微调试试能不能逼近。在自己业务的 regression set 上比，差距落在可接受范围就降级省钱。这是用数据决定，不是拍脑袋。

第 4 条：RAG 里上下文比规模更值钱

RAG 里最常见的问题不是模型小，而是资料没找对。把答案需要的资料检索好喂进去，生成任务就被大大简化了。这时候"小模型 + 好上下文"经常打赢"大模型 + 烂上下文"。与其急着换更大的模型，不如先把检索质量提上去——规模不是 RAG 效果的第一变量。

结论：默认上大模型不应该当保险——那是把工程判断换成心理安慰。用效果上界当标尺，把能降的任务一个个降下来。

四、面试官追问链

追问 1

“怎么量化小模型逼近大模型的差距，差多少算可接受？”

用大模型的效果当上界，在自己 regression set 上比同一组指标：分类看准确率、生成看人评或答对率。

差距可接受没有通用数字，由业务定——客服意图分类差一两个点可能完全无感，医疗结论差一个点都不能接受。

关键是有基线、有阈值、在自己的数据上比，而不是抄别人的结论。

追问 2

“同一个系统里多大规模混用，怎么按任务路由？”

规则前置，按任务类型分流：

① 先分类——请求进来先判任务类型（分类/抽取/推理/生成）

② 查规模表——按任务类型映射到对应规模档

③ 留升级口——小模型置信低就自动兜到大模型

这跟多模型路由是一套机制，只是这里路由的轴是任务难度。

追问 3

“RAG 场景里，把检索做好和换更大模型，你优先做哪个？”

优先把检索做好。换大模型是把成本翻几倍买一两个点，提检索是花小钱解决主要矛盾——资料找对后，中小模型就能答好，这时再上大模型边际收益很小，顺序不能反。

五、落地案例：全用大模型的客服系统

回到开头那个客服系统，用"先拿上界再降级"走一遍——4 步。

STEP 1 · 拆请求分桶

把线上请求按任务类型分桶：意图分类、模板回复、知识问答、复杂工单。
↳ 结果：分类+模板占约 80%，是降级的主战场。

STEP 2 · 大模型跑出效果上界

每个桶先用大模型在 regression set 上跑出基线分，作为"上界"。
↳ 结果：拿到每类任务的可接受标尺。

STEP 3 · 小模型逼近测差距

分类、模板桶换 7B 小模型（必要时轻微调），同一 set 比差距。
↳ 结果：分类桶差距在可接受线内，达标可降级。

STEP 4 · 按任务路由放量

分类模板走小模型、复杂工单留大模型，小模型低置信自动升级。
↳ 结果：大头流量降级，复杂请求质量不动。

↳ 按任务选规模对照表

任务	建议规模
意图分类 / 抽取	小（7B 级）
改写 / 摘要	中
多步推理 / 开放生成	大
RAG 生成（上下文好）	中小常够

六、本课总结

一句话总结

规模跟着任务难度走，不是跟着保险心理走。先用大模型拿效果上界，小模型能逼近就降级。

面试锦囊

先反问：“这些请求里，多少是简单窄任务？”——把任务难度摆上桌，再谈规模。

再讲方法：按难度分桶 → 大模型跑效果上界 → 小模型/微调试逼近 → 差距可接受就降级，按任务路由。

收尾判断：“差距阈值由业务定；RAG 里先提检索再考虑换大模型；别用一个大模型扛所有任务。”

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】