AI时代的开发者应该了解哪些技术栈?
在人工智能铺天盖地涌来的时代,在AI将要大规模替代大多数职位的明天,作为IT行业里的技术人,我们有必要了解一下AI相关的基础知识,如果你将要找工作,那么未来大概率会被问到AI相关的面试题,即使你找的工作不是直接从事AI产品开发的工作,也很有可能会被问到一些AI基础知识。
下面我们就来说一下,作为非直接AI开发人员应该了解的一些AI外围开发知识,比如AI Agent智能体开发, MCP协议、Function Call、模型微调等。
我们将整个技术栈,分为基础理论、核心技术、工具框架及实践方向四个部分进行梳理,侧重 AI 周边产品开发的应用场景:
一、基础理论:构建知识地基
1. 人工智能与机器学习基础
- 核心概念:
监督学习:利用有标注的数据训练模型,让模型学会从输入到输出的映射;
无监督学习:用无标注的数据训练模型,使其自主发现数据中的内在结构和模式;
强化学习:模型通过与环境交互,基于奖励机制不断调整策略以最大化长期收益。
上面这些机器学习相关的基本原理,涉及到 Q-Learning算法,PPO 算法,如果你要从事AI产品本身的开发,可以去深入理解。作为AI外围开发者的话,只需要知道 AI 智能体的 “感知 - 决策 - 行动” 的闭环逻辑即可。
- 数学基础:
数学基础方面,我们需要了解线性代数(矩阵运算、向量空间)、概率统计(贝叶斯推断、概率图模型),用于理解模型底层逻辑(非必需深入推导,但需懂应用场景)。
- 典型案例:
了解一些不同AI模型的案例差异。
对比传统机器学习模型(随机森林、SVM)与深度学习模型(神经网络)在智能体决策中的差异,例如 AlphaGo 的蒙特卡洛树搜索与深度强化学习结合机制。
-
维度
传统机器学习模型(随机森林、SVM)
深度学习模型(神经网络)
模型结构
简单,固定架构
复杂,多层网络
特征工程
依赖手工特征
自动学习特征
数据规模
小数据友好
大数据驱动
决策透明度
可解释性强
黑盒模型,解释性差
计算资源
低消耗
高消耗
泛化能力
依赖特征设计,适应性有限
强泛化能力,适应复杂环境
应用场景
结构化数据、小样本
非结构化数据、大规模数据、复杂决策
2. 自然语言处理(NLP)与大语言模型(LLM)基础
- NLP (Natural Language Processing)核心技术:
词向量(Word2Vec、BERT)、注意力机制(Self-Attention)、Transformer 架构,理解 LLM 如何实现上下文理解(如 GPT 系列的自回归生成原理)。
- LLM (Large Language Model)应用逻辑:
提示工程(Prompt Engineering)、Few-Shot/Zero-Shot 学习,掌握如何通过提示词引导模型完成特定任务(如函数调用触发条件)。
总的来说,理论基础方面的知识还是比较庞杂和有深度的,每一个专业名词,都可以引申出几十篇论文,作为AI工程化开发定位的我们,不需要去深入了解这些基础知识,只需要知道有这样一个专业名词,并且这个名词表示的大概意思就可以了。
那些从事AI产品本身开发的技术人员,才需要去详细了解这些基础知识对应的深层次原理,不过要从事AI产品本身的开发,你必须是985硕士起步,更普遍的是常春藤名校博士。
普通的技术人员,就算你学会了AI算法,也找不到AI产品开发的工作,所以我们就做好工程兵即可。
二、AI外围开发的核心技术模块:拆解 MCP、AI Agent、Function Call、模型微调
1. AI Agent 开发:从架构到实践
- 智能体架构分类:
- 反应式架构:
基于规则快速响应(如简单聊天机器人)。
- 慎思式架构:
通过 “环境建模 - 规划 - 决策” 闭环(如 AutoGPT 的任务分解逻辑)。
- 混合式架构:
结合前两者(如 BabyAGI 的任务队列 + 工具调用机制)。
- 反应式架构:
- 关键技术点:
- 记忆机制:
短期记忆(对话历史)与长期记忆(知识库检索,如向量数据库 Chroma/Pinecone 集成)。
- 任务规划:
递归分解复杂任务(如使用 Tree of Thoughts 算法生成子目标)。
- 记忆机制:
- 案例框架:
LangChain(构建 Agent 的主流框架,支持工具调用、记忆管理)、AutoGen(多智能体协作)、Microsoft Semantic Kernel(结合语义理解的 Agent 开发),Spring AI(基于Spring 生态的企业级 AI 开发框架,聚焦 AI 模型与企业系统的集成与工程化落地,如:微服务、分布式架构、数据平台)。
AI工程化开发最常用的两个框架:LangChain 和 Spring AI 的介绍见这里:
2. Function Call 功能调用:扩展模型能力边界
- 原理本质:
让 LLM 通过 API 调用外部工具(如计算器、数据库查询、自定义函数),解决模型本身无法直接处理的任务(如实时数据获取、复杂计算)。
- 实现流程:
- 函数设计:
|
def get_weather(city: str) -> str: """获取指定城市的天气""" # 调用天气API逻辑 |
2. 模型交互:
通过 OpenAI Function Calling 等接口,让模型判断是否需要调用工具(如根据用户问题 “明天北京气温多少” 触发 get_weather 函数)。
3.结果处理:
解析工具返回值,整合到模型回答中(如 “北京明天气温 22-28℃,多云”)。
- 工具集成:
学习 API 设计规范(RESTful)、接口认证(Token、OAuth),掌握如何封装外部服务为函数供模型调用。
3. 模型微调:让通用模型适配特定任务
- 微调场景:
无需从头训练模型,而是在预训练 LLM(如 GPT-3.5、Llama 2)基础上,用少量数据优化参数,提升特定任务表现(如客服问答、代码生成)。
- 技术方案:
-
LoRA(Low-Rank Adaptation):只训练少量低秩矩阵,减少参数更新量(如 7B 模型微调仅需数 GB 显存)。
-
PEFT(Parameter-Efficient Fine-Tuning):Hugging Face 提供的工具库,支持 LoRA、QLoRA 等多种方法。
- 全参数微调:
更新模型所有参数(计算资源需求高,适合数据量大的场景)。
- 高效微调技术:
-
- 流程步骤:
- 数据准备:
标注高质量数据集(如 JSON 格式的 “问题 - 回答” 对)。
- 环境搭建:
使用 Hugging Face Transformers、Accelerate 库配置训练环境。
- 评估与部署:
用 BLEU、ROUGE 等指标评估效果,部署为本地服务或 API(如通过 Transformers+TGI 部署微调后的模型)。
- 数据准备:
模型微调,也是更偏向于AI产品本身的开发,AI周边及工程化开发的技术人员,只需要知道大概的意思即可,具体的模型微调方式方法,工程人员涉及不到。
4. MCP(Model Context Protocol):模型上下文协议
Model Context Protocol(模型上下文协议,简称 MCP)是一种新兴的开放标准协议。它旨在实现大型语言模型(LLM)与外部数据源和工具之间的无缝集成,通过提供标准化的接口,使 AI 应用程序能够安全、可控地与本地或远程资源进行交互。
- 核心组成部分:
- 用户:
与 AI 系统交互的主体,可通过聊天界面、SaaS 应用程序等方式与 AI 通信。
- AI 模型:
负责处理用户查询的大型语言模型,如 GPT-4、deepseek 等。
- MCP 服务器:
作为中间件服务,能够解释模型对额外上下文的请求,并获取相关信息。
- 信息源或工具源:
为模型提供请求信息的外部数据存储库、API 或服务。
- 用户:
- 工作流程:
-
用户向 AI 模型发送提示。
-
模型处理提示,若确定需要额外上下文来提供准确响应,便按照 MCP 格式生成对特定信息的请求。
-
MCP 服务器接收请求,进行解释后查询相应的信息源。
-
信息源将数据返回给 MCP 服务器。
-
MCP 服务器格式化数据并发送回模型。
-
模型将新信息整合到上下文中,为用户生成响应。
-
- 请求与响应格式:
- 请求结构:
通常包含 “queries”“provider”“query”“parameters” 等字段,可指定信息源并发起多个信息请求。
- 响应格式:
MCP 服务器以模型能够解释的标准化格式返回数据,包含 “provider”“filename” 等字段,确保模型能高效处理和整合新信息。
- 请求结构:
- 主要功能:
- 克服知识截止日期:
允许模型访问最新信息,解决 LLM 因训练截止日期而无法了解新事件或信息的问题。
- 减少幻觉:
向模型提供可靠来源的事实信息,降低 AI 响应中出现 “幻觉” 或捏造信息的可能性。
- 实现个性化:
在获得适当权限的情况下,使模型能够访问用户特定信息,实现更个性化的交互。
- 提供专业知识:
模型可利用特定领域的知识库和工具,在专业领域提供专家级响应。
- 增加透明度与溯源:
MCP 实现通常包含信息来源的归属信息,提高用户对 AI 的信任度。
- 克服知识截止日期:
- 安全和隐私考量:
MCP 需要关注访问控制、数据最小化、用户同意、身份验证和审计追踪等方面,以确保在使用过程中保护数据安全和用户隐私。
三、工具与框架:提升开发效率的 “武器库”
| 类别 | 工具 / 框架 | 用途 |
|---|---|---|
| AI Agent 开发 |
LangChain、Semantic Kernel |
构建具备工具调用、记忆能力的智能体 |
| Function Call |
OpenAI API、Hugging Face Inference API |
实现模型与外部工具的交互,封装自定义函数 |
| 模型微调 |
PEFT、LoRA、QLoRA |
高效微调大语言模型,减少计算资源消耗 |
|
MCP协议 |
LangChain、AutoGPT |
大型语言模型(LLM)与外部数据源和工具之间的标准化通讯协议接口 |
| 向量数据库 |
Chroma、Pinecone、Weaviate |
存储与检索非结构化数据(如文档 embedding),实现智能体长期记忆 |
| 部署与服务 |
Docker、Kubernetes、FastAPI |
将 AI 应用打包为容器服务,对外提供 API 接口 |
四、周边产品开发:从技术到场景落地
1. 核心能力需求
- 系统设计:
构建 “LLM + 工具 + 数据库” 的三层架构(如用户提问→LLM 解析→调用工具获取数据→向量数据库检索知识→整合回答)。
- 工程实践:
-
后端:Python(Flask/Django)、API 接口设计、异步处理(处理长耗时任务,如模型微调)。
-
前端:React/Vue(可选,用于开发管理后台或用户界面)。
-
- 安全与合规:
数据加密(用户对话记录)、API 限流(防止恶意调用)、隐私保护(如 GDPR 合规)。
2. 典型周边产品场景
- 企业级智能助手:
基于企业知识库的微调模型 + Function Call 调用内部系统(如 OA、CRM),实现 “问员工信息→调用 HR 系统 API→返回结果”。
- 垂直领域工具集成:
如法律领域 “合同审查 Agent”,通过 Function Call 调用电子签章工具、法规数据库检索工具。
- 多智能体协作平台:
开发团队协作工具,让文案生成 Agent、数据可视化 Agent、代码审查 Agent 协同完成项目。
五、学习路径与资源推荐
1. 入门阶段(1-3 个月)
- 基础:
学习 Python 编程、Hugging Face Transformers 库基础用法(如加载预训练模型、简单推理)。
- 实践:
用 LangChain 搭建第一个简单 Agent(如具备计算器调用功能的聊天机器人),参考官方教程:LangChain Documentation。
2. 进阶阶段(3-6 个月)
- 技术:
深入 Function Call 原理,用 OpenAI API 实现自定义工具调用;尝试用 LoRA 微调一个小型模型(如基于 Llama 2 微调中文问答)。
- 项目:
开发 “本地文档问答助手”(用 Chroma 存储文档 embedding,结合 LangChain 实现检索式回答)。
3. 高级阶段(6 个月 +)
- 多智能体:
用 AutoGen 构建多 Agent 协作系统(如模拟 “项目经理 Agent + 开发人员 Agent” 协同完成需求分析)。
- 工程化:
学习用 Docker 部署 AI 服务,集成 Redis 实现缓存加速,优化系统响应速度。
4. 优质学习资源
- 书籍:
《Grokking AI Agents》(系统讲解 Agent 架构)、《Hands-On Large Language Models with Python》(模型微调与应用)。
- 课程:
DeepLearning.AI 的《Generative AI for Everyone》(免费,入门 Generative Agent)、UC Berkeley 的 CS 294-112(强化学习与智能体,适合进阶)。
- 社区:
Reddit 的 r/LangChain、GitHub 的 Star 项目(如 AutoGPT、BabyAGI),跟踪最新开源实践。
六、关键提示:聚焦 “周边产品” 的开发重点
- 避免过度纠结模型底层:
无需深入研究 Transformer 参数推导,重点放在 “如何用现有模型和工具实现业务需求”(如调用 API、微调适配、系统集成)。
- 重视工程能力:
AI 周边产品的核心是 “让 AI 能力与业务流程结合”,因此后端开发、API 设计、系统稳定性比模型调优更重要。
- 从场景反推技术:
先定义产品目标(如 “帮律师快速检索案例”),再选择技术方案(如 “向量数据库 + 微调模型 + 法院 API 调用”),而非盲目堆砌技术。
通过以上路径,可系统地构建从理论到实践的知识体系,快速切入 AI 智能体及周边产品开发领域。
更多推荐



所有评论(0)