一、关于本书

大语言模型（Large Language Models，LLM）是一种由包含数百亿以上权重的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标记文本进行训练。自2018年以来，包含Google、OpenAI、Meta、百度、华为等公司和研究机构都纷纷发布了包括BERT， GPT等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2021年开始大模型呈现爆发式的增长，特别是2022年11月ChatGPT发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。

二、作者

张奇

复旦大学，计算机科学技术学院，教授

桂韬

复旦大学，计算语言学研究院，青年副研究员

郑锐

复旦大学，计算机科学技术学院，博士研究生

黄萱菁

复旦大学，计算机科学技术学院，教授

三、《第二版》特点 - 新增50%以上全新内容

《大规模语言模型：从理论到实践（第2版）》除对大语言模型的构建进行深入解析外，还进一步对如何增强大语言模型的能力、如何提升大模型的效率，以及如何将大语言模型应用于实际场景进行了深入讨论。

内容涵盖多模态大语言模型、大模型智能体、检索增强生成、大语言模型效率优化、大语言模型评估和大语言模型应用开发等多个热门方向，全面展示了当前大语言模型在不同领域的最新进展与应用潜力。

在本书第 1 版的基础上添加了 4 章全新内容，同时对其他章节进行了大量修订和重写。新增内容覆盖MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发等多方面。

四、章节

第1章 绪论

简明介绍了大语言模型的基本概念、发展历史、构建流程，并说明了本书的结构安排，为读者建立起全局认知框架。

第2章 大语言模型基础

深入解析了 LLM 的核心结构——Transformer，包括嵌入、注意力、前馈网络等组成部分，并详解 GPT 模型、混合专家模型（MoE）等不同架构，帮助读者建立从基本结构到模型架构的技术认知。

第3章 预训练数据

介绍了预训练所需的大规模语料来源与数据处理方法（如清洗、去重、切词等），并探讨数据质量、规模、多样性对模型性能的影响。还列举了主流开源数据集，为实际预训练奠定数据基础。

第4章 分布式训练

详细讲解数据并行、模型并行、混合并行等策略及其内存优化技巧，结合实际框架（如 DeepSpeed）的实践，帮助读者理解如何高效训练大模型。

第5章 指令微调

系统介绍了指令微调的理念、数据构建与评估方法、LoRA 等高效微调技术，并辅以 DeepSpeed-Chat 的实践说明，面向实际应用强化模型指令理解与响应能力。

第6章 强化学习

聚焦于 RLHF（基于人类反馈的强化学习），介绍策略梯度、PPO 等算法在语言模型中的应用，结合 DeepSeek-R1、Kimi 等模型案例，展示 RL 在提升生成质量方面的重要作用。

第7章 多模态大语言模型

探讨语言模型与视觉、语音等模态融合的架构与挑战，并详细介绍 MiniGPT-4 的结构和训练方法，是理解 AI 从语言走向感知智能的关键章节。

第8章 大模型智能体

围绕“智能体”概念，讲述其模块化架构（感知、记忆、工具等），并以 LangChain 与 Coze 平台为实践例，说明如何基于 LLM 构建具备规划与行动能力的智能体系统。

第9章 检索增强生成（RAG）

系统介绍 RAG 的整体架构、模块化设计、优化策略与评估方法，适用于提升 LLM 在开放知识任务中的能力。也包括构建与优化 RAG 系统的工程实践。

第10章 效率优化

讨论 LLM 的训练与推理效率，包括模型压缩、低精度训练、稀疏化、知识蒸馏等方法，并以 vLLM 推理框架为实践案例，为部署与落地提供技术方案。

第11章 模型评估

构建了评估 LLM 的系统框架，涵盖知识能力、伦理安全与垂直领域，结合具体评估指标和数据集，为模型开发与应用提供反馈机制与质量保障。

第12章 应用开发

介绍 LLM 在多个场景的应用（如聊天、代码、搜索、教育等），并包含实际开发案例与本地部署实践（如 llama.cpp、Ollama），为开发者提供从原理到落地的全链路指南。

总结：

这本书构建了一个由理论基础 → 数据处理 → 模型训练 → 微调与强化 → 多模态 → 智能体 → 应用开发与部署组成的完整技术闭环，是面向工程实践和科研学习的全景式 LLM 教程。既适合新手入门，也适合有经验的开发者系统提升。

这本《大规模语言模型：从理论到实践（第2版）》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

PDF书籍： 完整版本链接获取

👉[CSDN大礼包🎁：《大规模语言模型：从理论到实践（第2版）》免费分享（安全链接，放心点击）]👈