环境准备与依赖安装

在 AMD 显卡上折腾 LLaMA-Factory 的 WebUI，最大的门槛往往不是模型本身，而是环境配置。ROCm 生态虽然进步很快，但和 CUDA 那种“开箱即用”的体验还是有差距。我的测试环境是 Ubuntu 22.04 + ROCm 6.2，显卡为 Radeon Pro W7900。

首先，确保你的系统已经正确安装了 ROCm 驱动。可以通过 rocminfo 命令来验证，如果能看到显卡信息输出，说明底层驱动没问题。接下来是 Python 环境的隔离，强烈建议使用 Conda：

conda create -n llama-rocm python=3.10 -y
conda activate llama-rocm

安装 PyTorch 时务必指定 ROCm 版本，千万别混用 CUDA 的包，否则后续全是报错。以 PyTorch 2.3 为例：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.2

依赖装好后，克隆 LLaMA-Factory 仓库。这里有个细节：官方主分支对 ROCm 的支持有时会有滞后，建议 checkout 到最新的 release 标签，或者关注 rocm 相关的分支。安装项目依赖时，如果遇到 flash-attn 编译失败，可以先跳过它，WebUI 的基础功能不强制依赖这个，或者尝试安装预编译的 ROCm 版本 wheel。

启动 WebUI 与界面初探

LLaMA-Factory 最吸引非代码型用户的就是它的可视化界面。在终端激活环境后，直接运行：

python src/train_web.py

如果一切顺利，终端会输出一个本地地址，通常是 http://127.0.0.1:7860。在浏览器打开它，你就能看到熟悉的 Gradio 界面了。

[外链图片转存中…(img-RMwUF6v6-1782267054794)]

界面布局很直观：左侧是模型、数据集、训练参数的配置区，右侧是实时监控面板。对于 AMD 用户，关键一步是在“模型”栏加载模型时，确保后端框架选择正确。LLaMA-Factory 通常能自动检测 ROCm，但如果加载模型卡住，可以尝试在启动命令前加上环境变量 export HIP_VISIBLE_DEVICES=0 来指定显卡。

微调实战：参数配置与监控

我选了一个小规模的指令数据集，用 Qwen1.5-7B 做 LoRA 微调测试。在 WebUI 上配置参数时，有几个针对 ROCm 的注意点：

• 计算精度：AMD 显卡对 BF16 的支持较好，但部分旧型号可能只有 FP16。在“训练参数”里，我首选 bf16，如果遇到数值不稳定，再回退到 fp16 并开启损失缩放。
• 显存优化：开启 gradient_checkpointing 和 lazy_preprocess 能显著降低显存占用。我的 W7900 48GB 显存，在 batch size 设为 4、序列长度 2048 时，显存占用约 35GB，留有缓冲。
• 学习率与步数：LoRA 微调不需要太大学习率，2e-4 配合 cosine 调度器效果不错。

点击“开始训练”后，右侧面板会实时刷新。损失曲线、学习率变化、显存使用量都以图表形式展示，这对调试非常友好。

[外链图片转存中…(img-mPum9ebo-1782267054797)]

遇到的坑与调整方案

实战中确实遇到了一些 ROCm 特有的问题，记录下来供大家参考：

1. 数值精度波动：在训练初期，损失曲线偶尔会出现小幅震荡，比在 NVIDIA 卡上更明显。这通常与混合精度计算有关。我的解决方案是：在 WebUI 的“高级参数”里，将 fp16_opt_level 从 O2 改为 O1，或者干脆关闭 AMP，用纯 FP32 跑小步数验证，虽然慢点但更稳定。

2. 显存泄漏疑虑：长时间训练后，显存占用有缓慢上升趋势。这可能是 ROCm 的内存管理机制差异。我通过设置 max_grad_norm 为 1.0 并定期保存检查点来缓解，同时确保训练脚本没有开启不必要的调试日志。

3. 多卡支持：如果想用多张 AMD 卡，WebUI 目前对分布式训练的配置支持还不够直观。建议先在命令行用 accelerate config 配置好分布式环境，再通过 WebUI 启动，或者直接使用命令行进行多卡训练，WebUI 主要用于单卡调试。

给非代码用户的建议

如果你不太熟悉命令行，LLaMA-Factory 的 WebUI 确实降低了微调门槛。但在 AMD 平台上，有几点心得：

• 先跑通单卡：不要一开始就追求多卡或大模型。用一个小模型（如 ChatGLM3-6B）和短数据集测试整个流程，确保环境、加载、训练、保存都正常。
• 善用日志：WebUI 的终端输出窗口很重要，遇到错误时，复制最后的 traceback 去搜索，很多 ROCm 相关问题在社区 Issue 里已有讨论。
• 备份配置：WebUI 的配置可以导出为 JSON 文件。调好一套稳定的参数后，记得保存，下次直接导入，避免重复劳动。

总的来说，LLaMA-Factory 的 WebUI 让 AMD 显卡用户也能轻松体验大模型微调。虽然 ROCm 生态还在完善中，偶尔需要手动调参或查文档，但看到损失曲线平稳下降、模型在自家显卡上跑起来的那一刻，所有的折腾都是值得的。随着社区贡献增多，相信未来在 AMD 平台上做微调会越来越顺滑。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper