亚马逊SageMaker支持全参微调 代码正确率90%
时间:2026年11月18日(AWS 官方机器学习博客署期 18 NOV 2026)
地点:美国西雅图 Amazon Web Services 总部,Amazon SageMaker AI 服务端
人物:Sandeep Raveesh-Babu(AWS 生成式 AI 专家解决方案架构师,本文作者)、Amazon SageMaker AI 团队
事件详情:Amazon SageMaker AI 的无服务器模型定制(Serverless Model Customization)新增对全参微调(Full Fine-Tuning,FFT)的支持,使用者不必自己准备 GPU、集群和分布式训练配置,只需指定基础模型、数据集和超参数,算力分配与检查点管理由服务托管。AWS 在官方博客中用 SageMaker AI Studio 提供的 Qwen3-4B 基础模型做对照实验,训练集是 Magicoder-Evol-Instruct-110K(11 万条代码指令对,按 90/5/5 划分为 9.9 万条训练、5500 条验证、5500 条测试),LoRA 与 FFT 两种方式使用完全相同的提示词、目标答案和评测代码。训练样本超过 10 万条时,FFT 的 LLM 判分语义正确率达到 90.0%(裁判模型为 Amazon Nova Pro);评测用 SageMaker 内置的三种方式:LLM-as-Judge 查语义正确性,PRIMECODE 用 BLEU、ROUGE-1/2/L 和 F1 衡量与参考答案的文本相似度,MMLU 覆盖 57 个学科,用来检测通用知识有没有被遗忘。
博文中更有参考价值的是调参边界,因为它给的是实验结论而不是通用建议:示例代码的组合是学习率 2e-5、全局批大小 8、预热比例 0.1,其中学习率 2e-5 配 10 万条以上的大数据集被标为安全区;epoch 数被明确定义为遗忘问题而非损失曲线问题,判分正确率在第 3 个 epoch 达到 90.0%,继续加 epoch 则所有变体都变差;保住通用知识最好的一组配置是预热 5%、批大小 8、学习率 2e-5。反面案例同样具体:学习率不低于 5e-5 时,MATH 精确匹配掉到 2% 到 3%,MMLU 准确率掉到 3.6%,属于典型的灾难性遗忘。作者也直说 FFT 并非全面优于 LoRA,主观质量评测上 LoRA 反而以 81.5% 对 79.5% 略胜一筹,而且两种微调方式在 MATH 精确匹配上都低于基础模型。
背景:这项能力本身不是全新的。AWS 在 2026 年 8 月 3 日的官方公告里就宣布无服务器模型定制支持全参微调,当时覆盖 25 个以上的开源模型,包含 gpt-oss、Gemma、Llama、Nemotron 和 Qwen 系列。日本开发者社区 8 月 11 日的实测显示,用 Qwen3 1.7B 在无服务器 FFT 上训练不需要写训练脚本,约 2 分钟完成训练、表格格式遵循率达到 100%,计费按训练 token 而非实例时长。本次博文的新意在于把同一套无服务器作业里的 FFT 与 LoRA 做了系统性对照,并公开了学习率与数据量的风险地图、epoch 上限等可复现结论。实验覆盖 Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B 等多个基础模型,每个实验从提交作业到拿到评测结果只需几小时,微调后的模型会自动以版本化 Model Package 的形式注册进 SageMaker Model Registry。
影响:这条更新降低了垂直领域团队做全参微调的决策门槛,数据量大、任务复杂的场景不再需要自建 GPU 集群。代价同样明确:全参微调对超参数极其敏感,学习率、epoch、批大小任一项越线都会吃掉模型的通用能力,MMLU 可以掉到 3.6%,MATH 精确匹配只剩 2% 到 3%。AWS 把这些数字原样写出来,等于交了一份现成的避坑清单,也说明一件事——该不该用 FFT 取决于数据规模和任务复杂度,而不是全参一定比参数高效方法先进。
总结:这次更新是把一项原本需要专用算力的能力搬进托管服务,门槛下降是主要看点。真正有长期价值的是博文附带的调参边界:学习率 2e-5、批大小 8、预热 5%、最多 3 个 epoch 是被实验验证过的组合,而学习率 5e-5 以上的破坏性代价、LoRA 在主观分上反超的事实,都说明全参微调是数据够大才划算的选项,而不是无脑升级。
常见问题:
问:LoRA 微调是只更新部分参数吗?
答:LoRA 冻结预训练权重、只训练低秩矩阵,FFT 则同时更新全部参数。
问:全参微调一定比 LoRA 好吗?
答:不一定。代码任务判分正确率达 90.0%,但主观质量上 LoRA 反超(81.5% 对 79.5%)。
问:全参微调会毁掉模型原有能力吗?
答:会。学习率 5e-5 以上时 MATH 掉到 2% 到 3%、MMLU 掉到 3.6%。
参考来源:
AWS 官方机器学习博客(英文原文)
https://aws.amazon.com/blogs/machine-learning/full-fine-tuning-fft-on-sagemaker-ai-serverless-model-customization/
AWS 官方机器学习博客(中文版)
https://aws.amazon.com/cn/blogs/machine-learning/full-fine-tuning-fft-on-sagemaker-ai-serverless-model-customization/
AWS 官方公告(8 月 3 日全参微调上线)
https://aws.amazon.com/about-aws/whats-new/2026/08/amazon-sagemaker-fft/
AWS 官方文档:FFT 模型定制说明
https://docs.aws.amazon.com/sagemaker/latest/dg/customizing-models-fft.html
ScopeAI 中文解读
https://scopeai.cc/stories/%e4%ba%9a%e9%a9%ac%e9%80%8a-sagemaker-ai-%e6%97%a0%e6%9c%8d%e5%8a%a1%e5%99%a8%e6%a8%a1%e5%9e%8b%e5%ae%9a%e5%88%b6%e6%96%b0%e5%a2%9e%e5%85%a8%e5%8f%82%e6%95%b0%e5%be%ae%e8%b0%83-mwmuhpqy
奇点 AI 索引收录页
https://ai.qidiandaohang.com/news/13352737/
Inside AI News 英文报道
https://insideai.news/news/machine-learning/full-fine-tuning-sagemaker-serverless/15509/
AiBoss 中文报道
https://www.aiboss88.com/news/sagemaker-serverless-full-fine-tuning
DevelopersIO 日本开发者实测
https://dev.classmethod.jp/articles/qwen3-1-7b-serverless-fft-markdown-table-sagemaker/







