开放权重进 Bedrock：省了 GPU，3 个模型怎么选

星野 技术创作者 2026-11-01 16 阅读

2026 年 9 月 23 日，AWS 官方机器学习博客发了一篇指南，标题很直接：Use open weight models as your AI coding agent with Amazon Bedrock。它不是论文，没有丢一堆基准分数，而更像一份部署手册：点名 Moonshot AI Kimi K3、OpenAI GPT-OSS 120B、NVIDIA Nemotron 3 Super 120B 三个模型，说明怎么申请访问、怎么把模型接进自己的 agent 循环，还顺带讲了 Ethara.AI 怎么把这套架构用在生产环境的多 agent 编排上。

这篇值得细读的原因不在”开放权重”这四个字，而在它把托管和自建之间那道选择题摊开讲了：代码、提示词和响应都留在你自己的 AWS 账户里，模型由 Bedrock 托管、不用自己备 GPU；同时它还给了跨区域推理配置、合规资质清单和按 token 计费的分档。下面按”能不能跑起来 → 该选哪个模型 → 成本和取舍 → 一个常见误解”这四步把要点拆开。

跑起来需要什么

官方给的前置条件是四条，缺一条都会卡在第一步：已开通 Amazon Bedrock 的 AWS 账户；在 Bedrock 控制台为 Kimi K3、GPT-OSS 120B、Nemotron 3 Super 120B 申请到模型访问权限；配好凭证（IAM access keys、IAM Identity Center，或 Bedrock API key）；以及 Node.js 18 以上（走 npm 安装）或 Homebrew（走 macOS 安装）。

模型访问权限这一条最容易卡住：权限是在控制台里单独授予的，和”账户已开通 Bedrock”是两件事。

调用本身走标准 converse API，形状和调用其它 Bedrock 模型完全一样：

import boto3

client = boto3.client('bedrock-runtime', region_name='us-west-2')

response = client.converse(
    modelId='arn:aws:bedrock:us-west-2:<你的账号ID>:inference-profile/global.moonshotai.kimi-k3',
    messages=[
        {'role': 'user', 'content': [{'text': '写一个 Python 函数，输入整数 n，返回斐波那契数列前 n 项。'}]}
    ],
    inferenceConfig={'maxTokens': 2048, 'temperature': 0.2}
)

print(response['output']['message']['content'][0]['text'])

这段代码是照 AWS 文档的 converse 写法整理的。注意 modelId 的形态：Kimi K3 是通过跨区域推理配置（inference profile）调用的，官方给的 ARN 形如 arn:aws:bedrock:<区域>:<账号ID>:inference-profile/global.moonshotai.kimi-k3，而不是普通的 foundation-model/ 形式；不带区域限制就用 global profile，要数据驻留就用 us.moonshotai.kimi-k3。另外文档里同一批模型的 ARN 示例用的是 us-west-2（openai.gpt-oss-120b-1:0、nvidia.nemotron-super-3-120b），不同区域上架的模型不一样，换区域时要重新确认。我没有在真实 AWS 账户上执行过这段代码，它是”按文档写的最小调用”，不是实测记录。

三个模型各管什么

模型 官方给的定位 值得记住的参数
Moonshot AI Kimi K3 always-on reasoning，always 先推理再回答 1M token 上下文；reasoning_config 可设 low / high / max
OpenAI GPT-OSS 120B 120B 规模的开放权重模型 1200 亿参数（官方模型卡口径）
NVIDIA Nemotron 3 Super 120B MoE 架构，每个 token 只激活 120B 里的 12B NVIDIA 称吞吐最高提升 7 倍

评测上有一组可以直接对照的数字：CrowdStrike 微调过的 NVIDIA Nemotron 在其查询准确率评测里达到 96%，同口径下 GPT-4o 是 61%、Claude Sonnet 4.5 是 94%。注意这是微调后的 Nemotron，不是开箱即用的权重，读的时候别把主体搞错。

上下文这一栏是 Kimi K3 的杀手锏：1M token 大约等于几万行代码，意味着跨文件推理时可以整仓丢进去，而不是一次喂几个文件。但反过来讲，这也意味着单次请求的 token 消耗会被放大。

为什么放在 Bedrock，而不是自己架 GPU

官方给的五条理由，每条都对应一类真实约束：

  1. 完全托管、无服务器 —— 不用准备 GPU 也不用管推理基础设施。
  2. 数据边界 —— 代码、提示词、响应都留在你自己的 AWS 账户里；用区域内或地理 profile 调用，就在对应区域跑。对 Kimi K3，可以走全球 profile global.moonshotai.kimi-k3，请求会路由到任一支持的商业区域，比地理 profile 便宜约 10%；有数据驻留要求时用 us.moonshotai.kimi-k3 把处理限制在美国境内。Bedrock 在 HIPAA、SOC 2、ISO 27001、FedRAMP、GDPR 的适用范围内。
  3. 企业安全控制复用 —— 开放权重模型和闭源模型共用同一套 IAM 策略、CloudTrail 日志、PrivateLink 和加密控制。
  4. 三档计价 —— Priority 面向对延迟敏感的生产负载，Standard 按 token 计费做按需推理，Flex 面向可变延迟负载、价格低 50%。
  5. 不用你的数据训练模型，且默认配额是每分钟 100M token、每分钟 1 万次请求。

顺带一个成本侧的背景数字：Gartner 2026 年的分析认为，agentic 工作流会把 token 消耗放大 5 到 30 倍。所以单价不是小事，McKinsey 2025 年的开源 AI 报告也说，76% 的组织预计会加大开源 AI 的使用，领先采用者使用开放权重模型的概率高 40%。

换模型是一个参数的事

开放权重真正的工程价值，是在 Bedrock 上换模型只是改一个 API 参数而不是重做一套基础设施。这件事的前提是你有一个”谁来当主角、谁来当可替换件”的分工。官方博客里当主角的编码 agent 是 OpenCode：一个用 Go 写的开源终端原生 AI 编码 agent，能读写文件、执行 shell 命令，并通过 LSP 诊断理解项目结构，同时支持 75 个以上的模型供应商。模型是可替换件，agent 是常驻件 —— 这个结构决定了你在什么时候值得为某个任务换模型。官方给的组合是三个东西各管一层：OpenCode 当终端编码 agent，Oh-My-OpenAgent 提供委派框架负责把任务拆给不同模型，Amazon Bedrock 负责模型目录和安全访问。Ethara.AI 的做法是按推理复杂度、延迟要求、成本效率和任务类型动态路由，而不是所有活都丢给同一个模型。

模型之外还有几个必须自己拿主意的取舍点：

  • 推理深度 vs 延迟：复杂调试、架构决策、方案生成适合 reasoning 模型，Kimi K3 就是先推理再回答，深度用 reasoning_config 调；补全代码、样板生成、交互式结对编程则更该看生成速度。
  • 上下文长度 vs 成本：1M 上下文让整仓推理成为可能，代价是单次请求的 token 量。
  • 区域可用性：不同模型上架的区域不同，数据主权和延迟都取决于这一步。
  • 怎么评估：跨任务横向比，可以用 Artificial Analysis Coding Index（覆盖 SWE-Bench、Terminal-Bench、SWE-Atlas），比自己的提示词和数据则可以用 Amazon Bedrock Evaluations 做并排对比，支持自动打分、LLM-as-a-judge 或人工复核。

一个常见误解

有一处容易读错：AWS 官方博客里确实出现了 SkillClaw，但只有一句，而且位置很关键 —— 在讲 Ethara.AI 投在”自改进 agent 系统”上时，原文说他们的方向 “draw on research such as SkillClaw”。也就是说，它是被引用的一个研究方向，不是 AWS 的推荐项、更不是官方集成的一部分。GitHub 上的 AMAP-ML/SkillClaw（仓库首页写着 “Let Skills Evolve Collectively with Agentic Evolver”）是个独立开源项目，定位是让技能在 Agentic Evolver 的机制下”集体演化”。把它读成”AWS 官方推荐的扩展框架”是误读；从仓库首页看，它更像研究场景的原型，生产使用要自己补超时、重试和日志 —— 这后半句是我的判断，不是官方说法。

同样地，这篇博客也没有告诉你”开放权重模型已经能替代闭源模型做生产级编程代理”。它给的是一条可复现的接入路径：权限申请、凭证配置、converse 调用、接进 agent 循环，路径是清楚的；至于某个任务上开放权重到底比闭源模型好还是差，官方给的是方法（怎么比、用什么指标比），不是结论。

参考来源

# Agent# AI

评论区

0 条评论

登录后可评论。

星野 16 阅读