当编码 agent 需要较大的上下文和工具调用能力时,GLM-5.3 和 Kimi K3 都值得测试,但仅凭目录名称无法判断哪个模型能更好地完成你的仓库任务。GetVibe 发布了不止一个 GLM 变体,因此应先选择准确的 ID。本指南在模型页面可用时使用 glm-5.3 和 kimi-k3,并将 glm-5.3-flash 作为单独的低成本变体,而不是将其视为同一个模型。
截至2026年10月3日核对的价格快照
| 公开模型 ID | 目录输入 / 输出价格 | 评估用途 |
|---|---|---|
| glm-5.3 | 请参阅当前模型页面 | 测试完整的 GLM-5.3 变体 |
| glm-5.3-flash | $0.0112 输入 · $0.0371 输出 每百万 token | 低成本的 GLM-5.3 Flash 候选 |
| kimi-k3 | $0.1758 输入 · $0.8786 输出 每百万 token | 比较长上下文编码和编辑能力 |
10月3日,实时公开目录返回了 Flash 和 Kimi 条目的价格;普通 GLM-5.3 模型页面在 SEO 渲染器中没有可用的相同文本价格 token。不要用 Flash 的价格替代 GLM-5.3 的价格。请访问链接页面,查看当前公布的价格和能力。
先确认 agent 协议
使用目录和集成文档确认你的编码工具支持的端点。如果使用 Claude Code,则需要 Anthropic Messages 格式,只有为该接口发布的模型才能工作。对于 Codex CLI,请使用 wire_api = "responses" 配置 Responses API。对于 OpenCode,请使用生成的配置,以确保工具支持、上下文和图像元数据都已定义。直接聊天请求成功,并不能证明 agent 的工具调用能够正常工作。
进行公平的仓库评估
- 选择一个仓库提交,并移除未提交的更改。
- 准备一个失败测试、一个小型功能和一个仅需解释的任务。
- 使用相同的系统提示词、文件访问权限、审批模式和测试命令。
- 记录补丁正确性、测试结果、工具调用错误、耗时和用量。
- 在比较结果前,将每个任务重复运行数次。
不要只根据文字表达评分。应根据补丁以及是否通过仓库测试来评估编码模型。统计纠正轮次,因为会反复循环的 agent 可能会消耗多得多的 token。
保持比较客观
截至本文撰写时,我们尚未运行受控的公开 GLM-5.3 与 Kimi K3 编码基准测试,因此本文不声称其中一个更准确或更快。价格单元格是目录数据;任务质量必须来自你自己的测试集。比较每个已接受更改的成本,而不只是理论输入价格。更便宜的 Flash 变体可能适合小型编辑,但仍可能无法完成复杂重构,从而需要升级到其他模型。
让模型选择易于切换
将模型 ID 放在环境或 agent 配置中,而不是写入一连串硬编码常量。分别保留 glm-5.3、glm-5.3-flash 和 kimi-k3 的评估结果。每次运行都记录日期、目录链接、准确的提示词、用量和测试结果。这样可以避免在不知情的情况下,将模型更新后的结果与较早的运行结果进行比较。
检查每个模型页面上的推理控制项和上下文限制。使用符合实际的仓库大小,不要默认设置为宣传的最大上下文。排除依赖项和构建目录,让模型将上下文用于你希望它修改的代码。
安全发布检查清单
- 从临时分支开始,并审查每个 diff。
- 明确设置 agent 的 shell 和文件权限。
- 在客户端支持的情况下设置输出和时间预算。
- 在接受生成的补丁前运行测试。
- 评估后检查用量,并与实时价格页面进行比较。
如需设置,请参阅 Codex CLI、Claude Code 和 OpenCode。如需了解模型能力和价格,请使用目录。快照日期为2026年10月3日;此日期之后以实时页面为准。
保持任务集具有代表性
应包含一个带有失败测试的 bug、一个需要阅读多个文件的功能,以及一个 agent 不应进行编辑的代码解释任务。再添加一个需要工具调用的任务,以及一个模型必须询问缺失需求的任务。与要求每个模型编写独立函数的提示词相比,这能揭示更多信息。
每次运行都使用干净的仓库快照。如果第一个模型留下未提交的编辑,在启动下一个模型前先重置。否则第二个模型会收到不同的代码库,比较结果也就无效。保持权限提示和可用 shell 工具一致。
读取完整的用量追踪
保存模型 ID、输入和输出 token、耗时、工具错误、重试次数以及最终测试状态。如果 agent 支持上下文压缩,请记录其发生时间。长上下文模型在收到无关文件时仍可能表现不佳;上下文容量不能替代选择有用的上下文。
为了公平比较价格,请在每次运行时使用对应模型页面上的价格,并记录是否发生了缓存读取。目录价格是规划值,而已接受更改的总支出取决于 agent 需要多少个工具循环。分别比较这两个数值。
何时不应为任务使用 agent
对于机械式重命名、确定性格式化或批量字段转换,脚本可能比让模型编辑数百个文件更便宜、更安全,也更容易审查。任务需要判断或解释时再使用模型,然后让自动化检查负责正确性。最强的工作流是将聚焦的模型贡献与确定性测试结合起来。
