同样的 DeepSeek 模型,换个 Harness,差距有多大?

有人用 DeepSeek-V4.1-Flash-1017,在 Terminal-Bench 2.0 上对比了三套 Harness,20 个任务各测两轮。

结果挺有意思:

任务成功率:
• Claude Code:75%
• Hermes:75%
• DeepSeek Harness:70%

统计上没有显著差异。

但执行成本差别不小:

• 输入 Token:Claude Code 2321 万,DeepSeek Harness 3868 万,前者少约 40%
• 工具交互:Claude Code 平均 18 轮,DeepSeek Harness 29 轮
• 整批执行:DeepSeek Harness 最快,但 Claude Code 受到服务端缓存问题影响,速度对比并不完全公平

同一个模型,Harness 没有拉开任务成功率,却明显改变了 Token 消耗和执行方式。

看来 Coding Agent 的竞争,不只是模型的竞争。

大家实际体验呢?同一个模型,换不同 Harness,效果差异大吗?

主楼