同样的 DeepSeek 模型,换个 Harness,差距有多大?
有人用 DeepSeek-V4.1-Flash-1017,在 Terminal-Bench 2.0 上对比了三套 Harness,20 个任务各测两轮。
结果挺有意思:
任务成功率:
• Claude Code:75%
• Hermes:75%
• DeepSeek Harness:70%统计上没有显著差异。
但执行成本差别不小:
• 输入 Token:Claude Code 2321 万,DeepSeek Harness 3868 万,前者少约 40%
• 工具交互:Claude Code 平均 18 轮,DeepSeek Harness 29 轮
• 整批执行:DeepSeek Harness 最快,但 Claude Code 受到服务端缓存问题影响,速度对比并不完全公平同一个模型,Harness 没有拉开任务成功率,却明显改变了 Token 消耗和执行方式。
看来 Coding Agent 的竞争,不只是模型的竞争。
大家实际体验呢?同一个模型,换不同 Harness,效果差异大吗?
主楼- 相关主题
- 视频教程:用 magpie 把 DeepSeek 额度接入各类 Agent
- DeepSeek Harness 登录客户端领取,自动领取6元体验金
- 你喜欢哪个模型?只有 Deepseek V4.1 Flash 1017 大家边夸边用
- 0.1元,买5000万Token DeepSeek-V4.1-Flash和GLM-5.3-Flash任选一个
- 1024,一个特殊的日子,羊毛必须薅起来!!!
- WorkBuddy,国内版和国际版 两个版本的价格、积分、功能,整理成图了
- 免费薅Claude Code和Codex额度?这个GitHub导航自动更新
- magpie太强大了,已经薅了960w的deepseek
- OpenCode 刚刚宣布,DeepSeek V4.1 Flash 现已免费提供
- Deepseek 账号 7 日内( 10.8-10.14 )的消耗金额以赠金形式全额返还,赠金自动到账