Why Pi + DeepSeek Is the Cheapest Among 8 Agent Harness Frameworks – A Detailed Benchmark

Test setup

Composio evaluated eight agent‑harness frameworks (Hermes, Pi, OMP, Prime Agent, Claude Code, Codex, DeepAgents, OpenCode) by running the same DeepSeek V4 Flash model on a suite of 30 multi‑step workflow tasks. Each task used the same Composio MCP toolset and was limited to 900 seconds. Tasks required agents to interact with real SaaS applications (Google Sheets, Google Calendar, GitHub, Linear, Gmail, Slack) and produce a verifiable answer.

Task examples

Sync Google Sheets roster with Google Calendar : read 40 session records from a sheet, locate matching calendar events by exact session ID, correct mismatches, add missing events, without touching unrelated entries.

Validate GitHub issues against Linear tasks : find all issues labeled “evaluation” that contain a Linear task ID, verify each ID exists and is completed in Linear, and report the exact mapping while leaving both systems unchanged.

Cross‑platform ticket processing : extract qualifying tickets from Gmail, record them in a Google Sheet, back‑fill account information, and post a summary to a designated Slack channel, ensuring bait and excluded tickets remain untouched.

Results

Pass‑rate (successful tasks / 30)

Pi Agent – 20 / 30 (66.7 %)

Prime Agent – second

OMP – third

Claude Code, Codex, DeepAgents, Hermes, OpenCode – lower, with OpenCode at the bottom.

Token consumption (thousands)

Hermes – 192 k (lowest)

Pi – 560 k

OMP – 742 k

Claude Code – 742 k

OpenCode – 692 k

DeepAgents – 665 k

Codex – 665 k

Prime Agent – 1.4 M (highest)

Average runtime per task

Claude Code – 122.7 s (fastest)

OpenCode – 129.7 s

Pi – 132.2 s

Hermes – 175.5 s

DeepAgents – 187.1 s

OMP – 272.4 s (slowest)

Prime Agent & Codex – ~4 min

Cost per successful task (USD)

Pi – $0.028

DeepAgents – $0.045

Hermes – $0.056

OpenCode – $0.073

Codex – $0.081

OMP – $0.103

Prime Agent – $0.131

Claude Code – $0.195 (highest)

Claude Code spent a total of $3.12 for 16 successful tasks (average $0.104 per attempt, $0.195 when amortized over all 30 attempts).

Analysis

Token count alone does not determine speed or success. For example, Claude Code and OMP consume similar token volumes (~742 k) but Claude Code completes in less than half the time. Runtime differences stem from tool‑call overhead, network latency, retry policies, and each harness’s internal processing pipeline. Faster runtimes do not guarantee higher pass‑rates; Claude Code is the quickest yet its pass‑rate trails Pi’s.

Key observations

Pi + DeepSeek delivers the highest reliability (66.7 % pass) at the lowest per‑task cost.

Claude Code offers the shortest execution time but incurs the highest per‑task cost.

Hermes achieves the lowest token consumption, making it attractive when token efficiency is critical.

Prime Agent consumes ~1.4 M tokens per task, indicating poor token efficiency.

Implications for evaluation

Enterprises are likely to assess agent harnesses using the same economic metrics applied to LLMs today: total token consumption, completion time, overall cost, and cost per successful task. Selecting the optimal model‑harness combination can shift these metrics by an order of magnitude.

Reference: https://composio.dev/content/best-agent-harness-deepseek-v4-flash

Code example

来源丨
经授
权转自 菜鸟教程（ID：runoob）
作者
丨
RUNOOB
Agent Harness（智能体运行框架）最近有点热，连 DeepSeek 都要下场
搞
DeepS
eek
Harness：
目前已有大量实用社区插件对外开放，覆盖界面增强、多智能体协作、浏览器自动化、多模型兼容、文件处理等场景。
依托开放插件生态，Harness 为开发者与技术爱好者提供可自由拼装的 Agent 底座。
当
通用 Agent 与编程智能体陆续跑通落
地场景，海量 Token 持续消耗已成常态。
现在头部大厂的 AI 实验室纷纷下
场自研 Harness，Hermes、Pi、OMP、Prime Agent 等方案接连涌现，大家都想大招专属的 Harness，这个赛道竞争已经前面开启了，Harness 也许是模型智商变成真金白银的最后一公里。
Composio
（一家专做 AI Agent 工具的公司）做了一次实测，把
同一个 DeepSeek V4 Flash
，分别装进
8 个不同的 Harness
，跑
30 个真实的多步骤任务
，看谁又快又便宜。
在 Artificial Analysis 的评测里，DeepSeek V4 Flash 拿到
52 分
，作为对照，目前顶级水平的 Opus 5 Max 是
63 分
，分差不算大，但 V4 Flash 的成本，只有它的几十分之一。
可惜这个没有 DeepS
eek
Harness 的数据，主要是他们测试的时候，它还没生出来～
Agent 动辄几十轮调用、调很多次工具，模型贵一点点，账单就被成倍放大，所以便宜的模型很重要～
本次测试内容是
30 个高难度的工作流任务
，全部用同一套 Composio MCP 工具，每个任务最多
900 秒
完成。
任务要求 Agent 在真实 SaaS 应用之间跳转、操作数据，最终给出一个
可以被独立验证的答案
：
同步 Google 表格花名册和 Google 日历
：
从表格里读取 40 场会话记录，用精确的会话 ID 找到对应的日历事件，把记录不对的改正确、把缺失的补上，同时
不能碰到无关的事件和源表格
。
核对 GitHub issue 和 Linear 任务
：
找出所有带评估标签、且关联了 Linear 任务 ID 的 GitHub issue，验证每个 ID 在 Linear 里真实存在、且已完成，给出精确对应关系——
两边系统都不许动
。
跨 Gmail、表格、Slack 同步工单：
从 Gmail 找出符合条件的工单，原样记进 Google 表格台账，给每条记录回填账号信息，把最终统计发到指定 Slack 频道——期间
诱饵工单和被排除的工单必须保持不动
。
测试完成后的完整榜单如下：
1、通过率排名
Pi Agent 通过率最高
，30 个任务完成 20 个，66.7%。
其次是 Prime Agent ，然后 OMP 排第三
，之后是
Claude Code、Codex、DeepAgents 、
Hermes
、
OpenCode
垫底。
2、Token 消耗
Prime Agent 平均每个任务烧掉 140 万 token
，一骑绝尘，妥妥的油老虎。
OMP 和 Claude Code 约
74.2 万的 token，
OpenCode 69.2 万、DeepAgents、Codex 66.5 万、Pi 只用了约
55.9 万
、
Hermes 最省，约 19.2 万
。
3、耗时
Claude Code 中位耗时最短，122.7 秒
。
第二的是 OpenCode 129.7 秒，接下来是 Pi 132.2 秒、Hermes 175.5 秒、DeepAgents 187.1 秒、Prime Agent 和 Codex 都在 4 分钟左右、
OMP 最慢 272.4 秒
。
token 消耗量和耗时并不是简单的正相关，
Claude Code 和 OMP 消耗的 token 差不多（都在 74 万左右），但 Claude Code 的完成时间只有 OMP 的不到一半。
耗时不只看 token 量，还包括
工具调用、网络请求、重试、Harness 自身的处理逻辑
，同样的活，几次大调用就能跑完，也可以拆成几百次连续的小调用、每次都等结果返回，耗时自然差出几倍。
速度快也不代表通过率高，Claude Code 最快，但 OMP 反而多做成了一个任务，OpenCode 速度和 Claude Code 差不多，通过率却是最低的。
4、成本
Claude Code 每个成功任务成本最高，$0.195
，它的 token 总消耗量和 Codex、OMP 差不多，因为只有 1.5% 的 token 命中了缓存，而 Codex 约 70%、OMP 约 57% 都命中了缓存
。
Claude Code 在 30 个任务上总共花了
3.12 美元
，成功 16 个，平均每个任务 0.104 美元，摊到每个成功任务就是 0.195 美元。
Pi 的成本最低，每个成功任务只要 $0.028
、DeepAgents $0.045、Hermes  $0.056、OpenCode $0.073、Codex $0.081、OMP $0.103、Prime Agent $0.131。
6、缓存命中率
求又稳又省
看 Pi Agent（通过率最高 + 成本最低）和 DeepAgents。
在意速度、预算不敏感
选 Claude Code，但提前接受它的高账单。
任务极度吃上下文
慎选 Prime Agent（140 万 token / 350 万会话警告）。
预算敏感、不介意多等，
Hermes 最省 token，值得一试。
可以预见，未来企业评估 Harness，会像今天评估模型一样认真，看
token 消耗、完成时间、总成本、单次成功成本
这几本经济账。
同一个任务，选对模型 + Harness的组合，这四本账都可能差出一个数量级。
参考：https://composio.dev/content/best-agent-harness-deepseek-v4-flash