前几天介绍了 Graphify,有读者建议再试试 CodeGraph,于是有了这次对比。
我们让同一个 Codex 模型分别修改 Django Q2 和 BullMQ,再回到 Django Q2,沿着各组交付的代码继续完成另外两个需求。首轮两个问题中,CodeGraph 都节省了约 14% 的总 token;到了连续开发的第三题,原生 Codex 的累计用量最低。三种方案都通过了相同的行为验收。
首先,两个修改都要正确完成
Django Q2 使用 Python、SQLite 和 ORM 队列。定时任务即使延迟执行或补跑,也要能通过调用方指定的关键字参数收到原计划时间。这同时考验数据库迁移、创建计划的接口和调度器。
对应的 PR: https://github.com/django-q2/django-q2/pull/62
BullMQ 使用 TypeScript 和真实 Redis。对于相同的去重 ID,extend 要能延长有效期,replace 要能替换仍在延迟队列中的旧任务。两者同时使用时,worker 最终只能处理最新数据。
对应的 PR: https://github.com/taskforcesh/bullmq/pull/3260
首次交付的完整用量
| 项目 |
方案 |
建索引 |
开发 |
维护 |
总 token |
分钟 |
| Django Q2 |
原生 Codex |
0 |
965,826 |
0 |
965,826 |
7.8 |
| Django Q2 |
CodeGraph |
0 |
827,603 |
0 |
827,603 |
7.0 |
| Django Q2 |
Graphify |
4,834,232 |
1,021,394 |
6,469,661 |
12,325,287 |
49.9 |
| BullMQ |
原生 Codex |
0 |
2,247,451 |
0 |
2,247,451 |
13.3 |
| BullMQ |
CodeGraph |
0 |
1,936,645 |
0 |
1,936,645 |
13.0 |
| BullMQ |
Graphify |
8,665,682 |
2,520,314 |
4,337,821 |
15,523,817 |
53.8 |
每组都通过了 6 项隐藏行为检查。Django Q2 另外通过 7 项冻结回归检查,BullMQ 另外通过 17 项。总耗时取三个阶段实际用时之和。
CodeGraph 在 Django Q2 上比原生方案少用了 138,223 token,在 BullMQ 上少用了 310,806 token。它通过本地 CLI 建索引和同步,这两个阶段都没有模型调用。Graphify 首轮在两个仓库的开发用量都略高于原生,最大的额外开销来自开发前后的建图和维护。
同一套索引连续做三个需求
Django Q2 的第二题开始区分队列库和业务写库。调度器需要在正确的库提交计划进度,以免同一任务重复投递。
第三题加入默认集群和命名集群,要求把即时任务、定时计划送到正确队列,并记录实际执行集群。验收时会让一个逾期计划走完这条链路,同时检查前两题的行为。对应 PR 为 #61 和 #71。
三组从各自通过验收的第一题快照继续,后两题都没有重建索引。原生方案和 CodeGraph 沿用首轮记录;Graphify 的建图和开发取第二轮记录,维护取第三轮记录。
每题结束时的累计 token 用量
| 方案 |
第 1 题后 |
第 2 题后 |
第 3 题后 |
三题耗时 |
| 原生 Codex |
965,826 |
1,868,240 |
4,365,960 |
29.6 分钟 |
| CodeGraph |
827,603 |
2,465,317 |
5,722,421 |
33.5 分钟 |
| Graphify |
12,061,941 |
16,659,416 |
25,031,218 |
91.9 分钟 |
第一题结束时,CodeGraph 已经回本。第二题中,CodeGraph 光开发就用了 1,637,714 token,原生方案用了 902,414 token。做完这题后,CodeGraph 的累计用量超过了原生方案。
第三题结束时,CodeGraph 比原生方案多用 1,356,461 token,也就是 31.07%。Graphify 三题都没回本,最后多用 20,665,258 token,总量为原生方案的 5.73 倍。
为什么总量会增加?
| 方案 |
缓存命中输入 |
未命中输入 |
输出 |
模型响应 |
| 原生 Codex |
4,064,640 |
245,484 |
55,836 |
64 |
| CodeGraph |
5,468,672 |
194,601 |
59,148 |
79 |
| Graphify |
24,232,576 |
625,524 |
173,118 |
247 |
CodeGraph 三题累计少用了 50,883 个未命中输入 token,降幅为 20.73%;输出只多了 3,312 token。总量差额主要来自缓存命中输入:CodeGraph 比原生方案多用 1,404,032 token。实际付费时,这三类 token 的单价可能不同。
总 token 取自 Codex 原始会话,为缓存命中输入、未命中输入与输出之和,其中输出已包含推理 token。各组均通过本序列的行为、回归及适用的索引验收。
Graphify 的维护为什么比建图还贵
首轮 Django Q2 只重新提取了 5 份源码和 1 份文档,维护仍比首次建图多用 1,635,429 token。建图用了 33 次模型响应,维护用了 51 次。维护的未命中输入和输出都比建图少,多出来的是后续响应里重复处理的缓存命中输入。
本地解析器回放了 66 份 AST 缓存,以恢复跨文件关系。Codex 则读取文档、更新语义关系,处理旧脚本引用已清理文件的问题,并修正校验断言。
同一需求的三次维护
| 同一需求的维护 |
总 token |
未命中输入 |
输出 |
分钟 |
| 首轮 |
6,469,661 |
132,146 |
37,099 |
20.0 |
| 固定增量脚本 |
2,570,449 |
98,569 |
24,264 |
13.4 |
| 修正脚本校验 |
1,906,058 |
63,782 |
12,900 |
7.3 |
第三轮恢复了第二轮保存的维护前快照,修正后的脚本一次通过。这次维护比首轮少用 70.54% 的总 token。修正脚本本身另用 3,222,676 token,未计入维护或三题合计。
流程改善后,Graphify 在第一题的开发阶段用了 698,112 token,比原生方案少 27.72%。首次建图花了 9,457,771 token,三次维护又花了 9,756,036 token。建图和维护合计占 Graphify 三题总用量的 76.76%。
总结
CodeGraph 和 Graphify 都把“省 token”列为卖点。我们用 Codex 实际改代码,确实看到过单题节省:首轮在 Django Q2 和 BullMQ 上,CodeGraph 都比原生方案少用约 14%。
但在 Django Q2 上连续完成三个需求,把建索引、改代码、跑测试和维护索引都算进去,原生 Codex 的总用量最低。CodeGraph 比它多用 31.07%,Graphify 用了它的 5.73 倍。
会不会是我们选的项目太小了?Django Q2 和 BullMQ 的起始快照分别有 104 和 527 个 Git 跟踪文件。CodeGraph 官方表示,曾在约 110 个文件的 Gin 项目上测试,回答一道架构问题时节省了 52% 的 token。按它的解释,收益更多取决于 Agent 为回答问题原本要搜索多少次、翻多少文件。
Graphify 则更强调材料规模。它的 6 文件样例几乎没有压缩收益;在包含 52 份代码、文档、论文和图片的混合样例上,一次查询返回的文本量约为读入全部材料的 1/71.5。
原生 Codex 会按需找文件,修改一处功能也用不着读完整个仓库。这轮测试只在 Django Q2 上连续做了三题,还分不清项目规模和需求本身各起了多大作用。
如果换成更大的仓库,每次改动都要跨多个模块追踪调用,同一份代码图能不能帮 Codex 省下足够多的查找工作,让交付总用量低于原生?后续还需要在更大项目的连续开发中验证。