找回密码
立即注册
搜索
发回帖 发新帖

6409

积分

0

好友

810

主题
发表于 4 小时前 | 查看: 2| 回复: 0

前几天介绍了 Graphify,有读者建议再试试 CodeGraph,于是有了这次对比。

我们让同一个 Codex 模型分别修改 Django Q2 和 BullMQ,再回到 Django Q2,沿着各组交付的代码继续完成另外两个需求。首轮两个问题中,CodeGraph 都节省了约 14% 的总 token;到了连续开发的第三题,原生 Codex 的累计用量最低。三种方案都通过了相同的行为验收。

首先,两个修改都要正确完成

Django Q2 使用 Python、SQLite 和 ORM 队列。定时任务即使延迟执行或补跑,也要能通过调用方指定的关键字参数收到原计划时间。这同时考验数据库迁移、创建计划的接口和调度器。

对应的 PR: https://github.com/django-q2/django-q2/pull/62

BullMQ 使用 TypeScript 和真实 Redis。对于相同的去重 ID,extend 要能延长有效期,replace 要能替换仍在延迟队列中的旧任务。两者同时使用时,worker 最终只能处理最新数据。

对应的 PR: https://github.com/taskforcesh/bullmq/pull/3260

首次交付的完整用量

项目 方案 建索引 开发 维护 总 token 分钟
Django Q2 原生 Codex 0 965,826 0 965,826 7.8
Django Q2 CodeGraph 0 827,603 0 827,603 7.0
Django Q2 Graphify 4,834,232 1,021,394 6,469,661 12,325,287 49.9
BullMQ 原生 Codex 0 2,247,451 0 2,247,451 13.3
BullMQ CodeGraph 0 1,936,645 0 1,936,645 13.0
BullMQ Graphify 8,665,682 2,520,314 4,337,821 15,523,817 53.8

每组都通过了 6 项隐藏行为检查。Django Q2 另外通过 7 项冻结回归检查,BullMQ 另外通过 17 项。总耗时取三个阶段实际用时之和。

CodeGraph 在 Django Q2 上比原生方案少用了 138,223 token,在 BullMQ 上少用了 310,806 token。它通过本地 CLI 建索引和同步,这两个阶段都没有模型调用。Graphify 首轮在两个仓库的开发用量都略高于原生,最大的额外开销来自开发前后的建图和维护。

同一套索引连续做三个需求

Django Q2 的第二题开始区分队列库和业务写库。调度器需要在正确的库提交计划进度,以免同一任务重复投递。

第三题加入默认集群和命名集群,要求把即时任务、定时计划送到正确队列,并记录实际执行集群。验收时会让一个逾期计划走完这条链路,同时检查前两题的行为。对应 PR 为 #61 和 #71。

三组从各自通过验收的第一题快照继续,后两题都没有重建索引。原生方案和 CodeGraph 沿用首轮记录;Graphify 的建图和开发取第二轮记录,维护取第三轮记录。

每题结束时的累计 token 用量

方案 第 1 题后 第 2 题后 第 3 题后 三题耗时
原生 Codex 965,826 1,868,240 4,365,960 29.6 分钟
CodeGraph 827,603 2,465,317 5,722,421 33.5 分钟
Graphify 12,061,941 16,659,416 25,031,218 91.9 分钟

第一题结束时,CodeGraph 已经回本。第二题中,CodeGraph 光开发就用了 1,637,714 token,原生方案用了 902,414 token。做完这题后,CodeGraph 的累计用量超过了原生方案。

第三题结束时,CodeGraph 比原生方案多用 1,356,461 token,也就是 31.07%。Graphify 三题都没回本,最后多用 20,665,258 token,总量为原生方案的 5.73 倍。

为什么总量会增加?

方案 缓存命中输入 未命中输入 输出 模型响应
原生 Codex 4,064,640 245,484 55,836 64
CodeGraph 5,468,672 194,601 59,148 79
Graphify 24,232,576 625,524 173,118 247

CodeGraph 三题累计少用了 50,883 个未命中输入 token,降幅为 20.73%;输出只多了 3,312 token。总量差额主要来自缓存命中输入:CodeGraph 比原生方案多用 1,404,032 token。实际付费时,这三类 token 的单价可能不同。

总 token 取自 Codex 原始会话,为缓存命中输入、未命中输入与输出之和,其中输出已包含推理 token。各组均通过本序列的行为、回归及适用的索引验收。

Graphify 的维护为什么比建图还贵

首轮 Django Q2 只重新提取了 5 份源码和 1 份文档,维护仍比首次建图多用 1,635,429 token。建图用了 33 次模型响应,维护用了 51 次。维护的未命中输入和输出都比建图少,多出来的是后续响应里重复处理的缓存命中输入。

本地解析器回放了 66 份 AST 缓存,以恢复跨文件关系。Codex 则读取文档、更新语义关系,处理旧脚本引用已清理文件的问题,并修正校验断言。

同一需求的三次维护

同一需求的维护 总 token 未命中输入 输出 分钟
首轮 6,469,661 132,146 37,099 20.0
固定增量脚本 2,570,449 98,569 24,264 13.4
修正脚本校验 1,906,058 63,782 12,900 7.3

第三轮恢复了第二轮保存的维护前快照,修正后的脚本一次通过。这次维护比首轮少用 70.54% 的总 token。修正脚本本身另用 3,222,676 token,未计入维护或三题合计。

流程改善后,Graphify 在第一题的开发阶段用了 698,112 token,比原生方案少 27.72%。首次建图花了 9,457,771 token,三次维护又花了 9,756,036 token。建图和维护合计占 Graphify 三题总用量的 76.76%。

总结

CodeGraph 和 Graphify 都把“省 token”列为卖点。我们用 Codex 实际改代码,确实看到过单题节省:首轮在 Django Q2 和 BullMQ 上,CodeGraph 都比原生方案少用约 14%。

但在 Django Q2 上连续完成三个需求,把建索引、改代码、跑测试和维护索引都算进去,原生 Codex 的总用量最低。CodeGraph 比它多用 31.07%,Graphify 用了它的 5.73 倍。

会不会是我们选的项目太小了?Django Q2 和 BullMQ 的起始快照分别有 104 和 527 个 Git 跟踪文件。CodeGraph 官方表示,曾在约 110 个文件的 Gin 项目上测试,回答一道架构问题时节省了 52% 的 token。按它的解释,收益更多取决于 Agent 为回答问题原本要搜索多少次、翻多少文件。

Graphify 则更强调材料规模。它的 6 文件样例几乎没有压缩收益;在包含 52 份代码、文档、论文和图片的混合样例上,一次查询返回的文本量约为读入全部材料的 1/71.5。

原生 Codex 会按需找文件,修改一处功能也用不着读完整个仓库。这轮测试只在 Django Q2 上连续做了三题,还分不清项目规模和需求本身各起了多大作用。

如果换成更大的仓库,每次改动都要跨多个模块追踪调用,同一份代码图能不能帮 Codex 省下足够多的查找工作,让交付总用量低于原生?后续还需要在更大项目的连续开发中验证。




上一篇:HTTP 请求重放实操:Oxo Operator 复制流量、改参数再对照
下一篇:Agent 评估体系搭建:隐藏测试、轨迹审计与噪声分析
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 15:43 , Processed in 0.066393 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表