为了一盘醋包了顿饺子。
最近想测测 GPT-5.6，网上的评测要么太随意——找几条提示词逐一问过去，纯凭主观感受，效率低；要么又太专业，像完整的基准测试，光烧的银子就不是普通人能承担得起的。
我平时也会用 EvalScope 跑一些基准测试看结果，但它需要写代码，即便提供了一个可视化页面，也是长这个样子，太不直观了。
于是我自己“Vibe”了一个测评页面，让枯燥的测评任务变得有趣又直观。
最上方是测评配置，可以自由选择测试题，配置多个被测模型；开放性问题还能指定裁判模型来打分，最后统一测评参数——包括最大 Token 预算、思考强度等。
然后是测评进度，可以实时刷新，每个小方块对应一道题：绿色表示回答正确，黑色表示错误，黄色表示超过 Token 上限。
测评结束后会给出分数汇总，用堆叠条形图直观展示，还会显示 Token 消耗、费用、耗时等更详细的信息。
部分题目是生成 HTML 页面题，这些比较主观，不参与打分，但会在最后以直观对比矩阵的形式展示，方便人类观察。
这几天我测了无数轮——既有正式测评，也有为了打磨这个小工具的调试性测评，花了不少钱，真的心疼。
既然钱已经花出去了，那我就说说自己的感受和分析，免得浪费了。
首先选择的模型有两个顶尖选手：GPT-5.6-Sol 和 Claude-Fable-5，这也是今天的重点对比对象。另外还加入了两个国产开源的性价比模型，最后再来两个 8B 小模型作为对照，不然怎么体现出大模型的厉害？你看看他们的价格，相差居然这么悬殊！
测评结果里有几个挺有意思的观察。首先，古老的 Llama 小模型几乎全打错了，说明我出的题并非简单的弱智题。然后让我比较惊艳的是 Qwen 这个小模型，真的很厉害，8B 就有这么高的智力水平。虽然后面的难题没答对，但后面我是按 HLE 级别的难度测的，有一些还是原题，要是答对了才不正常呢。
再往上看那两个国产模型，有很多黄色的地方，这也是最后分数不高的主要原因——我设置了 Token 上限为 20000，这两个模型很多次思考过长，最后超限了。如果放开限制可能会好一些，但这样正好反映出一些问题，也挺好的。
然后 Claude-Fable-5 和 GPT-5.6 还是很符合预期的，正确率差不多。但 Claude-Fable-5 实在是太贵了！看下方条形图对比，费用遥遥领先。所以我觉得日常工作的话，目前 GPT-5.6 确实可以替代 Fable-5 了，不过这个后面再说。
还有一个有意思的发现：Claude-Fable-5 在指令遵循的一道题上，裁判模型判断它错了，但具体一看，我差点笑出来。
它是唯一一个把所有提示词全都倒过来写的模型。这也和我最近几天用 Fable-5 的感受差不多：它特别有想象力，也很有主见，有时我让它改一个地方，它顺手还发现一个其他问题一并修复了，像个特别爱表现自己的新员工，这一点有好有坏吧。不过裁判模型 Gemini 毫不客气地判错了。
至于 HTML 产物 这块，基本都没什么大问题。很多一年前我用 Agent 都很难做完善的场景，现在靠一轮 AI 对话就能一步到位生成。
比如这个 3D 魔方，我觉得 Fable-5 和 GLM-5.2 生成得最丝滑。其实要模型生成一个操作起来顺手、符合直觉的交互效果是很难的。
还有一些特别简单的 HTML 页面题，现在大家已经觉得不可能有模型生成不出来，纷纷在美观度上较劲了。其实给你们看看 Llama 生成的，你就知道两三年前就是这水平，如今我们真是被 AI 的进步给惯坏了哈哈。右边那张是 Llama-3.1-8B 的。
好啦，本次测试结果纯属个人自娱自乐，我也发了视频，评论区还有说我立场有问题的，也是服了。这个测试也有很大问题，比如 Token 预算到底该不该放开？大部分评测集都会设置这个参数，但像 AA 测试 HLE 时就是无限 Token 预算——因为题目难度太高了，这就因人而异了。
另外，我的题目难度梯度可能还不够：简单的问题太简单，难的问题太难。所以你会发现 Qwen3-8B 的水平和 GLM、DeepSeek 差不多——Qwen3 智力水平确实惊艳，简单题都能答对；难题呢，Qwen3 肯定答错，但 DeepSeek 和 GLM 则是因为超过 Token 上限而算错，两股力量一抵消，导致评分差不太多。
而 Claude-Fable-5 和 GPT-5.6 因为用很少的 Token 思考就能得出答案，才在这里拉开了差距。不过你看价格，可是接近 50 倍啊。
如果是卡价格预算来测的话，那国产性价比模型反而可能更高，这些都是需要考虑的因素，大家要理性看待。如果大家感兴趣，我也可以从这个维度再测一次。
最后，我又测了一下 Agent 能力，这个太烧钱，只能用自己的订阅来弄。不过我也想了种方便的方式：统一建了几个目录，里面分别放了 TASK.md，让 Agent 依次读取并解决问题。
简单说说直观感受吧。我个人觉得还是 Claude-Fable-5 更靠谱。GPT-5.6 居然直接忽略了一个目录，里面的任务根本没做！
大家也可以在评论区说说，你们最近用这俩家伙了么，什么感受？哦对了，今天是不是 Fable-5 的订阅到期了。有空的话，也欢迎来 云栈社区 聊聊你的大模型使用经验，那边讨论挺热闹的。
发表于 11 小时前
|
查看: 6|
回复: 0
