使用 WorkBuddy 5.5.4 的时候，我发现设置里突然多了一个本地本地大模型选项，正好手头有 2024 年数证杯团体赛服务器方向的题目，于是想着直接实际测评一下。通过 WorkBuddy 一键下载安装的好处就是省事，装完就能用，不需要单独折腾本地推理引擎。
这一期就带来一次真实测评：WorkBuddy 里下载的 qwen3.6 35B-A3B，用 2024 年数证杯团体赛服务器题目来做检验。先说整体结论：从最初跑完全部 18 题花了 2 小时，到调教优化后只用了 7 分钟。正确率暂且不论，先直接看效果。
优化前，离线大模型独立取证耗时：
优化后的最终耗时：
上一期已经介绍了在线大模型的做题方法：AI取证第08期：如何使用在线AI进行做题？。所以这期的重心就是，怎么把本地离线大模型在AI取证场景下调教得更顺手。
一、前期环境准备
1. 硬件配置
WorkBuddy 官方推荐配置如下：
官方要求里，内存至少 32GB，显存至少 16GB，推理引擎为 CUDA-13。我的机器明显显存不够，但 64GB 内存摆在那里，必须得试一试。本机实际配置：
2. WorkBuddy 软件
国内版和国际版都有本地模型功能，而且两边是共通的。也就是说，在国内版下载好离线大模型后，再打开国际版也能直接使用这个模型。
二、本地模型下载与配置
1. 入口位置
打开 WorkBuddy 软件界面左下角的设置：
2. 选择模型并下载
点击“模型”，再选择 Qwen3.6 35B-A3B 进行下载：
3. 下载中
下载过程中注意不要关闭对话框。好处是，即使意外关闭了，再打开也能继续断点下载。如果你还需要同时用 WorkBuddy，可以让国内版负责下载，国际版继续干活，两个版本同时打开不冲突。我实际就是这么操作的。
4. 下载完成
下载完成后，系统会自动把它配置到自定义的本地大模型里：
5. 服务器镜像与网卡配置
接下来上服务器镜像。这个服务器镜像原本设定了静态 IP，于是有两种思路：一种是直接将虚拟网卡设定到该静态 IP 的网段，再配置特定静态 IP。这种方法稍显麻烦，但好处是服务器里某些服务配置如果直接写死了原静态 IP，这种方案更稳妥。
另一种更简便的方式，是直接在虚拟机设置里新增一个虚拟网卡：
点击确定添加后，系统会重启，之后就能直接看到新增网卡的 IP：
6. 连接服务器
网卡问题解决后，切回 WorkBuddy，输入提示词，让模型通过 SSH MCP 工具连接服务器：
SSH MCP 工具的安装可以参考这篇教程：电子数据取证的常用MCP工具搭建及应用。
连接成功，确认主机信息：
随后直接放上题目：
三、离线模型初次跑题：卡在环境问题
有些取证环节需要依赖本地环境，而且这些工具得提前准备好。所以我才建议：先用在线大模型打磨本地环境和工具，再用离线大模型进行磨合。
很快就碰到了问题。离线环境里 sshpass 未安装，SSH 连接方式受限：
最终离线模型只完成了 10 道题，花了 33 分钟，没跑完全部 18 题：
四、切在线模型修环境，再回离线重跑
既然离线模型没跑完，下一步就是先把环境补完整。这里我切换为在线大模型，把剩余题目跑完，同时要求它一次性把在线安装依赖都处理到位，避免离线模型之后又卡在 SSH 连接、sshpass 缺失这类问题上。
在线大模型介入后，逐项修复 SSH 免密登录、dpkg 锁冲突等环境问题：
切换在线大模型后，环境一次性装好，8 分钟 39 秒跑通全部 18 题：
在线模型给出的 18 题完整答案：
接着重新让离线大模型跑一遍。提示词很明确：
要求你再用这个离线的大模型跑一遍题目，要求不能够偷看上面的答案和解题思路，重头开始做。
结果又遇到了问题：模型陷入了反复循环思考，SSH 转义和 LevelDB 提取也不顺利：
在没有任何规则限定的前提下，离线模型最后耗时 2 小时完成：
五、瓶颈分析与 Skill 沉淀
问题不能白白出现。我让模型整理一下时间消耗分析：
几个主要耗时点非常清晰：SSH 引导/转义问题花了约 40 到 50 分钟，MetaMask vault salt 提取又花了约 30 分钟。接着我抛出提示词：
整出一个列表出来并告诉优化方案，还有是需要靠本地离线大模型优化还是在线大模型优化。
针对 SSH 引号/转义反复出错这一类问题，模型给出了“先写文件再传远端执行”的优化思路：
# 先写文件再执行（推荐）
cat << 'PYEOF' > /tmp/script.py
# 完整 Python 代码
PYEOF
scp /tmp/script.py root@192.168.206.137:/tmp/
随后我又输入提示词，要求把整套优化方案沉淀为 Skill：
根据取证效率优化方案沉淀为skill
Skill 创建成功：
触发词和优化效果表：
六、思考模式开关：导致耗时暴涨的关键变量
创建 Skill 之后，我打开思考模式再让离线 AI 跑一遍：
由于重新仿真，IP 也变了：
模型这次自动调用了 Skill，自己解决了 sshpass 缺失的问题：
但在开启思考模式的状态下，模型出现了一个新问题：一直在循环思考，无法跳出。
这一次跑了 25 分钟：
于是我关闭思考模式再重跑一遍：
关闭思考模式后，只用了 7 分钟就完成全部题目：
此时离线模型的速度已经和在线模型持平，调试到这里基本可以收工。
所以，本地离线大模型并不是有了设备就万事大吉，它需要和 Agent、和你本地环境不断磨合。适合自己的配置，才是真正好用的配置。
七、最后遇到的 BUG
刚把文章码好，最后竟碰上一个 BUG：
有用户反映国内版 WorkBuddy 更新后本地模型入口不见了，确认 5.5.6 版本移除了该入口，装回 5.5.4 版本就恢复正常。如果你也遇到类似情况，可以留意一下版本差异。
这类本地大模型与 Agent 的磨合经验，在云栈社区也有不少讨论。如果大家在取证自动化或本地模型调优上有自己的实践，欢迎到社区继续交流。
发表于 半小时前
|
查看: 4|
回复: 0
