Aakit

一句话定位

给 coding agent 装一个"假设检测仪"：把它在干活时悄悄做的每一条假设挖出来、 标上证据、看哪条假设崩了、崩了波及多大，再算出"问一句还是不问"到底哪个划算。

做这个东西的人

GitHub 用户 Abhixhek（身份未披露）的独立开源项目。在 HN 上发布过， 本池记录 5 分、1 条评论。 注意重名：GitHub 上还有另一个"AA Kit（Agent As Everything）"和多个"AIKit" 工具包，都与本项目无关，本分析只针对 abhixhek/aakit。

判断：作者愿意把一个"三个实验没有一个跑出可发表数字"的工具公开出来，还写了 一整套两周长跑协议，说明他更想要的是方法被讨论，而不是数字好看。这本身值得 读。

它到底能做哪几件事

• 提取假设 → 从 Claude Code 的会话记录（JSONL）里解析出任务和每条隐含假设， 标出来源（读了什么、还是纯猜）
• 判定崩没崩 → 用失败测试、文件矛盾、用户修正当证据，找出被推翻的假设， 并算"炸裂半径"——这条假设崩了会连带推翻哪些产物
• 算基础率 → 实验一：静默假设到底有多频繁地"错且致命"，给出置信区间
• 测问话策略 → 实验二：四种策略（不问就干/总问/分歧时才问/带预算的分歧才问） 在同规格任务上对比成功率与 token 成本
• 诚实报告 → 所有结论都带威尔逊置信区间，附带"杀掉论文"的判据

它明确不保证：当前版本三个实验都没有可发表的结果——这是作者自己在 README 里写的，不是我们的判断。

它在替代什么旧行为

以前排查 agent 干砸的活，靠人肉翻会话记录复盘：一条条看它当时为什么这么做、 哪个环节想岔了。这活儿慢、靠运气、且事后往往已经说不清。

aakit 替代的是这种"事后凭感觉复盘"，把它变成一条可重复的测量流水线： 解析→提取→人工裁定→出指标。它不是第一个做 agent 日志分析的工具， 但它是第一个把"隐含假设"当成显性测量对象、并且公开承认测量还没测准的工具。

判断：它替代的不是某个具体动作，而是一种习惯——"agent 干完了就当它干对了" 的默认信任。这是所有敢把 agent 放上生产的团队迟早要换掉的习惯。

商业模式

无。 开源项目，未见许可证声明与任何收费/托管服务，作者身份与背景未披露。

判断：这类测量工具的商业化路径通常是"开源端上版 + 付费团队版"，但当前阶段 连实验都没跑通，谈商业模式为时过早。

硬数字

• 本池记录：HN 5 分、1 条评论（2026-08-13 观测）；GitHub stars/forks 未获取到
• 实验二：120 次试验（10 任务 × 4 策略 × 3 重复，claude-sonnet-4-5）， gated_multi 成功率 19/30（63.3%）vs always 18/30（60%）vs divergence_gated 13/30（43.3%）vs never 10/30（33.3%）——置信区间全部重叠，实验二被作者判定失败
• 最强发现：门控（divergence check）少问 3.7 倍的问题，却多花 25% token
• 实验一：n=2，无基础率；实验三（monitor recall）：从未运行
• 自报 3 个仪器 bug（头部截断虚高假设计数、工具自吞调用、会话 ID 排除失效）
• 样本量自评：需 n≈40/策略 才能分离 gated_multi 与 never，当前 n=30 不够

四维评估

判断

这是"agent 时代的测量工具该长什么样"的一个诚实草稿。 它的价值不在结果 ——三个实验全军覆没——而在两点：一是把"隐含假设"这个 agent 最容易出错、人 最难发现的东西显性化了；二是它对测量本身的诚实：样本量不够就说不够，仪器有 bug 就报 bug，中间偷看的结果被反转就警告别人不要提前读表。

判断：对一个"测量工具"来说，承认自己没测准，比假装测准了值钱得多。这种诚实 在 AI 工具里罕见，也是它唯一配得上"值得记一笔"的理由。

但商业判断很简单：5 分 HN、作者匿名、实验无果，现在没有任何理由重仓它的 方向，也没有任何数据支持它已经跑通。它属于"方法论上值得收藏、工程上还在 半路"的类型。

下一步看什么

① stars 三个月内能否破百——社区接受度是它有没有被验证的第一个信号 ② 实验二是否补足样本（n≈40/策略）并给出可发表数字——作者的下一步承诺兑现没有 ③ 是否有人公开复现或引用它的协议——测量协议被外人用起来，比 stars 更有说服力

可借鉴的做法

产品逻辑："把隐含假设显性化"可以直接搬到任何方案评审上——让 agent（或 同事）在动手前先把假设列出来，评审的不是结论而是假设清单本身。AI 出错的地方 往往不在代码，在它默认成立的那些前提。

结论

有待观察。 方法论有真东西、工程诚实度少见，但数据薄、实验未跑通、 作者匿名，没有任何可投资的依据。三个月后拿上面三条验证它是否从"诚实的草稿" 变成"可用的工具"。