huggingface.co

The Agent Said It Was Done. The Database Disagreed.

译：Agent 说做完了，数据库不同意

  • Microsoft 与 Hugging Face 的 ThinkingBox 不按措辞或工具调用打分，只看最终数据库状态和副作用。

  • 507 个有状态业务流程各跑 20 次。一次做对只说明「能做」，20/20 才说明「每次都对」。

  • 文中客服例子：9 次工具调用都像样，票却被标成 solved，要求的终态是 hold。流利的「已解决」不能当可靠性。