मॉडल ठीक था। टूल स्पेसिफिकेशन में बग था।

एक प्रोडक्शन-शेप्ड एजेंट पर किए गए मूल्यांकन में टूल-स्किप दर 20 प्रतिशत से अधिक पाई गई। एजेंट के पास सही टूल उपलब्ध था, उसे इसकी ज़रूरत थी, और उसने चुपचाप उसे कॉल नहीं किया। कमरे में मौजूद लोगों की सहज प्रवृत्ति मॉडल को अपग्रेड करने की थी।

इसके बजाय, हमने टूल विवरणों को फिर से लिखा। स्किप दर बहुत कम हो गई।

वह निष्कर्ष एक आदत बन गया और फिर टूलिंग में बदल गया। एक टूल स्पेक एक नियतात्मक सिस्टम और एक संभाव्य कॉलर के बीच एक कॉन्ट्रैक्ट है, और अधिकांश स्पेक गलत पाठक के लिए लिखे जाते हैं: वे मॉडल के लिए निर्णय के बजाय एक डेवलपर के लिए कार्यान्वयन का वर्णन करते हैं। “आंतरिक मूल्य निर्धारण सेवा v2 को क्वेरी करता है” एक एजेंट को कुछ नहीं बताता। “इसका उपयोग तब करें जब उपयोगकर्ता किसी चीज़ की लागत पूछता है; ऐतिहासिक कीमतों के लिए इसका उपयोग न करें” ऐसे व्यवहार को बदलता है जिसे आप माप सकते हैं।

क्योंकि विफलता पाठ्य है, इसे लिंट किया जा सकता है। वह Tool Credit Score बन गया, एक नियतात्मक लिंटर जो MCP टूल स्पेक को एजेंट-तत्परता के लिए 0 से 100 तक ग्रेड देता है और सामान्य विफलताओं को स्वतः ठीक करता है। जानबूझकर नियतात्मक: स्पेक समीक्षा CI में होनी चाहिए, और CI को यह बताने के लिए एक LLM की आवश्यकता नहीं होनी चाहिए कि एक विवरण तीन शब्दों का है।

पूरी विधि, जिसमें विफलता वर्गीकरण (स्किप, गलत टूल, गलत तरीके से बने तर्क, भ्रमित तर्क, समय से पहले उत्तर) और पहले/बाद के उदाहरण शामिल हैं, टूल कॉन्ट्रैक्ट्स फील्ड गाइड में है।