एजेंट्स वास्तव में कहाँ काम करते हैं: 50+ एंटरप्राइज़ बिल्ड से फील्ड नोट्स

पिछले दो वर्षों में मैंने बड़े उद्यमों, जैसे बैंकों, पूंजी बाजार डेस्क, वेल्थ मैनेजरों, बीमाकर्ताओं, स्वास्थ्य बीमाकर्ताओं, खुदरा विक्रेताओं और दूरसंचार कंपनियों के लिए पचास से अधिक प्रूफ-ऑफ-वैल्यू एजेंटिक सिस्टम बनाए हैं। अलग-अलग स्टैक, अलग-अलग नियामक माहौल, “पूरा होने” की अलग-अलग परिभाषाएँ। लगभग तीस बिल्ड के बाद, पैटर्न दिलचस्प होना बंद हो गया और विश्वसनीय होने लगा। यही सबसे अच्छी बात है जो एक पैटर्न कर सकता है। उबाऊ पैटर्न वे होते हैं जिन पर आप रोडमैप पर दांव लगा सकते हैं।

यहाँ पैटर्न है: एजेंट अपनी उपयोगिता अपवाद पाथ में साबित करते हैं, न कि हैप्पी पाथ में। लगभग हर उद्यम प्रक्रिया का हैप्पी पाथ पहले से ही कोड द्वारा अच्छी तरह से सेवा में है। यह निर्धारित, उच्च-मात्रा वाला और चलाने में सस्ता है, और इसे आमतौर पर पहले ही दो बार स्वचालित किया जा चुका है। अपवाद पाथ वह जगह है जहाँ दस्तावेज़ गायब पृष्ठों के साथ आते हैं, प्रतिपक्ष असहमत होते हैं, तीन सिस्टम तीन अलग-अलग सत्य रिपोर्ट करते हैं, और एक व्यक्ति चालीस मिनट यह फिर से बनाने में खर्च करता है कि वास्तव में क्या हुआ था। हैप्पी पाथ कोड चाहता है। अपवाद पाथ निर्णय चाहता है। एजेंट मशीन की गति से निर्णय खरीदने का एक तरीका हैं, और वे अपनी लागत के लायक केवल वहीं हैं जहाँ निर्णय ही बाधा थी।

यह गाइड वह नक्शा है जो मुझे बिल्ड नंबर पाँच पर चाहिए था। यह उन पचास से अधिक बिल्ड में एजेंटिक AI ने वास्तव में कहाँ काम किया, इसे दो तरीकों से व्यवस्थित किया गया है: वर्कफ़्लो आकार (उपयोगी अमूर्तता) और उद्योग (जिस तरह से खरीदार वास्तव में सवाल पूछते हैं)। कहीं भी ग्राहक के नाम नहीं हैं; संस्थानों को उनके वास्तविक स्वरूप में सामान्यीकृत किया गया है, जैसे “एक प्रमुख उत्तरी अमेरिकी बैंक।” संख्याओं को भी उसी तरह सामान्यीकृत किया गया है, जैसे “दिनों से मिनटों तक।” और जहाँ कुछ विफल हुआ, मैंने ऐसा कहा, क्योंकि विफलताओं ने इस नक्शे को उतना ही बनाया जितना सफलताओं ने।

फिट ह्यूरिस्टिक: विचलन × टूल संख्या × दांव

किसी भी उद्योग विवरण से पहले, यह वह स्क्रीनिंग टेस्ट है जिसे मैं हर उम्मीदवार उपयोग मामले पर चलाता हूँ। तीन प्रश्न, क्रम में।

विचलन। एक व्यक्तिगत मामला टेम्पलेट से कितना भिन्न होता है? यदि 95% मामले एक ही पाँच शाखाओं का पालन करते हैं, तो कोड लिखें। शाखाओं को सूचीबद्ध करें, उन्हें एक रूल्स इंजन या निर्णय तालिका में एन्कोड करें, और काम पूरा करें। कम-विचलन वाले वर्कफ़्लो में एजेंट केवल अतिरिक्त लागत हैं: धीमे, अधिक महंगे, और अनिर्धारित ठीक वहीं जहाँ निर्धारण की आवश्यकता थी। उच्च विचलन विपरीत संकेत है। जब हर मामला थोड़ा अलग गड़बड़ होता है, तो शाखाओं की गणना कभी अभिसरित नहीं होती, और हाथ से कोडित निर्णय ट्री की रखरखाव लागत उस मॉडल की रन लागत से अधिक हो जाती है जो स्थिति को पढ़ सकता है।

टूल संख्या। यह मेरा शॉर्टहैंड है, और मैंने इसे इतनी बार कहा है कि मैं इसे लिखित रूप में दर्ज करूँगा: तीन टूल बनाम दस टूल। यदि वर्कफ़्लो एक निश्चित क्रम में तीन सिस्टम को छूता है, तो ऑर्केस्ट्रेशन एक सुलझी हुई समस्या है। तीन कॉल लिखें, त्रुटि प्रबंधन को तारें, इसे शिप करें। यदि वर्कफ़्लो को दस टूल की आवश्यकता है और सही अगली कॉल इस बात पर निर्भर करती है कि पिछली कॉल ने क्या लौटाया, तो आप अब इंटीग्रेशन कोड नहीं लिख रहे हैं। आप एक प्लानिंग समस्या को हाथ से कोड कर रहे हैं, और प्रक्रिया बदलते ही वह कोड खराब हो जाता है। यहीं पर एक एजेंट का प्लानिंग लूप अपनी अतिरिक्त लागत कमाना शुरू कर देता है: इसलिए नहीं कि मॉडल स्मार्ट है, बल्कि इसलिए कि विकल्प एक निर्णय ट्री है जिसे कोई बनाए नहीं रखेगा।

दांव। उच्च दांव एजेंटों को अयोग्य नहीं ठहराते हैं। वे अनसुपरवाइज्ड एजेंटों को अयोग्य ठहराते हैं। एक उच्च-विचलन, उच्च-दांव वाला वर्कफ़्लो (गिरवी का न्याय करना, लेटर ऑफ क्रेडिट की जांच करना, पूर्व प्राधिकरण का वर्गीकरण करना) अक्सर सबसे अच्छा संभव एजेंट उपयोग मामला होता है, बशर्ते एजेंट एक कंट्रोल प्लेन के भीतर चलता हो: वैलिडेशन गेट्स, एक ऑडिट ट्रेल जो हर टूल कॉल और उसके इनपुट को कैप्चर करता है, महत्वपूर्ण निर्णयों पर ह्यूमन चेकपॉइंट्स, और एक निर्धारित फ़ॉलबैक जब एजेंट अनुपलब्ध या अनिश्चित हो। मैंने Governing Agentic AI में कंट्रोल प्लेन आर्किटेक्चर को गहराई से कवर किया है; यह गाइड इसे एक दिया गया मानती है।

ग्रिड संस्करण, क्योंकि ग्रिड वह है जिसे लोग स्लाइड से फोटो खींचते हैं:

विचलन	दांव	क्या बनाना है
कम	कम	कोड। इसे ज़्यादा न सोचें।
कम	उच्च	कोड प्लस एक रूल्स इंजन प्लस एक ऑडिट ट्रेल। निर्धारण ही विशेषता है।
उच्च	कम	एक हल्का एजेंट, जिसकी बाद में समीक्षा की गई, इवैल्यूएशन के माध्यम से सुधारा गया।
उच्च	उच्च	एक कंट्रोल प्लेन के भीतर एक एजेंट: वैलिडेशन गेट्स, ह्यूमन-इन-द-लूप चेकपॉइंट्स, निर्धारित फ़ॉलबैक।

टूल संख्या प्रत्येक सेल के भीतर टाईब्रेकर है। तीन टूल आपको उच्च विचलन पर भी कोड की ओर खींचते हैं। दस टूल आपको एक एजेंट की ओर खींचते हैं, भले ही विचलन मध्यम लगे, क्योंकि दस सिस्टम में मध्यम विचलन इतनी अधिक शाखाओं में बदल जाता है जितनी कोई सूचीबद्ध नहीं कर पाएगा।

समीक्षा टिप्पणी: यदि आपका एजेंट डेमो केवल हैप्पी पाथ दिखाता है, तो आपने प्रक्रिया के उस हिस्से को प्रदर्शित किया है जिसे एजेंट की सबसे कम आवश्यकता थी।

चार वर्कफ़्लो आकार

पचास से अधिक बिल्ड में, लगभग हर वह चीज़ जो काम करती थी, चार आकारों में सिमट गई। उद्योग उन्हें अलग-अलग तरह से सजाते हैं, लेकिन भार-वहन करने वाली संरचना दोहराई जाती है। प्रत्येक आकार के लिए मैं वही चार उत्तर दूँगा: एजेंट क्या करता है, क्या निर्धारित रहता है, ह्यूमन कहाँ बैठता है, और क्या मापना है। यदि कोई विक्रेता या आंतरिक टीम आपको अपने एजेंट के बारे में वे चार उत्तर नहीं दे सकती है, तो उनके पास एक डेमो है, डिज़ाइन नहीं।

जांच: नियम पुस्तिका के विरुद्ध दस्तावेज़

एक या अधिक दस्तावेज़ों की एक संहिताबद्ध मानक के विरुद्ध तुलना की जाती है। UCP 600 के विरुद्ध लेटर ऑफ क्रेडिट की जांच। पॉलिसी शर्तों के विरुद्ध दावों का न्याय। एपीटाइट दिशानिर्देशों के विरुद्ध अंडरराइटिंग सबमिशन की जांच। नियम पुस्तिका स्थिर और संस्करणित है; इनपुट गंदे, स्कैन किए गए और असंगत हैं। यह विषमता ही पूरा अवसर है।

एजेंट क्या करता है। गंदे इनपुट को पढ़ता है, फ़ील्ड्स को निकालता और सामान्य करता है, नियम पुस्तिका के विरुद्ध उनकी फ़ील्ड-दर-फ़ील्ड तुलना करता है, और एक विसंगति विवरण लिखता है जिसे एक प्रशिक्षित ह्यूमन घंटों में फिर से बनाने के बजाय मिनटों में सत्यापित कर सकता है।

क्या निर्धारित रहता है। हर वह नियम जिसे आप व्याख्या के बिना एन्कोड कर सकते हैं। दिनांक अंकगणित, सहिष्णुता सीमाएँ (UCP 600 की मात्रा सहिष्णुता अंकगणित है, निर्णय नहीं), रूटिंग लॉजिक, और अंतिम स्थिति संक्रमण। एजेंट प्रस्ताव करता है; कोड निपटान करता है।

ह्यूमन कहाँ बैठता है। भौतिकता सीमा से ऊपर चिह्नित विसंगतियों की समीक्षा करना, और हमेशा अस्वीकार या मना करने के निर्णय पर। किसी के भी दस्तावेज़ अकेले एक मॉडल द्वारा अस्वीकृत नहीं होते हैं।

क्या मापना है। अनुभवी परीक्षकों के विरुद्ध विसंगति की सटीकता और रिकॉल, प्रति फ़ील्ड। सबसे महत्वपूर्ण संख्या गलत पास दर है: एक छूटी हुई विसंगति का मतलब है गैर-अनुपालक दस्तावेज़ों के विरुद्ध भुगतान करना, और वह विफलता तब तक मौन रहती है जब तक वह महंगी न हो जाए।

जांच: सिस्टम में साक्ष्य

कई स्रोतों से साक्ष्य इकट्ठा करें, संघर्षों का समाधान करें, और एक मामला संश्लेषित करें। KYC जांच। नेटवर्क घटना वर्गीकरण। परिभाषित गुण यह है कि कोई भी पहले से नहीं जानता कि इस विशेष मामले के लिए कौन से स्रोत महत्वपूर्ण होंगे, जो ठीक वही गुण है जो हाथ से कोडित पाइपलाइनों को मार देता है।

एजेंट क्या करता है। रजिस्ट्री, वॉचलिस्ट, दस्तावेज़ स्टोर, लॉग और आंतरिक सिस्टम में अपनी स्वयं की क्वेरीज़ की योजना बनाता है। विरोधाभासी साक्ष्य का समाधान करता है (दो रजिस्ट्री, दो वर्तनी, एक इकाई)। स्रोत रिकॉर्ड के संदर्भों के साथ एक केस फ़ाइल तैयार करता है।

क्या निर्धारित रहता है। अनिवार्य-स्रोत चेकलिस्ट। एक एजेंट प्रतिबंध स्क्रीनिंग को छोड़ नहीं सकता क्योंकि उसे आत्मविश्वास महसूस हुआ। जोखिम-स्कोरिंग फ़ॉर्मूला भी कोड में रहता है, साथ ही एस्केलेशन थ्रेशोल्ड भी। एजेंट साक्ष्य इकट्ठा करता है; एक फ़ॉर्मूला साक्ष्य को स्कोर में बदलता है।

ह्यूमन कहाँ बैठता है। निपटान पर, और प्रतिकूल निपटानों पर गैर-परक्राम्य रूप से। एजेंट का काम ह्यूमन के चालीस मिनट के असेंबली को गायब करना है, न कि निर्णय को गायब करना।

क्या मापना है। साक्ष्य की पूर्णता: अनिवार्य स्रोतों का प्रतिशत जिनसे एजेंट ने वास्तव में परामर्श किया, टूल-कॉल लॉग से मापा गया, न कि प्रॉम्प्ट से अनुमानित। उद्धरण सटीकता: क्या केस फ़ाइल में हर दावा एक वास्तविक स्रोत रिकॉर्ड से जुड़ा है। फिर निपटान तक का समय, जो वह संख्या है जिसे व्यवसाय ने खरीदा।

वर्गीकरण और समाधान: वर्गीकृत करें, फिर एक पाथ चुनें

एक अपवाद आता है; कुछ मेल नहीं खाया। खरीद-आदेश विसंगतियाँ, विफल भुगतान, पोस्ट-ट्रेड ब्रेक। वर्कफ़्लो एक निदान है जिसके बाद उपचार पाथों में से एक विकल्प होता है।

एजेंट क्या करता है। साक्ष्य से अपवाद का निदान करता है और एक सीमित मेनू से एक उपचार पाथ का चयन करता है। दरवाजा एक से दरवाजा सात तक। एजेंट दरवाजा चुनता है; यह रनटाइम पर कभी नया दरवाजा नहीं बनाता।

क्या निर्धारित रहता है। उपचार क्रियाएँ स्वयं। प्रत्येक पाथ एक पूर्व-निर्मित, परीक्षण किया गया, निर्धारित प्रवाह है। एजेंट का अधिकार चयन पर समाप्त होता है; निष्पादन कोड है।

ह्यूमन कहाँ बैठता है। निष्पादन से पहले अपरिवर्तनीय या उच्च-मूल्य वाले पाथों को स्वीकृत करना, और “उपरोक्त में से कोई नहीं” कतार का स्वामित्व रखना। वह कतार विफलता नहीं है; यह वह बैकलॉग है जिससे आप अगला उपचार पाथ डिज़ाइन करते हैं।

क्या मापना है। एक लेबल किए गए गोल्ड सेट के विरुद्ध सही-पाथ दर। स्वचालित-समाधान दर। और गलत पाथ की लागत विषमता, क्योंकि वह विषमता, औसत सटीकता नहीं, यह निर्धारित करती है कि अनुमोदन गेट्स कहाँ जाते हैं।

कंसीयर्ज: जनरेटिव UI के साथ एक निर्देशित यात्रा

एक बहु-चरणीय यात्रा जहाँ एजेंट एक व्यक्ति को एक प्रक्रिया के माध्यम से मार्गदर्शन करता है: खाता ऑनबोर्डिंग, एक जटिल खरीद, एक सेवा अनुरोध। महत्वपूर्ण डिज़ाइन विकल्प, जो कठिन तरीके से सीखा गया, चैट पर जनरेटिव UI है। एजेंट बातचीत करने के बजाय इंटरफ़ेस का अगला चरण (एक पूर्व-भरी हुई फ़ॉर्म, पुष्टि करने के लिए एक सारांश, एक विकल्प) उत्पन्न करता है। लोग फ़ॉर्म पूरा करते हैं। वे बातचीत छोड़ देते हैं।

एजेंट क्या करता है। यात्रा को चलाता है, अगले चरण को उपयोगकर्ता और मामले के बारे में पहले से ज्ञात जानकारी के अनुसार अनुकूलित करता है, जो भरा जा सकता है उसे पहले से भरता है, और बताता है कि उसे क्या चाहिए और क्यों।

क्या निर्धारित रहता है। नीचे की प्रक्रिया स्टेट मशीन। वैलिडेशन नियम, अनुपालन चरण (पहचान जांच, उपयुक्तता), और वह डेटा जिसकी सीमाएँ प्रदर्शित की जा सकती हैं। एजेंट स्टेट मशीन को सजाता है; यह उसे प्रतिस्थापित नहीं करता।

ह्यूमन कहाँ बैठता है। ग्राहक ह्यूमन-इन-द-लूप है, चरण-दर-चरण। विनियमित यात्राओं में एक दूसरा ह्यूमन होता है: बैक-ऑफिस समीक्षक जो कुछ भी बाध्यकारी होने से पहले हस्ताक्षर करता है।

क्या मापना है। स्थिर-फ़ॉर्म बेसलाइन के विरुद्ध पूर्णता दर। लोग कहाँ छोड़ देते हैं। सुधार दर (एजेंट के पूर्व-भरे हुए मान कितनी बार ओवरराइड होते हैं)। ह्यूमन को एस्केलेशन दर।

चार आकार, साथ-साथ:

आकार	एजेंट का काम	निर्धारित कोर	ह्यूमन की जगह	नॉर्थ-स्टार मेट्रिक
जांच	निकालना, तुलना करना, विसंगतियों का वर्णन करना	नियम पुस्तिका गणित, सीमाएँ, रूटिंग	अस्वीकार/मना करने पर हस्ताक्षर	गलत पास दर
जांच	इकट्ठा करना, समाधान करना, मामला बनाना	अनिवार्य स्रोत, स्कोरिंग फ़ॉर्मूला	अंतिम निपटान	साक्ष्य की पूर्णता
वर्गीकरण और समाधान	निदान करना, एक उपचार पाथ चुनना	उपचार प्रवाह स्वयं	अपरिवर्तनीय पाथों पर अनुमोदन	सही-पाथ दर
कंसीयर्ज	यात्रा को चलाना, अगला चरण उत्पन्न करना	प्रक्रिया स्टेट मशीन, अनुपालन गेट्स	ग्राहक यात्रा में (एक समीक्षक के साथ)	पूर्णता दर

उद्योग दौरे से पहले प्लंबिंग पर एक नोट। मैं इन्हें Camunda पर बनाता हूँ क्योंकि मैं निर्धारित कोर, ह्यूमन टास्क और ऑडिट ट्रेल को एक ऑर्केस्ट्रेशन लेयर में चाहता हूँ, लेकिन चार आकारों में से कुछ भी उस विकल्प पर निर्भर नहीं करता है। वही डिज़ाइन Temporal, एक उचित स्टेट स्टोर के साथ LangGraph, या अनुशासन के साथ सादे Node.js में पोर्ट होते हैं। पहले आकार, फिर उत्पाद।

बैंकिंग: केस-फ़ाइल पैमाने पर जांच

प्रमुख बैंकिंग बिल्ड, जिसे शीर्ष-5 कनाडाई बैंकों सहित कई संस्थानों में विभिन्न रूपों में दोहराया गया, एक KYC जांच एजेंट था: पहचान सत्यापन, दस्तावेज़ विश्लेषण, प्रतिबंध और प्रतिकूल-मीडिया स्क्रीनिंग, और जोखिम स्कोर को खिलाने वाला संरचित साक्ष्य। ईमानदार परिणाम का आकार केस तैयार करने के लिए दिनों से मिनटों तक था। निर्णय के लिए नहीं, तैयारी के लिए। विश्लेषक मामलों को इकट्ठा करने से उनकी समीक्षा करने लगे, जो उत्पादकता की जीत और नियंत्रण दोनों है: एक ह्यूमन अभी भी हर निपटान का मालिक है। उस कोर के चारों ओर अन्य बैंकिंग बिल्ड थे: क्रेडिट और गिरवी का न्याय जिसमें कार्य उत्पाद पर जज-एजेंट वैलिडेशन गेट्स थे, भुगतान अपवाद हैंडलिंग (एक शुद्ध वर्गीकरण आकार), और ओपन-बैंकिंग प्रवाह जहाँ एजेंट संस्थानों में सहमति वाले डेटा एक्सेस को ऑर्केस्ट्रेट करते हैं, एक पैटर्न जिसके बारे में मैंने Camunda ब्लॉग पर सार्वजनिक रूप से लिखा था।

बैंकिंग फिट बैठता है क्योंकि KYC अत्यधिक जांच-आकार का है। हर मामला एक अलग गड़बड़ है: स्तरित कॉर्पोरेट संरचनाएं, स्क्रिप्ट में नाम के प्रकार, रजिस्ट्री डेटा जो खुद का खंडन करता है। शाखाओं की गणना कभी अभिसरित नहीं होती, और वॉचलिस्ट को सूचीबद्ध करने से पहले टूल की संख्या दस से कहीं अधिक हो जाती है। यह ग्रिड में सबसे स्पष्ट उच्च-विचलन, उच्च-दांव वाला सेल है, यही कारण है कि यह सबसे भारी कंट्रोल प्लेन की भी मांग करता है जिसे मैं कहीं भी बनाता हूँ।

बैंकिंग में जाल एजेंट को जोखिम स्कोर की गणना करने देना है। यह खुशी-खुशी ऐसा करेगा, और यह आधिकारिक लगेगा। विभाजन को साफ रखें: एजेंट से साक्ष्य, एक फ़ॉर्मूला से स्कोर जिसे मॉडल-जोखिम टीमें पढ़ सकती हैं, संस्करणित कर सकती हैं और चुनौती दे सकती हैं। एक नियामक जो “यह रेटिंग क्यों” पूछता है, उसे ह्यूमन-जांच योग्य साक्ष्य और एक निर्धारित फ़ॉर्मूला से बना उत्तर मिलता है। “मॉडल ने कारकों का वजन किया” एक उत्तर नहीं है, और मेरे अनुभव में संस्थान अपने विक्रेताओं से पहले यह जानते हैं।

पूंजी बाजार: नियम पुस्तिका एक उपहार थी

मैं जिस बिल्ड का सबसे अधिक उल्लेख करता हूँ वह UCP 600 के विरुद्ध लेटर ऑफ क्रेडिट की जांच है: LC, चालान, बिल ऑफ लैडिंग और सहायक प्रमाणपत्रों में फ़ील्ड-दर-फ़ील्ड विसंगति का पता लगाना, जिसमें निष्कर्षण आत्मविश्वास सीमा से नीचे गिरने पर मैन्युअल जांच के लिए एक निर्धारित फ़ॉलबैक होता है। प्रूफ ऑफ वैल्यू में मापा गया आकार प्रति दस्तावेज़ सेट घंटों से सेकंड तक था। मैं तुरंत ईमानदार चेतावनी संलग्न करूँगा: वह संख्या एक क्यूरेटेड दस्तावेज़ सेट से आई थी। उत्पादन स्कैन बदतर होते हैं, हस्तलेखन मौजूद होता है, और फ़ॉलबैक पाथ एक वैकल्पिक अतिरिक्त नहीं है, यह वह कारण है जिसके कारण संख्या को मौजूद रहने की अनुमति है। LC जांच के साथ ट्रेड रिकंसिलिएशन, पोस्ट-ट्रेड उपचार, और ट्रेड अनुरोध और अपवाद प्रबंधन भी थे, जिनमें से सभी वर्गीकरण आकार निकले: एजेंट ब्रेक को वर्गीकृत करता है और उपचार का चयन करता है, कोड उसे निष्पादित करता है।

पूंजी बाजार फिट बैठता है क्योंकि यह आपको इस काम में सबसे दुर्लभ संपत्ति देता है: एक स्थिर, संस्करणित, बाहरी रूप से शासित नियम पुस्तिका। UCP 600 2007 से नहीं बदला है। इनपुट अराजकता हैं, मानक पत्थर है, और जांच-आकार के एजेंट ठीक उसी अंतर में रहते हैं। दस्तावेज़ परीक्षक दुर्लभ, महंगे और सेवानिवृत्त हो रहे हैं; इस बिल्ड की मांग पक्ष को समझाना कभी मुश्किल नहीं था।

जाल एजेंट के “अनुपालक” को अंतिम मानना है। LC जांच में एक गलत पास का मतलब है कि एक बैंक विसंगतिपूर्ण दस्तावेज़ों के विरुद्ध भुगतान करता है, और नुकसान महीनों बाद किसी और के हस्ताक्षर के साथ आता है। इस बिल्ड के हर गंभीर संस्करण ने “स्वच्छ” निर्णयों के एक हिस्से की फिर से जांच करने के लिए एक ह्यूमन सैंपलिंग व्यवस्था रखी, जिसमें गलत पास दर एक डैशबोर्ड पर थी जहाँ डेस्क हेड इसे देख सकता था। जब सैंपलिंग दर शून्य की ओर बढ़ती है, तो नियंत्रण विफल हो गया है, चाहे सटीकता चार्ट कुछ भी कहे।

वेल्थ: वह कंसीयर्ज जिसे सलाहकार का विश्वास अर्जित करना पड़ा

वेल्थ मैनेजरों के लिए मैंने जनरेटिव UI के साथ ऑनबोर्डिंग कंसीयर्ज (यात्रा का आकार, जैसा कि ऊपर वर्णित है) और एक जोखिम-मूल्यांकन प्लस पोर्टफोलियो-सिफारिश प्रवाह बनाया जहाँ एजेंट ड्राफ्ट करता है और एक सलाहकार समीक्षा करता है। ऑनबोर्डिंग का काम वह जगह है जहाँ मुझे विश्वास हो गया कि जनरेटिव UI यात्राओं के लिए चैट से बेहतर है: पूर्णता, न कि बातचीत की गुणवत्ता, मेट्रिक है, और चरण-आकार के इंटरफेस पूरे होते हैं। सिफारिश प्रवाह वह जगह है जहाँ ह्यूमन-इन-द-लूप प्लेसमेंट सबसे महत्वपूर्ण था। एजेंट क्लाइंट की तस्वीर इकट्ठा करता है और एक प्रस्ताव का मसौदा तैयार करता है; उपयुक्तता नियम निर्धारित रूप से चलते हैं; सलाहकार समीक्षा करता है, संपादित करता है, और क्लाइंट जो देखता है उसका मालिक होता है।

वेल्थ वह जगह भी है जहाँ मेरी मूल्यांकन प्रथा विकसित हुई। एक प्रमुख उत्तरी अमेरिकी बैंक में प्रूफ ऑफ वैल्यू के दौरान, हमने टियर मूल्य निर्धारण पर भरोसा करने के बजाय वास्तविक वर्कफ़्लो पर मॉडल को बेंचमार्क किया, और पाया कि एक मध्य-स्तरीय मॉडल ने प्रीमियम मॉडल की सटीकता को लगभग 1/13वें लागत पर मैच किया, जिसमें टूल-स्किप दरें लॉग से मापी गईं, न कि अनुमानित। उस खोज ने तब से मेरे हर बिल्ड के दायरे को बदल दिया, और यह Evaluating Agentic Systems की मूल कहानी है। सामान्य सबक यह है: एजेंटिक वर्कफ़्लो में टूल लूप और गार्डरेल्स कच्चे मॉडल की गुणवत्ता से अधिक काम करते हैं, इसलिए भुगतान करने से पहले मापें।

वेल्थ में जाल सिफारिश को सीधे क्लाइंट को भेजना है क्योंकि ड्राफ्ट पॉलिश किया हुआ दिखता है। पॉलिश ही सटीक जोखिम है। एक धाराप्रवाह, गलत पोर्टफोलियो प्रस्ताव एक अनाड़ी प्रस्ताव से अधिक खतरनाक है, क्योंकि इसकी सतह के बारे में कुछ भी जांच को आमंत्रित नहीं करता है। सलाहकार गेट एक संक्रमणकालीन व्यवस्था नहीं है जिसे अनुकूलित करके हटाया जा सके; उपयुक्तता व्यवस्था में यह उत्पाद है।

बीमा: जांच प्लस निर्णय के रूप में अंडरराइटिंग

बीमा बिल्ड वाणिज्यिक P&C अंडरराइटिंग समर्थन था: सबमिशन में दस्तावेज़ इंटेलिजेंस (लॉस रन, वैल्यू के शेड्यूल, ब्रोकर ईमेल जो नौवें पैराग्राफ में एक महत्वपूर्ण तथ्य को दफन करते हैं), निर्धारित एपीटाइट और जोखिम नियम, और एक जज एजेंट जो एक अंडरराइटर के देखने से पहले इकट्ठे किए गए कार्य उत्पाद को मान्य करता है। परिणाम का आकार सबमिशन-टू-कोट-रेडी समय था जो असेंबली के दिनों से समीक्षा के एक घंटे से भी कम समय में सिमट गया, जिसमें ऑडिट ट्रेल के लिए हर निष्कर्षण और हर नियम फायरिंग लॉग किया गया था। सिस्टम को पहले स्प्रिंट से ही नियामक-शैली की अपेक्षाओं के अनुसार डिज़ाइन किया गया था, न कि बाद में संशोधित किया गया, क्योंकि बीमा में ऑडिट कहानी बिक्री का हिस्सा है।

अंडरराइटिंग फिट बैठता है क्योंकि यह जांच-आकार का है जिसमें जांच का एक गार्निश है। एपीटाइट गाइड नियम पुस्तिका है; सबमिशन गंदा दस्तावेज़ सेट है; और विचलन बहुत बड़ा है क्योंकि कोई भी दो वाणिज्यिक जोखिम एक ही तरीके से वर्णित नहीं होते हैं। टूल की संख्या भी बार को पार कर जाती है, एक बार जब आप लॉस-रन पार्सर, प्रॉपर्टी डेटा सेवाएं, प्रतिबंध जांच, और आंतरिक एक्सपोजर सिस्टम की गणना करते हैं।

जाल एपीटाइट नियमों को प्रॉम्प्ट में दफनाना है। यह डेमो में काम करता है, और फिर यह चुपचाप, इस तरह से भटक जाता है जिसे कोई जोखिम अधिकारी जांच नहीं सकता। वे नियम जो यह तय करते हैं कि वाहक जोखिम चाहता है या नहीं, एक रूल्स इंजन (DMN या समकक्ष) में होने चाहिए जिसे अंडरराइटिंग नेतृत्व पढ़ सकता है, संस्करणित कर सकता है, और कमरे में एक प्रॉम्प्ट इंजीनियर के बिना बदल सकता है। एजेंट का काम सबमिशन को इस तरह से संरचित करना है ताकि नियम लागू हो सकें, न कि उनका एक अवर्गीकृत प्रतिलिपि बनना।

स्वास्थ्य सेवा: गति जहाँ गति सुरक्षित है

एक प्रमुख अमेरिकी स्वास्थ्य बीमाकर्ता (सामान्यीकृत, जैसा कि यहाँ सब कुछ है) के लिए मैंने दावा प्रसंस्करण और पूर्व-प्राधिकरण-शैली वर्गीकरण बनाया। डिज़ाइन सिद्धांत असममित स्वचालन था: एजेंट अनुमोदनों को गति देता है और साक्ष्य इकट्ठा करता है, और ह्यूमन हर अस्वीकृति का मालिक होता है। एक अनुमोदन-आकार का मामला नैदानिक ​​मानदंडों के विरुद्ध निर्धारित रूप से जांचा जाता है और मिनटों में आगे बढ़ता है। अस्वीकृति की ओर बढ़ने वाले मामले को एक पूर्ण, उद्धृत साक्ष्य पैकेज और एक ह्यूमन समीक्षक मिलता है, पूर्ण विराम। मापा गया आकार अनुमोदन कतार का दिनों से उसी दिन तक बढ़ना था, जबकि अस्वीकृति निर्णय की गुणवत्ता तेजी से बढ़ने के बजाय बेहतर हुई, क्योंकि समीक्षक दस्तावेज़ों के ढेर के बजाय एक इकट्ठे मामले से शुरू हुए।

स्वास्थ्य सेवा आकारों में साफ-साफ फिट बैठती है (दावे जांच हैं, पूर्व-प्राधिकरण वर्गीकरण वर्गीकरण है), लेकिन यह अपना स्वयं का खंड अर्जित करती है क्योंकि दांव सममित नहीं हैं और डिज़ाइन को इसे एन्कोड करना होगा। एक धीमी स्वीकृति में पैसा लगता है। एक गलत अस्वीकृति में देखभाल, फिर मुकदमा, फिर सुर्खियां लगती हैं। कोई भी आर्किटेक्चर जो उन दो त्रुटियों को एक ही वर्ग के दोष के रूप में मानता है, कोड की पहली पंक्ति से पहले ही गलत है।

जाल, स्पष्ट रूप से लेकिन इसे कहने की आवश्यकता है क्योंकि उद्योग इसे लगातार आज़मा रहा है, अस्वीकृतियों को स्वचालित करना है। यह किसी भी उद्योग में जहाँ मैं काम करता हूँ, मॉडल स्वायत्तता रखने के लिए सबसे खराब जगह है: कानूनी रूप से उजागर, नैतिक रूप से अक्षम्य, और प्रतिष्ठा के लिए रेडियोधर्मी। जो पिच बिकती है और जीवित रहती है वह तेज़ ‘हाँ’ और बेहतर-तैयार ‘शायद’ है। मैंने दूसरे संस्करण को बनाने से मना कर दिया है।

रिटेल: फॉर्च्यून-10 पैमाने पर अपवाद

फॉर्च्यून-10 पैमाने के खुदरा विक्रेताओं के लिए मैंने ऑर्डर और खरीद-आदेश अपवाद वर्गीकरण बनाया: मात्रा बेमेल, मूल्य निर्धारण विवाद, शिपिंग-नोटिस विसंगतियाँ, चालान-बनाम-रसीद ब्रेक। शुद्ध वर्गीकरण आकार। एजेंट अपवाद को वर्गीकृत करता है, उसे स्पष्ट करने वाले दो या तीन तथ्यों को इकट्ठा करता है, और उसे उपचार प्रवाह के एक सीमित सेट में से एक में रूट करता है; उच्च-मूल्य और अपरिवर्तनीय पाथ ह्यूमन अनुमोदन के लिए कतारबद्ध होते हैं। उस पैमाने पर अंकगणित सीधा है: अपवाद की मात्रा इतनी बड़ी है कि 60-70% के आकार में एक स्वचालित-समाधान दर वास्तविक पैसा लौटाती है, और साक्ष्य के साथ पूर्व-वर्गीकृत होकर आने वाली अवशिष्ट कतार ह्यूमन हिस्से को भी तेज बनाती है।

रिटेल फिट बैठता है क्योंकि विचलन ठीक वहीं रहता है जहाँ वॉल्यूम है। हैप्पी पाथ (ऑर्डर दिया गया, शिप किया गया, प्राप्त किया गया, भुगतान किया गया) दशकों पहले स्वचालित किया गया था। अपवाद टेल कभी स्वचालित नहीं हुआ क्योंकि हर अपवाद एक स्नोफ्लेक है, और स्नोफ्लेक वही हैं जिनके लिए फिट ह्यूरिस्टिक चयन करता है। दूसरा रिटेल थ्रेड एजेंटिक कॉमर्स है, खरीद पर लागू कंसीयर्ज आकार, जिसे मैं वास्तुशिल्प रूप से अलग रखता हूँ क्योंकि जिस क्षण एक एजेंट पैसा खर्च कर सकता है, नियंत्रण समस्या की प्रजाति बदल जाती है। उस समस्या का अपना प्रोटोकॉल सतह और अपना गाइड है: AP2 फील्ड गाइड।

जाल 100% स्वचालित-समाधान का पीछा करना है। अपवादों का अंतिम दशक पहले नौ जैसा नहीं है: यह वह जगह है जहाँ धोखाधड़ी रहती है, जहाँ वास्तव में नई विफलताएँ रहती हैं, और जहाँ एक आत्मविश्वास से गलत उपचार वास्तविक पैसे को बट्टे खाते में डाल देता है। एजेंट के अधिकार को मूल्य और प्रतिवर्तीता से सीमित करें, “उपरोक्त में से कोई नहीं” कतार को ह्यूमन रखें, और उस कतार को अगले उपचार पाथ के लिए डिज़ाइन बैकलॉग के रूप में मानें न कि शून्य तक ले जाने वाले दोष गणना के रूप में।

टेलीकॉम: वॉर रूम से पहले वर्गीकरण

टेलीकॉम बिल्ड NOC घटना वर्गीकरण था: एक एजेंट जो अलार्म तूफान का सामना करता है, नेटवर्क लेयर्स और एलिमेंट मैनेजरों में सहसंबंध स्थापित करता है, परिवर्तन रिकॉर्ड और टोपोलॉजी खींचता है, और संभावित कारण, ब्लास्ट रेडियस, और सुझाए गए अगले निदान के साथ एक घटना सारांश तैयार करता है। समय के दबाव में जांच का आकार। परिणाम का आकार पहले सार्थक-कार्य तक का समय था जो दसियों मिनट से कुछ मिनटों तक गिर गया, जो एक आउटेज में एकमात्र घड़ी है जिसकी किसी को परवाह होती है।

टेलीकॉम फिट बैठता है क्योंकि घटना का साक्ष्य डिज़ाइन द्वारा बिखरा हुआ है: एक सिस्टम में अलार्म, दूसरे में परिवर्तन, तीसरे में टोपोलॉजी, चौथे में ग्राहक प्रभाव। सहसंबंध ही काम है, हर घटना अलग तरह से सहसंबंधित होती है, और टूल की संख्या दस से कहीं अधिक है। यह एक दुर्लभ मामला भी है जहाँ “उपयोगकर्ता” तनाव में एक विशेषज्ञ होता है, जो सारांश की गुणवत्ता पर बार उठाता है: एक गलत संभावित कारण न केवल समय बर्बाद करता है, बल्कि यह पूरे वॉर रूम को गलत परत पर लक्षित करता है।

जाल उत्पादित सारांशों को मापना है बजाय ऑपरेटर व्यवहार में बदलाव के। यदि NOC अभी भी एजेंट के सारांश को पढ़ने के बाद वही पाँच कंसोल खोलता है और वही मैन्युअल सहसंबंध चलाता है, तो आपने सजावट बनाई है, और वह भी महंगी सजावट। मापें कि ऑपरेटर आगे क्या करते हैं। और उपचार को कड़ाई से नियंत्रित रखें: एक एजेंट जो अनुमोदन चरण के बिना एक लाइव नेटवर्क पर तत्वों को पुनरारंभ कर सकता है, वह एक वर्गीकरण एजेंट नहीं है, यह एक भाषा मॉडल के साथ नेटवर्क में एक अनसमीक्षित परिवर्तन है।

व्यापक सबक

उपरोक्त हर उद्योग के संपर्क में आने के बाद चार सबक बचे।

दस्तावेज़ इंटेलिजेंस ही कार्यवाहक है। पचास बिल्ड की अदम्य सच्चाई: उनमें से अधिकांश में, वितरित मूल्य का अधिकांश हिस्सा गंदे दस्तावेज़ों को संरचित, आत्मविश्वास-स्कोर किए गए दावों में बदलना था। LCs, लॉस रन, KYC दस्तावेज़, पूर्व-प्राधिकरण पैकेट, ब्रोकर ईमेल। कोई भी निष्कर्षण को मुख्य स्लाइड पर नहीं रखता, और इसके बिना कुछ भी डाउनस्ट्रीम जीवित नहीं रहता। यदि मैं एक उद्यम एजेंट कार्यक्रम में केवल एक क्षमता को वित्तपोषित कर सकता, तो वह यही होती।

जज एजेंट वैलिडेशन गेट्स के रूप में। एक दूसरा मॉडल, एक अलग प्रॉम्प्ट और आदर्श रूप से एक अलग मॉडल परिवार के साथ, पहले एजेंट के कार्य उत्पाद को एक स्पष्ट रूब्रिक के विरुद्ध जांचता है इससे पहले कि वह एक ह्यूमन या रिकॉर्ड के सिस्टम तक पहुंचे। मैंने इसका उपयोग गिरवी के न्याय और अंडरराइटिंग में किया, और यह स्टैक में सबसे सस्ता बीमा है। यह पहले एजेंट को स्मार्ट नहीं बनाता; यह उसकी विफलताओं को उनके बढ़ने से पहले दृश्यमान बनाता है, और यह उस बहाव को पकड़ता है जिसे प्रति-रिलीज़ इवैल्यूएशन चूक जाते हैं क्योंकि यह हर मामले पर चलता है।

हर उत्पादन-बाध्य सिस्टम में एक निर्धारित फ़ॉलबैक था। एजेंट अनुपलब्ध, निष्कर्षण आत्मविश्वास कम, लागत बजट पार, जज का फैसला विफल: मामला पूर्व-मौजूदा मैन्युअल या कोडित पाथ पर रूट होता है। सिस्टम कल की प्रक्रिया में खराब हो जाता है, शून्य में नहीं। यह भी, चुपचाप, वही है जिसने जोखिम और अनुपालन टीमों को हस्ताक्षर करने के लिए प्रेरित किया। पिच “एजेंट पर भरोसा करें” नहीं है, यह है “सबसे खराब स्थिति वह प्रक्रिया है जिसे आप पहले से चलाते हैं।”

ह्यूमन-इन-द-लूप प्लेसमेंट एक डिज़ाइन निर्णय है, न कि बाद का विचार। कार्य करने से पहले स्वीकृत करें जहाँ कार्य अपरिवर्तनीय या उच्च-मूल्य वाले हों। तथ्य के बाद समीक्षा करें जहाँ उन्हें पूर्ववत करना सस्ता हो। सैंपलिंग व्यवस्थाएँ जहाँ मात्रा पूर्ण समीक्षा को रोकती है। प्रत्येक प्लेसमेंट जोखिम के विरुद्ध थ्रूपुट का एक अलग व्यापार खरीदता है, और यह विकल्प डिज़ाइन वर्कशॉप में होना चाहिए, न कि पायलट रीडआउट के बाद के घबराए हुए सप्ताह में। मैंने जितनी भी विफल ह्यूमन-इन-द-लूप कहानियाँ देखी हैं, वे डिफ़ॉल्ट रूप से चुने गए प्लेसमेंट थे न कि निर्णय द्वारा।

क्या काम नहीं किया

ईमानदार खंड, क्योंकि विफलताओं ने नक्शा बनाया।

कम-विचलन वाले वर्कफ़्लो को एजेंटों में धकेलना। सबसे स्पष्ट मामला एक एक्सेस-मैनेजमेंट अनुमोदन प्रवाह था। अनुमोदन तर्क एक मैट्रिक्स था: भूमिका, संसाधन, संवेदनशीलता, प्रबंधक श्रृंखला। पूरी तरह से एन्कोड करने योग्य। एजेंट संस्करण जिसे हमने पहले स्केच किया था वह धीमा, अधिक महंगा और अनिर्धारित था ठीक वहीं जहाँ सुरक्षा टीम को निर्धारण की आवश्यकता थी। कोड जीता, और यह करीब भी नहीं था। जो एकमात्र एजेंट बचा वह सेवन पर एक पतला एजेंट था, जो मुक्त-पाठ अनुरोधों को संरचित अनुरोधों में व्याख्या करता था, जो दूसरे नाम से दस्तावेज़ इंटेलिजेंस है। विचलन कम था, टूल तीन थे, और ह्यूरिस्टिक के पास हमसे पहले ही जवाब था।

चैट इंटरफेस को उन प्रक्रियाओं पर थोपना जिनकी किसी ने मांग नहीं की थी। शुरुआत में, एक से अधिक बार, मैंने “अपनी प्रक्रिया के साथ चैट करें” शिप किया क्योंकि यह खूबसूरती से डेमो करता है। इसने बैठक में प्रभावित किया और पायलट में हर बार मर गया। उपयोगकर्ताओं का काम एक कतार था, और वे कतार को संभाला हुआ चाहते थे, न कि कतार के बारे में बातचीत। वह अंतर जिसे स्पष्ट करने में मुझे बहुत समय लगा: एक यात्रा के भीतर जनरेटिव UI काम करता है, क्योंकि यह उपयोगकर्ता को आगे बढ़ाता है; एक मौजूदा प्रक्रिया पर एक परत के रूप में चैट एक ऐसे काम में एक अनुवाद चरण जोड़ता है जिसमें पहले से ही एक तेज़ इंटरफ़ेस था।

स्वायत्तता थिएटर। कई अनुरोध एक एकल API कॉल को एक एजेंट लूप में लपेटने के बराबर थे ताकि रोडमैप “एजेंटिक” कह सके। एक टूल, एक पाथ, कोई निर्णय नहीं। वह अतिरिक्त चरणों और प्रति-टोकन बिल के साथ एक फ़ंक्शन कॉल है। मैं अब पहली बैठक में ऐसा कहता हूँ, और इसमें मुझे कुछ भी खर्च नहीं हुआ है: जो टीमें इसे सुनती हैं वे बाद की सिफारिशों पर भरोसा करती हैं।

समीक्षा टिप्पणी: एक चैट विंडो एक उपयोग मामला नहीं है। यदि उपयोगकर्ता का काम एक कतार है, तो कतार के लिए निर्माण करें।

एक-पैराग्राफ संस्करण

पचास से अधिक उद्यम बिल्ड के बाद, पैटर्न उबाऊ और विश्वसनीय है: एजेंट अपनी उपयोगिता अपवाद पाथ में साबित करते हैं, न कि हैप्पी पाथ में, क्योंकि हैप्पी पाथ कोड चाहता है और अपवाद पाथ निर्णय चाहता है। हर उम्मीदवार को विचलन × टूल संख्या × दांव से जांचें (एक निश्चित क्रम में तीन टूल का मतलब कोड लिखना है; दस टूल जिनका क्रम डेटा पर निर्भर करता है, इसका मतलब है कि एक एजेंट अपनी अतिरिक्त लागत कमा सकता है; उच्च दांव का मतलब है कि एजेंट एक कंट्रोल प्लेन के भीतर रहता है)। लगभग हर वह चीज़ जो काम करती है, चार आकारों में से एक है: जांच (नियम पुस्तिका के विरुद्ध दस्तावेज़), जांच (सिस्टम में साक्ष्य), वर्गीकरण और समाधान (वर्गीकृत करें, फिर एक सीमित उपचार पाथ चुनें), और कंसीयर्ज (जनरेटिव UI के साथ एक निर्देशित यात्रा, चैट नहीं)। हर आकार में, स्कोरिंग फ़ॉर्मूला, नियम पुस्तिकाएँ, और उपचार क्रियाएँ निर्धारित रखें, किसी भी महत्वपूर्ण चीज़ के सामने एक जज एजेंट रखें, ह्यूमन को डिफ़ॉल्ट के बजाय डिज़ाइन द्वारा निर्णयों पर रखें, और एक निर्धारित फ़ॉलबैक रखें ताकि सबसे खराब स्थिति वह प्रक्रिया हो जिसे आप पहले से चलाते हैं। जहाँ विचलन कम है, कोड जीतता है, और ईमानदार बात यह है कि पहली बैठक में ऐसा कहें।

संदर्भ

• Governing Agentic AI, इस दस्तावेज़ में माने गए कंट्रोल प्लेन आर्किटेक्चर के लिए मेरा फील्ड गाइड: वैलिडेशन गेट्स, ऑडिट ट्रेल्स, ह्यूमन-इन-द-लूप चेकपॉइंट्स, निर्धारित फ़ॉलबैक।
• Evaluating Agentic Systems, यहाँ “मापा गया, अनुमानित नहीं” संख्याओं के पीछे की मूल्यांकन प्रथा, जिसमें टूल-स्किप दरें और लागत-बनाम-गुणवत्ता बेंचमार्किंग शामिल है।
• AP2 Field Guide, एजेंटिक कॉमर्स और पैसे खर्च करने वाले एजेंटों की विशिष्ट नियंत्रण समस्या के लिए।
• Using A2A to Achieve Your Business Goals, part 1 और part 2, Camunda ब्लॉग पोस्ट जिन्हें मैंने मल्टी-एजेंट समन्वय पर सह-लेखक किया।
• Agentic AI Puts Open Banking to Work, Camunda ब्लॉग पोस्ट जिसमें बैंकिंग अनुभाग में संदर्भित ओपन-बैंकिंग प्रवाह शामिल हैं।
• ICC Uniform Customs and Practice for Documentary Credits (UCP 600), लेटर ऑफ क्रेडिट जांच बिल्ड के पीछे की नियम पुस्तिका।
• सार्वजनिक रेपो और डेमो: github.com/letmereviewyourcode।