Escrito en inglés por Zishan Ali Khan; esta es una traducción automática. La IA se mueve más rápido que cualquier idioma, por lo que algunos términos técnicos se mantienen en inglés a propósito, y los términos con un subrayado punteado muestran el original al pasar el ratón o tocar. Leer el original →
Donde los agentes realmente funcionan: Notas de campo de más de 50 implementaciones empresariales
Dos años, siete industrias, cuatro formas de flujo de trabajo. Un mapa de dónde la IA agéntica se gana la vida y dónde el código simple sigue ganando.
24 de junio de 2026 · 22 min · actualizado 11 de julio de 2026 · raw .md
Durante los últimos dos años, he construido más de cincuenta sistemas de IA agencial de prueba de valor para grandes empresas: bancos, mesas de mercados de capitales, gestores de patrimonios, aseguradoras, aseguradoras de salud, minoristas, empresas de telecomunicaciones. Diferentes pilas tecnológicas, diferentes entornos regulatorios, diferentes definiciones de “terminado”. Alrededor de la construcción número treinta, el patrón dejó de ser interesante y comenzó a ser fiable. Eso es lo mejor que puede hacer un patrón. Los patrones aburridos son aquellos en los que se puede apostar una hoja de ruta.
Aquí está el patrón: los agentes demuestran su valor en las rutas de excepción, no en las rutas felices. La ruta feliz de casi todos los procesos empresariales ya está bien cubierta por código. Es determinista, de alto volumen y barata de ejecutar, y generalmente ya se ha automatizado dos veces. La ruta de excepción es donde los documentos llegan con páginas faltantes, las contrapartes no están de acuerdo, tres sistemas informan tres verdades diferentes y una persona dedica cuarenta minutos a reconstruir lo que realmente sucedió. La ruta feliz quiere código. La ruta de excepción quiere juicio. Los agentes son una forma de adquirir juicio a velocidad de máquina, y solo valen su costo donde el juicio era el cuello de botella.
Esta guía es el mapa que desearía haber tenido en la construcción número cinco. Cubre dónde la IA agencial realmente funcionó en esas más de cincuenta construcciones, organizada de dos maneras: por forma de flujo de trabajo (la abstracción útil) y por industria (la forma en que los compradores realmente hacen la pregunta). No hay nombres de clientes en ninguna parte; las instituciones se generalizan a su silueta honesta, como “un importante banco norteamericano”. Los números se generalizan de la misma manera, como “días a minutos”. Y donde algo falló, lo digo, porque los fallos trazaron este mapa tanto como los éxitos.
La heurística de ajuste: desviación × número de herramientas × riesgos
Antes de cualquier detalle de la industria, esta es la prueba de selección que aplico a cada caso de uso candidato. Tres preguntas, en orden.
Desviación. ¿Cuánto difiere un caso individual de la plantilla? Si el 95% de los casos siguen las mismas cinco ramas, escribe código. Enumera las ramas, codifícalas en un motor de reglas o una tabla de decisiones, y listo. Los agentes en flujos de trabajo de baja desviación son pura sobrecarga: más lentos, más caros y no deterministas exactamente donde el determinismo era el requisito. La alta desviación es la señal opuesta. Cuando cada caso es un lío ligeramente diferente, la enumeración de ramas nunca converge, y el costo de mantenimiento del árbol de decisión codificado manualmente excede el costo de ejecución de un modelo que puede interpretar la situación.
Número de herramientas. Esta es mi forma abreviada, y la he dicho en suficientes salas como para ponerla por escrito: tres herramientas versus diez herramientas. Si el flujo de trabajo toca tres sistemas en un orden fijo, la orquestación es un problema resuelto. Escribe las tres llamadas, conecta el manejo de errores, despliégalo. Si el flujo de trabajo necesita diez herramientas y la siguiente llamada correcta depende de lo que devolvió la última llamada, ya no estás escribiendo código de integración. Estás codificando manualmente un problema de planificación, y ese código se pudre en el momento en que el proceso cambia. Ahí es donde el bucle de planificación de un agente comienza a justificar su sobrecarga: no porque el modelo sea inteligente, sino porque la alternativa es un árbol de decisión que nadie mantendrá.
Riesgos. Los altos riesgos no descalifican a los agentes. Descalifican a los agentes no supervisados. Un flujo de trabajo de alta desviación y altos riesgos (adjudicar una hipoteca, examinar una carta de crédito, clasificar una autorización previa) es a menudo el mejor caso de uso posible para un agente, siempre que el agente se ejecute dentro de un plano de control: puertas de validación, un registro de auditoría que capture cada llamada a herramienta y sus entradas, puntos de control humanos en las decisiones importantes y un mecanismo de respaldo determinista cuando el agente no esté disponible o no esté seguro. Cubrí la arquitectura del plano de control en profundidad en Gobierno de la IA Agencial; esta guía lo da por sentado.
La versión en cuadrícula, ya que la cuadrícula es lo que la gente fotografía de la diapositiva:
| Desviación | Riesgos | Qué construir |
|---|---|---|
| Baja | Bajos | Código. No lo pienses demasiado. |
| Baja | Altos | Código más un motor de reglas más un registro de auditoría. El determinismo es la característica clave. |
| Alta | Bajos | Un agente ligero, revisado a posteriori, mejorado mediante evaluaciones. |
| Alta | Altos | Un agente dentro de un plano de control: puertas de validación, puntos de control HITL, mecanismo de respaldo determinista. |
El número de herramientas es el criterio de desempate dentro de cada celda. Tres herramientas te inclinan hacia el código incluso con alta desviación. Diez herramientas te inclinan hacia un agente incluso cuando la desviación parece moderada, porque la desviación moderada en diez sistemas se convierte en más ramas de las que cualquiera enumeraría.
Comentario de revisión: si tu demostración de agente solo muestra la ruta feliz, has demostrado la parte del proceso que menos necesitaba un agente.
Las cuatro formas de flujo de trabajo
En más de cincuenta construcciones, casi todo lo que funcionó se redujo a cuatro formas. Las industrias las decoran de manera diferente, pero la estructura portante se repite. Para cada forma daré las mismas cuatro respuestas: qué hace el agente, qué permanece determinista, dónde se sitúa el humano y qué medir. Si un proveedor o un equipo interno no puede darte esas cuatro respuestas sobre su agente, tienen una demostración, no un diseño.
Examen: documentos contra un libro de reglas
Uno o más documentos comparados con un estándar codificado. Examen de cartas de crédito contra UCP 600. Adjudicación de reclamaciones contra los términos de la póliza. Presentaciones de suscripción contra las directrices de apetito. El libro de reglas es estable y versionado; las entradas son desordenadas, escaneadas e inconsistentes. Esa asimetría es toda la oportunidad.
Qué hace el agente. Lee la entrada desordenada, extrae y normaliza campos, los compara campo por campo con el libro de reglas y escribe una narrativa de discrepancia que un humano capacitado puede verificar en minutos en lugar de reconstruir en horas.
Qué permanece determinista. Cada regla que se puede codificar sin interpretación. Aritmética de fechas, umbrales de tolerancia (la tolerancia de cantidad de UCP 600 es aritmética, no de juicio), lógica de enrutamiento y la transición de estado final. El agente propone; el código dispone.
Dónde se sitúa el humano. Revisando las discrepancias marcadas por encima de un umbral de materialidad, y siempre en la decisión de rechazar o denegar. Los documentos de nadie son rechazados solo por un modelo.
Qué medir. Precisión y exhaustividad de las discrepancias frente a examinadores experimentados, por campo. El único número que más importa es la tasa de pases erróneos: una discrepancia omitida significa pagar contra documentos no conformes, y ese fallo es silencioso hasta que resulta costoso.
Investigación: evidencia a través de sistemas
Recopilar evidencia de muchas fuentes, conciliar conflictos y sintetizar un caso. Investigaciones KYC. Clasificación de incidentes de red. La propiedad definitoria es que nadie sabe de antemano qué fuentes serán relevantes para este caso particular, que es exactamente la propiedad que elimina los pipelines codificados manualmente.
Qué hace el agente. Planifica sus propias consultas a través de registros, listas de vigilancia, almacenes de documentos, registros y sistemas internos. Concilia evidencia contradictoria (dos registros, dos grafías, una entidad). Produce un expediente con citas a los registros de origen.
Qué permanece determinista. La lista de verificación de fuentes obligatorias. Un agente no puede omitir la detección de sanciones porque se sentía seguro. La fórmula de puntuación de riesgo también permanece en el código, junto con los umbrales de escalada. El agente recopila evidencia; una fórmula convierte la evidencia en una puntuación.
Dónde se sitúa el humano. En la resolución, e innegociablemente en las resoluciones adversas. El trabajo del agente es hacer desaparecer los cuarenta minutos de ensamblaje del humano, no hacer desaparecer la decisión.
Qué medir. Exhaustividad de la evidencia: el porcentaje de fuentes obligatorias que el agente realmente consultó, medido a partir de los registros de llamadas a herramientas, no asumido del prompt. Precisión de las citas: ¿cada afirmación en el expediente se remonta a un registro de origen real? Luego, el tiempo hasta la resolución, que es el número que la empresa compró.
Clasificación y resolución: clasificar, luego elegir una ruta
Llega una excepción; algo no coincidió. Discrepancias en órdenes de compra, pagos fallidos, quiebres post-negociación. El flujo de trabajo es un diagnóstico seguido de una elección entre rutas de remediación.
Qué hace el agente. Diagnostica la excepción a partir de la evidencia y selecciona una ruta de remediación de un menú acotado. Puerta uno a puerta siete. El agente elige la puerta; nunca construye una nueva puerta en tiempo de ejecución.
Qué permanece determinista. Las acciones de remediación en sí mismas. Cada ruta es un flujo preconstruido, probado y determinista. La autoridad del agente termina en la selección; la ejecución es código.
Dónde se sitúa el humano. Aprobando rutas irreversibles o de alto valor antes de la ejecución, y gestionando la cola de “ninguna de las anteriores”. Esa cola no es un fallo; es el backlog a partir del cual se diseña la siguiente ruta de remediación.
Qué medir. Tasa de ruta correcta contra un conjunto de oro etiquetado. Tasa de auto-resolución. Y la asimetría de costos de una ruta incorrecta, porque esa asimetría, no la precisión promedio, determina dónde van las puertas de aprobación.
Conserje: un viaje guiado con interfaz de usuario generativa
Un viaje de varios pasos donde el agente guía a una persona a través de un proceso: incorporación de cuentas, una compra compleja, una solicitud de servicio. La elección de diseño crítica, aprendida por las malas, es la interfaz de usuario generativa sobre el chat. El agente genera el siguiente paso de la interfaz (un formulario prellenado, un resumen para confirmar, una elección a realizar) en lugar de mantener una conversación. La gente termina los formularios. Abandonan las conversaciones.
Qué hace el agente. Impulsa el viaje, adapta el siguiente paso a lo que ya sabe sobre el usuario y el caso, rellena previamente lo que se puede rellenar y explica lo que necesita y por qué.
Qué permanece determinista. La máquina de estados del proceso subyacente. Reglas de validación, pasos de cumplimiento (verificaciones de identidad, idoneidad) y los límites de qué datos pueden mostrarse. El agente decora la máquina de estados; no la reemplaza.
Dónde se sitúa el humano. El cliente es el humano en el bucle, paso a paso. En los viajes regulados hay un segundo humano: el revisor de back-office que aprueba antes de que ocurra algo vinculante.
Qué medir. Tasa de finalización frente a la línea base del formulario estático. Dónde la gente abandona. Tasa de corrección (con qué frecuencia se anulan los valores prellenados del agente). Tasa de escalada a humano.
Las cuatro formas, una al lado de la otra:
| Forma | Tarea del agente | Núcleo determinista | Rol del humano | Métrica principal |
|---|---|---|---|---|
| Examen | Extraer, comparar, narrar discrepancias | Cálculos del libro de reglas, umbrales, enrutamiento | Aprobación de rechazo/denegación | Tasa de pases erróneos |
| Investigación | Recopilar, conciliar, construir el caso | Fuentes obligatorias, fórmula de puntuación | Resolución final | Exhaustividad de la evidencia |
| Clasificación y resolución | Diagnosticar, elegir una ruta de remediación | Los propios flujos de remediación | Aprobación en rutas irreversibles | Tasa de ruta correcta |
| Conserje | Impulsar el viaje, generar el siguiente paso | Máquina de estados del proceso, puertas de cumplimiento | Es el viaje (más un revisor) | Tasa de finalización |
Una nota sobre la infraestructura antes del recorrido por la industria. Las construyo sobre Camunda porque quiero el núcleo determinista, las tareas humanas y el registro de auditoría en una capa de orquestación, pero nada en las cuatro formas depende de esa elección. Los mismos diseños se pueden portar a Temporal, LangGraph con un almacén de estados adecuado, o Node.js simple con disciplina. Primero las formas, luego los productos.
Banca: investigación a escala de expediente
La construcción bancaria insignia, repetida en variaciones en varias instituciones, incluidos los principales bancos canadienses (top 5), fue un agente de investigación KYC: verificación de identidad, análisis de documentos, detección de sanciones y medios adversos, y evidencia estructurada que alimenta una puntuación de riesgo. El resultado honesto fue una reducción de días a minutos para la preparación del caso. No para la decisión, sino para la preparación. Los analistas pasaron de ensamblar casos a revisarlos, lo que es tanto la ganancia de productividad como el control: un humano sigue siendo responsable de cada resolución. Alrededor de ese núcleo se encontraban las otras construcciones bancarias: adjudicación de créditos e hipotecas con puertas de validación de agente-juez sobre el producto de trabajo, manejo de excepciones de pago (una forma de clasificación pura) y flujos de banca abierta donde los agentes orquestan el acceso a datos consentidos entre instituciones, un patrón sobre el que escribí públicamente en el blog de Camunda.
La banca encaja porque KYC tiene una forma de investigación por excelencia. Cada caso es un lío diferente: estructuras corporativas en capas, variantes de nombres en diferentes escrituras, datos de registro que se contradicen. La enumeración de ramas nunca converge, y el número de herramientas supera con creces las diez antes de terminar de listar las listas de vigilancia. Es la celda de alta desviación y altos riesgos más clara en la cuadrícula, por lo que también exige el plano de control más robusto que construyo en cualquier lugar.
La trampa en la banca es dejar que el agente calcule la puntuación de riesgo. Lo hará con gusto y sonará autoritario. Mantén la división clara: evidencia del agente, puntuación de una fórmula que los equipos de riesgo de modelos pueden leer, versionar y desafiar. Un regulador que pregunta “¿por qué esta calificación?” obtiene una respuesta construida a partir de evidencia verificable por humanos y una fórmula determinista. “El modelo ponderó los factores” no es una respuesta, y en mi experiencia las instituciones lo saben antes que sus proveedores.
Mercados de capitales: el libro de reglas fue el regalo
La construcción que más cito es el examen de cartas de crédito contra UCP 600: detección de discrepancias campo por campo en la LC, la factura, el conocimiento de embarque y los certificados de respaldo, con un mecanismo de respaldo determinista a examen manual siempre que la confianza de extracción caía por debajo del umbral. La forma medida en la prueba de valor fue de horas a segundos por conjunto de documentos. Adjuntaré la advertencia honesta inmediatamente: ese número provino de un conjunto de documentos curado. Los escaneos de producción son peores, existe la escritura a mano, y la ruta de respaldo no es un extra opcional, es la razón por la que el número puede existir. Junto al examen de LC se encontraban la conciliación de operaciones, la remediación post-negociación y la gestión de solicitudes y excepciones de operaciones, todas las cuales resultaron ser formas de clasificación: el agente clasifica la interrupción y selecciona la remediación, el código la ejecuta.
Los mercados de capitales encajan porque te entregan el activo más raro en este trabajo: un libro de reglas estable, versionado y gobernado externamente. UCP 600 no ha cambiado desde 2007. Las entradas son un caos, el estándar es de piedra, y los agentes con forma de examen viven exactamente en esa brecha. Los examinadores de documentos son escasos, caros y se están jubilando; el lado de la demanda de esta construcción nunca fue difícil de explicar.
La trampa es tratar el “cumple” del agente como definitivo. Un pase erróneo en el examen de LC significa que un banco paga contra documentos discrepantes, y la pérdida llega meses después con la firma de otra persona. Cada versión seria de esta construcción mantuvo un régimen de muestreo humano reexaminando una porción de veredictos “limpios”, con la tasa de pases erróneos en un panel donde el jefe de mesa podía verlo. Cuando la tasa de muestreo tiende a cero, el control ha fallado, diga lo que diga el gráfico de precisión.
Gestión de patrimonios: el conserje que tuvo que ganarse la confianza del asesor
Para los gestores de patrimonios, construí conserjes de incorporación con interfaz de usuario generativa (la forma de viaje, exactamente como se describió anteriormente) y un flujo de evaluación de riesgos más recomendación de cartera donde el agente redacta y un asesor revisa. El trabajo de incorporación es donde me convencí de que la interfaz de usuario generativa supera al chat para los viajes: la finalización, no la calidad de la conversación, es la métrica, y las interfaces con forma de pasos se completan. El flujo de recomendación es donde la ubicación del humano en el bucle fue lo más importante. El agente reúne la imagen del cliente y redacta una propuesta; las reglas de idoneidad se ejecutan de forma determinista; el asesor revisa, edita y es responsable de lo que ve el cliente.
La gestión de patrimonios es también donde creció mi práctica de evaluación. Durante una prueba de valor en un importante banco norteamericano, comparamos modelos en el flujo de trabajo real en lugar de confiar en los precios por niveles, y encontramos que un modelo de nivel medio igualó la precisión del modelo premium a aproximadamente 1/13 del costo, con tasas de omisión de herramientas medidas a partir de registros, no asumidas. Este hallazgo cambió cómo defino el alcance de cada construcción desde entonces, y es la historia de origen de Evaluación de Sistemas Agenciales. La lección general se aplica: en los flujos de trabajo agenciales, el bucle de herramientas y las salvaguardias hacen más trabajo que la calidad bruta del modelo, así que mide antes de pagar.
La trampa en la gestión de patrimonios es enviar la recomendación directamente al cliente porque el borrador parece pulido. El pulido es precisamente el riesgo. Una propuesta de cartera fluida y errónea es más peligrosa que una torpe, porque nada en su superficie invita al escrutinio. La puerta del asesor no es un arreglo transitorio para ser optimizado y eliminado; en un régimen de idoneidad es el producto.
Seguros: suscripción como examen más juicio
La construcción de seguros fue un soporte de suscripción de seguros comerciales de propiedad y accidentes (P&C): inteligencia documental en toda la presentación (historiales de siniestros, tablas de valores, correos electrónicos de corredores que entierran el único hecho material en el párrafo nueve), reglas deterministas de apetito y riesgo, y un agente juez validando el producto de trabajo ensamblado antes de que lo vea un suscriptor. El resultado fue que el tiempo desde la presentación hasta la preparación de la cotización se redujo de días de ensamblaje a menos de una hora de revisión, con cada extracción y cada activación de regla registrada para el registro de auditoría. El sistema fue diseñado según las expectativas de los reguladores desde el primer sprint, no adaptado posteriormente, porque en los seguros la historia de la auditoría es parte de la venta.
La suscripción encaja porque tiene forma de examen con un adorno de investigación. La guía de apetito es el libro de reglas; la presentación es el conjunto de documentos desordenado; y la desviación es enorme porque no hay dos riesgos comerciales que lleguen descritos de la misma manera. El número de herramientas también supera el listón, una vez que se cuentan los analizadores de historiales de siniestros, los servicios de datos de propiedades, las verificaciones de sanciones y los sistemas internos de exposición.
La trampa es enterrar las reglas de apetito en el prompt. Funciona en la demostración, y luego se desvía, silenciosamente, de una manera que ningún oficial de riesgo puede inspeccionar. Las reglas que deciden si la aseguradora quiere el riesgo pertenecen a un motor de reglas (DMN o equivalente) que el liderazgo de suscripción puede leer, versionar y cambiar sin un ingeniero de prompts en la sala. El trabajo del agente es estructurar la presentación para que las reglas puedan activarse, no convertirse en una copia sin versión de ellas.
Salud: velocidad donde la velocidad es segura
Para una importante aseguradora de salud de EE. UU. (generalizado, como todo aquí) construí el procesamiento de reclamaciones y la clasificación tipo autorización previa. El principio de diseño fue la automatización asimétrica: el agente acelera las aprobaciones y reúne evidencia, y los humanos son responsables de cada denegación. Un caso con forma de aprobación se verifica contra criterios clínicos de forma determinista y avanza en minutos. Un caso que se dirige a la denegación obtiene un paquete de evidencia completo y citado y un revisor humano, punto final. La forma medida fue que la cola de aprobaciones pasó de días a ser del mismo día, mientras que la calidad de la decisión de denegación mejoró en lugar de acelerarse, porque los revisores comenzaron con un caso ensamblado en lugar de una pila de documentos.
La atención médica encaja limpiamente en las formas (las reclamaciones son examen, la clasificación de autorización previa es clasificación), pero se gana su propia sección porque los riesgos no son simétricos y el diseño debe codificar eso. Una aprobación lenta cuesta dinero. Una denegación errónea cuesta atención, luego litigios, luego titulares. Cualquier arquitectura que trate esos dos errores como la misma clase de defecto está equivocada antes de la primera línea de código.
La trampa, obviamente pero hay que decirlo porque la industria sigue intentándolo, es automatizar las denegaciones. Es el peor lugar en cualquier industria en la que trabajo para poner la autonomía del modelo: legalmente expuesto, éticamente indefendible y reputacionalmente radioactivo. El argumento de venta que funciona y sobrevive es síes más rápidos y quizás mejor preparados. Me he negado a construir la otra versión.
Retail: excepciones a escala Fortune-10
Para minoristas a escala Fortune-10, construí la clasificación de excepciones de pedidos y órdenes de compra: desajustes de cantidad, disputas de precios, discrepancias en avisos de envío, desajustes entre factura y recibo. Forma de clasificación pura. El agente clasifica la excepción, reúne los dos o tres hechos que la desambiguan y la encamina por uno de un conjunto acotado de flujos de remediación; las rutas de alto valor e irreversibles se ponen en cola para aprobación humana. A esa escala, la aritmética es contundente: el volumen de excepciones es tan grande que una tasa de auto-resolución del 60-70% genera dinero real, y la cola residual que llega preclasificada con evidencia adjunta también acelera la parte humana.
El retail encaja porque la desviación reside exactamente donde está el volumen. La ruta feliz (pedido realizado, enviado, recibido, pagado) se automatizó hace décadas. La cola de excepciones nunca se automatizó porque cada excepción es un copo de nieve, y los copos de nieve son lo que la heurística de ajuste selecciona. La segunda línea minorista es el comercio agencial, la forma de conserje aplicada a las compras, que mantengo arquitectónicamente separada porque en el momento en que un agente puede gastar dinero, el problema de control cambia de naturaleza. Ese problema tiene su propia superficie de protocolo y su propia guía: la guía de campo AP2.
La trampa es perseguir el 100% de auto-resolución. El último decil de excepciones no es como los primeros nueve: es donde reside el fraude, donde residen los fallos genuinamente novedosos, y donde una remediación errónea y segura cancela dinero real. Limita la autoridad del agente por valor y reversibilidad, mantén la cola de “ninguna de las anteriores” humana, y trata esa cola como el backlog de diseño para la siguiente ruta de remediación en lugar de como un recuento de defectos a reducir a cero.
Telecomunicaciones: clasificación antes de la sala de guerra
La construcción de telecomunicaciones fue la clasificación de incidentes del NOC: un agente que se enfrenta a la tormenta de alarmas, correlaciona a través de capas de red y gestores de elementos, extrae los registros de cambios y la topología, y produce un resumen del incidente con la causa probable, el radio de impacto y el siguiente diagnóstico sugerido. Forma de investigación bajo presión de tiempo. El resultado fue que el tiempo hasta la primera acción significativa se redujo de decenas de minutos a un par de minutos, lo que en una interrupción es el único reloj que a alguien le importa.
Las telecomunicaciones encajan porque la evidencia de incidentes está dispersa por diseño: alarmas en un sistema, cambios en otro, topología en un tercero, impacto en el cliente en un cuarto. La correlación es el trabajo, cada incidente se correlaciona de manera diferente, y el número de herramientas supera cómodamente las diez. También es un caso raro donde el “usuario” es un experto bajo estrés, lo que eleva el listón en la calidad del resumen: una causa probable errónea no solo hace perder tiempo, sino que dirige toda la sala de guerra a la capa equivocada.
La trampa es medir los resúmenes producidos en lugar del comportamiento del operador cambiado. Si el NOC sigue abriendo las mismas cinco consolas y ejecutando la misma correlación manual después de leer el resumen del agente, has construido una decoración, y una decoración cara además. Instrumenta lo que los operadores hacen a continuación. Y mantén la remediación estrictamente controlada: un agente que puede reiniciar elementos en una red en vivo sin un paso de aprobación no es un agente de clasificación, es un cambio no revisado en la red con un modelo de lenguaje adjunto.
Lecciones transversales
Cuatro lecciones sobrevivieron al contacto con cada industria mencionada.
La inteligencia documental es el caballo de batalla. La verdad poco glamorosa de cincuenta construcciones: en la mayoría de ellas, la mayor parte del valor entregado fue convertir documentos desordenados en afirmaciones estructuradas y con puntuación de confianza. LCs, historiales de siniestros, documentos KYC, paquetes de autorización previa, correos electrónicos de corredores. Nadie pone la extracción en la diapositiva principal, y nada aguas abajo sobrevive sin ella. Si solo pudiera financiar una capacidad en un programa de agentes empresariales, sería esta.
Agentes jueces como puertas de validación. Un segundo modelo, con un prompt diferente e idealmente una familia de modelos diferente, verifica el producto de trabajo del primer agente contra una rúbrica explícita antes de que llegue a un humano o a un sistema de registro. Lo usé en la adjudicación de hipotecas y en la suscripción, y es el seguro más barato en la pila. No hace que el primer agente sea más inteligente; hace visibles sus fallos antes de que se agraven, y detecta la desviación que las evaluaciones por lanzamiento pasan por alto porque se ejecuta en cada caso.
Todo sistema destinado a producción tenía un mecanismo de respaldo determinista. Agente no disponible, confianza de extracción baja, presupuesto de costos excedido, veredicto del juez fallido: el caso se encamina a la ruta manual o codificada preexistente. El sistema se degrada al proceso de ayer, no a la nada. Esto también fue, silenciosamente, lo que hizo que los equipos de riesgo y cumplimiento dieran su aprobación. El argumento no es “confía en el agente”, es “el peor caso es el proceso que ya ejecutas”.
La ubicación del HITL es una decisión de diseño, no una ocurrencia tardía. Aprobar antes de actuar donde las acciones son irreversibles o de alto valor. Revisar a posteriori donde son baratas de deshacer. Regímenes de muestreo donde el volumen prohíbe la revisión completa. Cada ubicación compra un intercambio diferente de riesgo contra rendimiento, y la elección pertenece al taller de diseño, no a la semana de pánico después de la lectura del piloto. Cada historia de HITL fallida que he visto fue una ubicación elegida por defecto en lugar de por decisión.
Lo que no funcionó
La sección honesta, porque los fallos trazaron el mapa.
Flujos de trabajo de baja desviación forzados a agentes. El caso más claro fue un flujo de aprobación de gestión de accesos. La lógica de aprobación era una matriz: rol, recurso, sensibilidad, cadena de gerentes. Totalmente codificable. La versión del agente que esbozamos por primera vez era más lenta, más cara y no determinista precisamente donde el equipo de seguridad necesitaba determinismo. El código ganó, y no fue por poco. El único agente que sobrevivió fue uno delgado en la entrada, interpretando solicitudes de texto libre en estructuradas, lo que es inteligencia documental con otro nombre. La desviación era baja, las herramientas eran tres, y la heurística tuvo la respuesta antes que nosotros.
Interfaces de chat atornilladas a procesos que nadie pidió. Al principio, más de una vez, entregué “chatea con tu proceso” porque se ve hermoso en las demostraciones. Impresionó en la reunión y murió en el piloto, cada vez. El trabajo de los usuarios era una cola, y querían que se gestionara la cola, no una conversación sobre la cola. La distinción que me llevó demasiado tiempo articular: la interfaz de usuario generativa dentro de un viaje funciona, porque hace avanzar al usuario; el chat como capa sobre un proceso existente añade un paso de traducción a un trabajo que ya tenía una interfaz más rápida.
Teatro de autonomía. Varias solicitudes equivalían a envolver una sola llamada a la API en un bucle de agente para que la hoja de ruta pudiera decir “agencial”. Una herramienta, una ruta, sin juicio. Eso es una llamada a función con pasos adicionales y una factura por token. Ahora lo digo en la primera reunión, y no me ha costado nada: los equipos que lo escuchan confían en las recomendaciones que siguen.
Comentario de revisión: una ventana de chat no es un caso de uso. Si el trabajo del usuario es una cola, construye para la cola.
La versión de un párrafo
Después de más de cincuenta construcciones empresariales, el patrón es aburrido y fiable: los agentes demuestran su valor en las rutas de excepción, no en las rutas felices, porque la ruta feliz quiere código y la ruta de excepción quiere juicio. Evalúa a cada candidato con desviación × número de herramientas × riesgos (tres herramientas en un orden fijo significa escribir el código; diez herramientas cuyo orden depende de los datos significa que un agente puede justificar su sobrecarga; altos riesgos significa que el agente vive dentro de un plano de control). Casi todo lo que funciona es una de cuatro formas: examen (documentos contra un libro de reglas), investigación (evidencia a través de sistemas), clasificación y resolución (clasificar, luego elegir una ruta de remediación acotada) y conserje (un viaje guiado con interfaz de usuario generativa, no chat). En cada forma, mantén las fórmulas de puntuación, los libros de reglas y las acciones de remediación deterministas, pon un agente juez delante de cualquier cosa trascendental, sitúa a los humanos en las decisiones por diseño en lugar de por defecto, y mantén un mecanismo de respaldo determinista para que el peor caso sea el proceso que ya ejecutas. Donde la desviación es baja, el código gana, y lo honesto es decirlo en la primera reunión.
Referencias
- Gobierno de la IA Agencial, mi guía de campo sobre la arquitectura del plano de control asumida a lo largo de este documento: puertas de validación, registros de auditoría, puntos de control HITL, mecanismos de respaldo deterministas.
- Evaluación de Sistemas Agenciales, la práctica de evaluación detrás de los números “medidos, no asumidos” aquí, incluyendo las tasas de omisión de herramientas y la evaluación comparativa de costo-calidad.
- Guía de campo AP2, para el comercio agencial y el problema de control distinto de los agentes que gastan dinero.
- Uso de A2A para lograr sus objetivos comerciales, parte 1 y parte 2, publicaciones de blog de Camunda que coescribí sobre la coordinación multiagente.
- La IA Agencial pone en marcha la Banca Abierta, publicación de blog de Camunda que cubre los flujos de banca abierta a los que se hace referencia en la sección de banca.
- ICC Uniform Customs and Practice for Documentary Credits (UCP 600), el libro de reglas detrás de la construcción de examen de cartas de crédito.
- Repositorios públicos y demostraciones: github.com/letmereviewyourcode.
Pronto habrá un boletín. Hasta entonces, las nuevas guías y episodios se publican primero en LinkedIn y en el feed RSS.