分类器是路由决策的一个输入

撰写于2026年9月25日。Jev及其相关的路由功能是新功能，并且仍在不断变化，因此本文内容截至该日期是准确的。在您基于此进行构建之前，请查阅供应商的文档，如果您有疑问，可以给我留言。

TypeSafe AI于2026年9月15日发布了Jev，这是一个可以回答类型化问题并返回概率而非散文的模型。此后，许多讨论都围绕着如何使用它来路由工作。路由是一项实际工作，在一个能够根据模型指示采取行动的系统中，它是六项工作之一。

以下是一个通过虚构银行追踪的请求。一位顾问问道：为什么这位客户被收取了抵押贷款提前还款费，我们能免除它吗？ 解释是LLM的工作。免除是一项行动，生成的答案绝不应自行执行此操作。该设计仅作说明之用，其中没有任何内容经过基准测试。

Camunda运行该流程。它维护案例状态，调用各个系统，评估决策表，并根据模型进行重试、升级或等待批准。这六个步骤是职责，实际构建中可能会合并其中一些；模型和端点选择通常是一个决策。将它们分开，可以使模型或网关在不触及免除规则的情况下进行更改。

路由决策有四个输入

Jev提供第一个输入：意图、任务所需的能力以及判断的不确定性程度。银行提供其他三个输入。哪些模型通过了银行针对此任务的评估。其部署策略允许哪些端点。在当前容量下，根据其合同，每个选项的成本是多少。一个决策表和一个作业工作器将它们结合起来：剔除策略禁止的，保留通过质量标准的，并根据成本进行选择。

有两个细节常被忽略。分类器调用也需要许可：如果策略禁止将顾问的文本发送到外部API，那么下游的私有LLM并不能解决这个问题（更多关于数据驻留）。而且，成本在调用结束前只是一个估算。输出长度事先未知，缓存、可计费推理、工具调用和重试都会影响案例总成本。

带有概率的类型化答案比一段散文更容易让代码采取行动。它仍然可能出错。这就是为什么免除要经过规则审查，并且在规则要求时，还要经过人工审查。

您也可以购买策略

OpenRouter的Auto Router会为您分类提示并选择模型。截至2026年9月，其文档将每个成本层级描述为“一个范围，而非上限”：它缩小了价格范围，但没有限制支出。对于许多工作负载来说，这已经足够了。一家需要在决策中考虑自己的评估结果、合同和数据规则的银行，通常会自行编写策略，并且仍然可以使用Jev作为输入之一。