企业接入多款大模型后，常常会遇到一些决策类的问题：简单任务要不要用高价大模型？复杂推理怎么稳定匹配强能力模型？各类业务请求该如何挑选适配模型？

2026年9月24日，1Panel AI网关发布v1.3版本。该版本集成了TypeSafe AI的AI模型Jev，新增面向多个自定义业务目标的语义决策模式。管理员只需定义路由目标及其适用范围，业务应用统一使用auto模型入口。发起请求后，请求会交由Jev模型判定匹配目标，1Panel AI网关负责调度对应的模型组，无需业务应用自行判断模型的选择逻辑。

01 实现原理

Jev是TypeSafe AI推出的System One模型。与面向内容生成的大语言模型不同，Jev面向软件流程中的快速判断：应用提供状态和类型化问题，Jev返回结构化答案、候选概率以及置信度，代码可以直接据此分支、排序或路由。

在实际业务中，不同业务请求对模型的能力、成本、时延要求差异很大。翻译、摘要、简单问答的任务适合使用低成本、低延迟的轻量模型；架构分析、复杂代码、多步推理任务适合使用高能力大模型。

原有的向量模式只能区分简单/复杂任务，1Panel AI网关集成的Jev模式解决了“这个请求应该进入哪个自定义业务目标”的问题。Jev模式的工作流程如下：

1. 业务应用只访问一个统一入口，并将模型名称设置为auto；

2. 管理员按业务需要定义2～10个路由目标，并为每个目标关联一个模型组；

3. Jev模型根据当前请求，在已配置目标中完成结构化选择；

4. 1Panel AI网关负责权限校验、候选模型筛选、模型组调度、失败兜底、日志和统计。

这样一来，路由策略与业务代码解耦，模型调整也不再要求应用侧进行同步改造。

▲图1 向量模式和Jev模式实现原理

02 两种智能路由模式对比

Jev模式不会替代原有的向量模式，两种模式的决策方式与适用场景不同。同一时间只运行选中的一种模式，切换模式时，另一种模式的既有配置会被保留，方便管理员根据需要调整和切回。管理员可以根据路由维度、目标数量、现有数据和外部服务边界选择更合适的模式。

1. 选择“本地规则+向量模式”的场景

如果路由目标主要是“轻量模型”和“高能力模型”的二级分流，分类边界长期稳定，并且已经积累了一批具有代表性的简单/复杂样本，原有的向量模式更加直接。管理员可以通过样本、阈值和Top-K控制匹配过程。即使向量服务暂时不可用，AI网关仍可使用本地复杂度规则完成基础判断。其典型的应用场景包括：

■ 简单问答调用轻量模型，复杂推理调用高能力模型；

■ 希望用自身业务样本校准“简单/复杂”的判断边界；

■ 更关注任务难度分层，而不是业务意图或模型专长。

2. 选择Jev模式的场景

当“简单/复杂”已经不足以表达模型选择策略时，Jev模式更加合适。它可以同时判断多个管理员定义的目标，不需要先维护路由样本或构建样本向量，而是直接理解目标名称、适用说明、排除说明和示例之间的语义边界。其典型的应用场景包括：

■ 在通用问答、代码分析、内容创作、翻译等多个专长模型组之间进行选择；

■ 按业务意图选择对应知识域或能力侧重的模型组；

■ 目标会随业务变化，希望通过修改自然语言定义快速调整策略；

■ 希望看到各目标概率与置信度，用于观察和持续优化路由边界。

03 Jev模式配置方法

1. 启用智能路由并选择Jev模型

用户进入1Panel AI网关管理端依次选择“网关设置”→“智能路由”，打开智能路由的“状态”开关，将“路由模式”选项切换为“Jev”模式，并且确认统一入口模型名称。在默认情况下，应用可通过auto发起智能路由请求。

2. 配置TypeSafe连接与兜底模型组

在“Jev决策服务”栏目中填写TypeSafe API Key配置信息，并且选择兜底模型组。兜底模型组用于处理Jev判定为其他目标时，或者决策服务超时、限流、暂时不可用等情况。保存后可以点击“测试连接”按钮检查凭据，并且确认jev-latest模型是否可用。

▲图2 在1Panel AI网关中启用Jev模式并配置相关信息

3. 定义路由目标

每个路由目标包含目标名称、关联模型组、适用说明、排除说明和示例。启用Jev模式至少需要2个已启用目标，最多可配置10个目标。编写目标时，建议遵循以下三个原则：

■ 目标名称要直观，例如“日常问答”、“复杂推理与代码分析”等；

■ 适用说明描述应该进入该目标的任务类型、难度和场景；

■ 排除说明重点写容易混淆、但不应进入该目标的情况，并且补充具有代表性的示例。

▲图3 在1Panel AI网关的Jev模式下定义路由目标

配置完成后，管理员还可以点击“测试Jev路由”按钮，在打开的对话框中输入请求样本，查看目标名称、置信度、目标概率、Jev Token用量与决策时延，快速检查目标描述是否清晰。

▲图4 “测试Jev路由”对话框

04 总结

1Panel AI网关会在决策日志和统计中记录路由目标、决策来源、Jev模型、候选概率、置信度、决策Token、决策时延与回退原因等信息。这样一来，管理员可以根据该类信息观察各类请求的分布，定位边界不清的目标，并且持续优化适用说明、排除说明和示例。

当Jev模型返回other，或遇到超时、限流、服务不可用、并发过载等情况时，1Panel AI网关会自动进入已配置的兜底模型组。对于连续发生的上游异常，1Panel AI网关还会通过熔断机制减少无效调用，避免决策服务故障持续放大至业务请求链路。

在数据边界上，1Panel AI网关只向TypeSafe发送截断后的当前用户文本，以及请求是否包含工具声明、文本是否发生截断这两个必要特征。不会发送系统消息、助手历史、工具定义、网关凭据、模型组信息或者非文本内容等信息，管理员仍需根据自身业务的数据合规要求，决定是否启用外部决策服务。

▲图5 1Panel AI网关智能路由决策日志

▲图6 1Panel AI网关智能路由统计页面