聚合模型

聚合模型是将一个或多个底层大语言模型（LLM）封装为一个统一接口的功能模块。外部调用方只需对接聚合模型，而无需关心后端的模型路由和负载分配。

概述

在实际应用中，可能需要将多个模型整合为一个统一入口，例如：

• 为不同用户或客户端分配不同的底层模型
• 实现模型的负载均衡和故障切换
• 对外隐藏内部模型的具体细节

聚合模型正是为了解决这类场景而设计。创建聚合模型后，可以通过 API 客户端 对外提供访问。

聚合模型管理入口位于后台管理的 模型 API 页面中的 聚合模型 标签页。

创建聚合模型

在聚合模型标签页中，点击 创建模型 按钮。

基本信息

• 模型名称：聚合模型的对外名称，仅支持字母、数字和下划线。调用方将通过此名称引用该模型。
• 描述：聚合模型的用途说明。

可用模型

创建聚合模型时，需要选择底层使用的具体模型。可以选择一个或多个已配置的大语言模型。当选择多个模型时，系统会根据配额和负载情况进行自动路由。

测试模型

聚合模型创建后，可以在列表中点击 测试 按钮进行验证。在弹出的测试窗口中输入消息，系统会通过聚合模型进行调用并返回结果，方便确认配置是否正常。

管理聚合模型

在聚合模型列表中可以查看所有模型的名称、描述和关联的底层模型。租户管理员可以编辑或删除聚合模型。删除聚合模型不会影响底层的 LLM 配置。

查看用量

聚合模型的调用量数据可以在 API 用量数据 页面中查看。参见 API 用量数据。