Skip to content

大语言模型

alt text

煎蛋平台提供各种业界主流大模型的一站式接入,从当红炸子鸡 Deepseek-R1 到最新的 Llama 4 等大模型,均可以直接使用。

用户可以自行接入符合以下接口规范的大模型API(包括文字对话模型和向量化模型)作为大模型使用。 alt text

OpenAI 接口规范

OpenAI 接口规范需要以下三个关键信息:

基准Url (BaseUrl):对应https://api.openai.com/v1

模型标识 (Model):对应 OpenAI API调用时的Mode字段

API密钥 (API Key):对应OpenAI API的密钥

具体参数请参考对应的大语言模型API文档。

支持的大模型包括:DeepSeek V3、Qwen系列、豆包系列等非推理大模型

DeepSeek 接口规范

DeepSeek接口规范实际上是兼容OpenAI规范的,只是额外处理DeepSeek R1 推理大模型特有的思考过程输出(包含在<think> </think>里)。支持的大模型包括DeepSeek R1 满血版本和各种DeepSeek R1 蒸馏版本,另外也支持QwQ-32B 和 腾讯T1.

Azure OpenAI 接口规范

微软Azure云提供的OpenAI大模型与OpenAI官方的大模型一致,而且可以合法合规的的在国内使用,包括GPT-4o, GPT-4o mini 等OpenaAI 最新的大模型。

接入Azure OpenAI大模型API需要以下关键信息:

Azure API 密钥:可以在Azure云管理后台获取

Azure API 版本:API接口的版本,比如“2024-10-21”

Azure API 实例名:在Azure云管理后台创建的Azure OpenAI 实例(instance)名称

Azure API 实例名:在Azure云管理后台创建的具体模型部署(deployment)名称

可见范围

设置大语言模型的可见范围,有三种可见范围:

  • 公开:平台统一提供的大语言模型,所有用户均可使用。
  • 租户可见:只有同一个租户的用户可见,可以由租户管理员设置。
  • 用户可见:只有接入的用户可见。普通用户接入的模型只能设置该范围。

首选

勾选 首选 标志之后,新创建的智能体默认使用该模型。可以设置多个 首选 模型,系统取最新的为默认模型。

模型提供者

大语言模型的提供者

模型图标

大语言模型的 logo 图标

上下文窗口大小(k)

设定大语言模型的上下文大小窗口。这个设置会影响智能体可用的历史记录长度。每次发送请求到大语言模型时,系统会计算可用的上下文窗口大小,自动抛弃超出该大小的最早的历史记录。

这个设置不一定是大语言模型的上下文窗口大小的理论值。如果是本地部署的大语言模型推理服务,这个上下文窗口大小要和推理服务设置的上下文窗口大小一致,否则会导致上下文窗口超出的错误。

最大生成长度

设定大语言模型生成内容的最大token长度

模型能力

设定大语言模型的能力

模型标签

用户自定义标签,用逗号或者分开。

Last updated: