教程 / LLM 端点

LLM 端点配置

LLM 端点是 OpenAkita 调用大语言模型的入口。你可以配置多个端点,系统会根据优先级和可用性自动选择。

一、LLM 端点配置

本节介绍在 OpenAkita Desktop 中查看与管理 LLM 端点入口。

LLM 端点配置页面
LLM 端点配置页面

添加 LLM 端点

1. 添加 LLM 端点:

  • 点击「+ 添加端点」按钮,打开端点配置对话框
  • 选择服务商
  • 填写 API Key(若无 API Key,可以点击「获取 API Key」)
  • 拉取模型列表,选择模型
  • 选择模型的能力
  • 点击「添加端点」
添加 LLM 端点对话框
添加 LLM 端点对话框
字段说明示例
服务商选择 LLM 服务提供商通义千问、OpenAI、Anthropic 等
Base URLAPI 接口地址(选择服务商后自动填充)https://dashscope.aliyuncs.com/compatible-mode/v1
API Key你的 API 密钥sk-xxxxx
模型选择或输入模型名称(支持在线拉取模型列表)qwen-max、gpt-4o
端点名称自动生成,也可自定义dashscope-qwen-max
能力标签勾选该模型支持的能力text、thinking、vision、tools

高级参数(点击展开):

字段默认值说明
API Typeopenai接口类型,openai 或 anthropic
Key 环境变量名自动生成API Key 在 .env 中的变量名
优先级0数值越小优先级越高

支持的服务商

国内服务商

服务商API 类型默认 Base URL
通义千问(DashScope)openaihttps://dashscope.aliyuncs.com/compatible-mode/v1
智谱 AIopenaihttps://open.bigmodel.cn/api/paas/v4
百度千帆openaihttps://qianfan.baidubce.com/v2
DeepSeekopenaihttps://api.deepseek.com/v1
月之暗面(Kimi)openaihttps://api.moonshot.cn/v1
零一万物openaihttps://api.lingyiwanwu.com/v1
字节豆包(火山引擎)openaihttps://ark.cn-beijing.volces.com/api/v3
SiliconFlowopenaihttps://api.siliconflow.cn/v1

国际服务商

服务商API 类型默认 Base URL
OpenAIopenaihttps://api.openai.com/v1
Anthropicanthropichttps://api.anthropic.com
Google Geminiopenaihttps://generativelanguage.googleapis.com/v1beta/openai
Groqopenaihttps://api.groq.com/openai/v1
Mistralopenaihttps://api.mistral.ai/v1
OpenRouteropenaihttps://openrouter.ai/api/v1

多端点与 Failover

OpenAkita 支持配置多个端点,提供自动故障转移能力:

  • 优先级调度:优先使用 Priority 值最小的端点
  • 自动降级:主端点不可用时自动切换到备用端点
  • 健康检查:后台定期检测端点可用性
  • 冷却机制:连续失败的端点会被临时冷却,避免反复重试

建议:至少配置 2 个端点(不同服务商),以确保高可用性。

编译器端点(可选)

编译器端点用于代码编译、格式化等辅助任务,如果不配置,系统会使用主端点。

添加编译器端点对话框
添加编译器端点对话框

语音识别端点(可选)

用于在线语音识别,支持 OpenAI Whisper / DashScope Qwen-ASR / Groq / SiliconFlow 等。

添加语音识别端点对话框
添加语音识别端点对话框