企业级 多协议 LLM API 网关

多协议
LLM API 网关

企业级 LLM API 网关。通过统一的 Internal Format 抽象层,一份 API 调用所有主流 LLM 厂商(OpenAI / Anthropic / Gemini / GLM / DeepSeek …)。Web UI 管理 · 路由配置 · 密钥管理 · 实时监控 · 成本分析。

⭐ 查看源码 📖 文档
$ npm install && npm run dev → http://localhost:3000
5+
LLM 厂商
TS
完整类型
Web
UI 管理
Realtime
监控
MODULES

Web 控制台模块

一站式 LLM 管理

📊

Dashboard

数据分析仪表盘,Token 用量 / 成本 / 错误率一览。

🏪

Vendors

厂商管理。YAML 同步,新增厂商零代码。

💰

Assets

API Key 资产。批量导入、轮换、有效期。

🛣️

Routes

路由策略。按模型/成本/区域分发。

🔑

Keys

客户端密钥。关联路由、用量限额。

🎮

Playground

聊天测试。多模型对比,流式输出。

📝

Logs

请求日志。完整请求/响应/耗时记录。

📈

Analytics

用量分析。按用户/模型/时段统计。

PROVIDERS

支持厂商

🟢
OpenAI
🟣
Anthropic
🔵
Gemini
🟠
GLM
DeepSeek
+
自定义
USAGE

统一调用

一份代码,所有厂商

curl · bash
# 不管底层是 OpenAI 还是 Anthropic,统一格式
$ curl https://your-gateway.com/v1/chat/completions \
  -H "Authorization: Bearer sk-flux-xxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

✓ Gateway 自动路由到最优 asset,统一返回响应
FEATURES

核心特性

🔌

协议无关

统一 API 格式,自动在不同厂商间转换。开发者无感知。

🛡️

类型安全

完整 TypeScript 类型系统。Zod schema 校验请求/响应。

🎯

智能路由

按模型/成本/区域/可用性路由。自动 fallback。

📊

实时监控

Token 使用统计、成本分析、错误率监控。

📝

完整日志

每个请求的完整 request / response / 耗时记录,可追溯。

🎨

Web UI

可视化路由配置、密钥管理、Playground 测试。

统一你的 LLM 调用

一份代码 · 多厂商 · 实时监控 · 成本可控