定位：把整个 AI 栈放到一把钥匙后面
LiteLLM 的首页主张很具体：「把整个 AI 栈放到一把钥匙后面」——看清是谁在消耗预算、在超支之前就设上限、并把每个请求发给最适合处理它的模型。它把自己定位为「面向平台团队的 AI 网关」，产品线里同时有优化、可观测、路由与治理四块，服务对象是 AI 应用、人、智能体与机器四类调用方。仓库已积累约 5.93 万星标，安装即可自托管，官方强调「几分钟内自托管、不需要信用卡」。
深度介绍
LiteLLM详细介绍
两种用法：网关服务与 Python 库
官方提供了两条等价路径：一是代理服务器（Proxy Server），作为集中式网关对外提供统一接口，内置认证与授权、虚拟密钥、管理面板界面，适合平台团队统一管理；二是 Python 软件开发包，直接在代码里调用，适合单个应用快速接入。文档把两者的适用对象写得很清楚：前者面向「AI 能力开放／机器学习平台团队」，后者面向「构建大模型项目的开发者」，两者共享同一套供应商支持与调用语义。
统一格式，翻译到各家端点
核心能力是用统一格式调用上百个模型接口：它把请求翻译到各供应商自己的端点上，覆盖对话、响应、嵌入、图像、音频、批处理等多种接口，再把返回值统一成一致的格式。对开发者而言，换供应商通常只改配置，不必重写调用代码与解析逻辑；官方客户案例中也有「切换后端模型只需改网关配置，无需改代码、也不必重新走采购与安全评审」的说法，这正是这层抽象的主要价值。
路由、重试与回退
路由组件负责在多个部署之间做重试与回退，例如同一模型部署在多家云平台上时，可以在某个部署失败或限流时自动切到备选；同时提供应用层负载均衡与兼容的异常处理。这部分是生产环境最能感知的能力：它把「供应商抖动」变成网关内部的自动切换，而不是用户看到的报错。官方文档也把「跨多个部署的重试／回退逻辑」列为路由的核心用途之一。
成本追踪与预算上限
钱的部分被拆成可管理的小块：官方称支持按项目追踪花费并设置预算，企业版进一步做到按密钥、用户、团队与组织统计花费，并支持基于标签的花费追踪。对平台团队来说，这解决的是「开放访问之后如何不被账单吓到」的问题——可以在给团队发密钥的同时设好预算与速率上限，超限即挡在网关层。官方客户案例中也有企业称在使用路由能力后，某些高级任务的成本下降最多约一半。
治理与安全（企业版为主）
企业版在开源版之上补的是「大组织标准化所需」的控制项：治理侧有虚拟密钥、预算、每分钟请求数与 token 数限制、按维度的花费统计，以及每次请求的审计日志；安全与访问侧有单点登录与目录同步、OIDC 与 JWT 认证、密钥管理与轮换、按密钥或团队或组织的角色权限；合规侧官方给出的资质是 SOC 2 Type 2 与 ISO 27001。官方特别强调：由于是自托管，数据与密钥不会离开你自己的基础设施。
可观测、护栏与生态回调
在调用链路上，它可以挂载多种可观测性回调（官方文档列举了多个第三方观测平台），并按项目定制日志、护栏与缓存；虚拟密钥让不同项目使用不同的策略，而不会互相影响。官方首页还把智能体与模型上下文协议（MCP）列进了被管理对象，也就是模型、智能体与 MCP 服务都可以放到同一网关后面统一发钥匙、统一计费与限流。对已经有多套 AI 应用的团队，这种「一个入口管全部」的结构更容易维持一致性。
许可、部署与定价
许可需要注意分界：仓库里的 license 文件写明企业目录下的内容适用其单独许可，其余部分为 MIT 许可（版权方为 Berri AI）。部署上支持自托管、气隙环境（企业版两个档位都支持）以及多区域控制平面，并提供实时升级协助。定价口径是：开源版自托管永久免费、可用于生产，不加收许可费；企业版按年度网关请求容量、部署架构与支持需求报价，官方明确「绝不按 token 计价」，并提供 30 天试用密钥（邮件发送、无需信用卡），可直销购买或经云市场与授权经销商采购。
产品特点
核心功能与独有价值
开源版生产可用且免费
官方 FAQ 明确自托管的开源版在生产环境永久免费、不收许可费，企业版只是在其上加治理、安全与支持，这一点对预算敏感的团队很关键。
网关与代码库两条入口
既能作为集中式网关统一发密钥与限额，也能作为 Python 库直接嵌进应用，平台团队与应用开发者可以各取所需，且共享同一套调用语义。
把成本控制做进网关
预算、速率与 token 限额、按密钥与团队的花费统计与审计日志都在网关层完成，超限即拦截，不需要在每个应用里重复实现。
自托管与气隙，数据不出内网
支持自托管、气隙部署与多区域控制平面，官方强调数据与密钥都不会离开用户自己的基础设施，因此更容易通过企业的合规与安全评审。
最近动态
重要更新
仓库形态：Rust 核心加 Python 接口（核验时点）
核验时仓库的自我描述已更新为「最快的 AI 网关，Rust 核心搭配 Python 软件开发包」，仓库目录中也出现了对应的 Rust 实现目录，说明该项目在保持 Python 生态的同时引入了性能导向的实现。同一时点仓库星标约 5.93 万、分叉约 1.16 万，官方首页的星标徽章显示为 5.88 万，两者以实时数据为准。
官方线上活动：Town Hall
官网顶部横幅显示，官方将于 2026 年 9 月 24 日上午 7:30 至 8:30 举办线上 Town Hall，并提供报名入口。对评估该项目的团队，这类活动通常会用来说明路线图与治理能力的边界；官网同时在招聘，并在页脚标注版权方为 Berrie AI Incorporated。
企业版能力与计价口径（核验时点）
企业版页面在核验时点列出四类增量能力：治理（虚拟密钥、预算、RPM／TPM 限制、按密钥与用户与团队与组织的花费统计、标签化花费追踪、每次请求的审计日志）、安全与访问（单点登录与目录同步、OIDC 与 JWT、密钥管理与轮换、按维度角色权限）、部署（自托管、气隙、多区域控制平面、实时升级协助）与支持（24×7 与响应时间承诺、专属上手、团队与组织管理员）；合规资质为 SOC 2 Type 2 与 ISO 27001。价格页说明企业版按年度网关请求容量与部署架构报价、绝不按 token 计价，并提供 30 天试用。
产品总结
LiteLLM 是面向平台团队的开源 AI 网关，首页主张是「把整个 AI 栈放到一把钥匙后面」：看清是谁在消耗预算、在超支之前设上限，并把每个请求发给最适合处理它的模型。它提供两种等价用法——集中式代理服务器（内置认证与授权、虚拟密钥与管理面板）与 Python 软件开发包（直接嵌进应用），两者共享同一套调用语义。核心能力是用统一格式调用上百个模型接口，把请求翻译到各供应商自己的端点（对话、响应、嵌入、图像、音频、批处理等）并统一返回格式，因此换供应商通常只改配置、不必改代码。 生产相关的部分同样完整：路由组件在多个部署之间做重试与回退，并提供应用层负载均衡与兼容异常处理；成本方面支持按项目追踪花费与设置预算，企业版进一步按密钥、用户、团队与组织统计，并支持标签化追踪；可观测性支持挂载多种第三方观测回调，并按项目定制日志、护栏与缓存。企业版在开源版之上补充治理与安全能力：虚拟密钥、预算、每分钟请求与 token 限额、每次请求的审计日志、单点登录与目录同步、OIDC 与 JWT、密钥轮换与按维度的角色权限，合规资质为 SOC 2 Type 2 与 ISO 27001；部署支持自托管、气隙环境与多区域控制平面，官方强调数据与密钥不离开用户自己的基础设施。 许可需要分清边界：仓库的许可文件写明企业目录下的内容适用单独许可，其余部分为 MIT 许可。定价口径是开源版自托管永久免费且可用于生产、不加收许可费，企业版按年度网关请求容量与部署架构报价、绝不按 token 计价，并提供 30 天试用密钥（邮件发送、无需信用卡），可直销或经云市场与授权经销商采购。核验时仓库约 5.93 万星标，自我描述已更新为「Rust 核心搭配 Python 开发包」，官方也将在 9 月 24 日举办线上 Town Hall。
- 产品类型
- AI 网关与模型调用层
- 支持平台
- 代理服务器（集中式网关） / Python 软件开发包 / 管理面板界面 / 自托管与气隙部署 / 多区域控制平面（企业版）
- 资费模式
- 开源版永久免费且可用于生产（核心 MIT 许可）；企业版按年度网关请求容量报价，含 30 天试用。
核验信息
参考文章与数据来源
本页事实来自 LiteLLM 官方渠道：官网首页（面向平台团队的定位、四项产品能力、自托管与免信用卡说明、客户引用中的成本与切换说法、星标徽章与 Town Hall 横幅）、价格页常见问题（开源版生产可用且永久免费、企业版按年度请求容量计价、气隙支持、数据不出自有基础设施、30 天试用与采购渠道）、企业版页面（治理与安全与部署与支持四类增量能力、审计日志与单点登录与角色权限、SOC 2 Type 2 与 ISO 27001、响应时间承诺）、官方文档入门页（统一格式调用上百个模型、代理服务器与 Python 开发包两种用法、路由与回退、成本追踪、虚拟密钥与管理面板、可观测回调），以及 GitHub 仓库与许可文件（Rust 核心描述、星标与分叉数、企业目录单独许可与其余 MIT）。价格与状态核验于 2026 年 9 月 22 日。
- 官网LiteLLM 官网
- 官方文档官方文档
- 其他价格与常见问题
- 其他企业版
- 其他GitHub 仓库
- 官方文档许可文件（MIT 与企业目录分界）
- 官方文档发布说明
用户体验调查
LiteLLM介绍页面对您是否有帮助？