**litelm** 是 `litellm` 的轻量级、高性能替代方案,它剔除了臃肿的代理服务器、缓存及成本跟踪层,专注于核心的 LLM 功能。该库代码量仅约 2,900 行,且仅需两个依赖项(`openai` 和 `httpx`),为模型路由、消息转换、流式传输、工具调用和嵌入提供了精简的接口。
该库保持了与 `litellm` 完全一致的 API 接口,只需修改导入语句即可轻松迁移。它支持 19 家服务提供商,采用标准的 `provider/model-name` 语法,并通过 `api_base` 与任何兼容 OpenAI 的端点(如 vLLM、Ollama 或 LM Studio)无缝集成。
主要特性包括:
* **完整的 API 对等性:** 支持同步和异步调用、工具调用以及结构化异常处理。
* **极简占用:** 无沉重依赖,也不包含负载均衡或代理等额外功能。
* **严谨测试:** 通过了 262 项本地测试、45 项在线服务商测试,并完全兼容 DSPy 集成。
`litelm` 专为需要高效、可靠 LLM 路由但无需全功能代理服务器复杂性的开发者设计,目前处于 Alpha 阶段,可为 AI 辅助应用提供即插即用的解决方案。