## llms.py:你的私有离线LLM中心
llms.py是一个轻量级、单文件的Python应用程序,提供类似ChatGPT的界面来访问多个大型语言模型(LLM),完全离线并保持你的数据私密,通过浏览器存储实现。它支持超过160种LLM,包括本地模型(通过Ollama)和远程API(OpenRouter, OpenAI, Google, Groq等)。
**主要特性:**
* **多提供商支持:** 无缝集成各种LLM提供商。
* **离线访问:** 本地运行,确保数据隐私。
* **OpenAI兼容性:** 与任何支持OpenAI API的客户端兼容。
* **智能路由:** 根据模型支持和定义的优先级(成本、本地偏好)自动选择最佳可用提供商。
* **多功能输入:** 处理文本、图像和音频。
* **可定制:** 通过`llms.json`配置提供商、模型和聊天模板。
* **CLI & 服务器模式:** 提供命令行界面和OpenAI兼容的HTTP服务器。
* **Docker支持:** 通过Docker和Docker Compose轻松部署。
**开始使用:**
使用`pip install llms-py --upgrade`安装。将API密钥配置为环境变量或在`llms.json`中配置。使用`llms "你的提示词"`运行。对于服务器,使用`llms --serve 8000`。Docker简化了各种架构的部署。
更多详细信息和定制选项可在[GitHub仓库](https://github.com/ServiceStack/llms)中找到。