像使用 BitTorrent 一样在本地运行大型语言模型

像使用 BitTorrent 一样在本地运行大型语言模型
Run large language models at home, BitTorrent‑style

该项目支持用户在消费级硬件或 Google Colab 上运行超大规模语言模型，例如 Llama 3.1 (405B)、Mixtral (8x22B) 和 Falcon (180B)。通过利用去中心化的 BitTorrent 式网络，参与者可以贡献模型容量的一部分，从而共同托管整个模型。这种方法性能卓越，运行速度可达每秒 6 个 token，适用于聊天机器人及交互式应用。与传统的封闭式 API 不同，该平台提供了 PyTorch 和 Hugging Face Transformers 的灵活性，允许用户自定义采样方法、进行微调并查看隐藏层状态。作为 BigScience 研究研讨会的一部分，该倡议为那些希望深度掌控先进 AI 模型且无需企业级基础设施的用户，提供了一个强大的协作替代方案。

Hacker News 的讨论聚焦于 **Petals** 项目，这是一个允许用户通过类似 BitTorrent 的去中心化网络运行大语言模型（LLM）的项目。评论者对该概念的技术可行性表示怀疑，主要指出节点间的高带宽需求是一个重大瓶颈。一些参与者指出，该项目自 2022 年由 Hugging Face 发起以来，似乎已基本处于停滞状态。讨论还探讨了其他替代方案，例如在本地托管较小的模型，以及在好友之间进行点对点算力共享。然而，讨论也强调了其中的重大风险，包括可能遭受“女巫攻击”（Sybil attacks），即恶意行为者可能通过运行代理节点来拦截并记录用户的敏感提示词。总的来说，虽然社区认为这种分布式的全球化神经网络概念很有趣，但许多人一致认为，当前的底层架构（特别是网络吞吐量）尚不足以使其成为一种可行且主流的解决方案。

Run large language models at home, BitTorrent‑style

Generate text with Llama 3.1 (up to 405B), Mixtral (8x22B), Falcon (40B+) or BLOOM (176B) and fine‑tune them for your tasks — using a consumer-grade GPU or Google Colab.
You load a part of the model, then join a network of people serving its other parts. Single‑batch inference runs at up to 6 tokens/sec for Llama 2 (70B) and up to 4 tokens/sec for Falcon (180B) — enough for chatbots and interactive apps.
Beyond classic LLM APIs — you can employ any fine-tuning and sampling methods, execute custom paths through the model, or see its hidden states. You get the comforts of an API with the flexibility of PyTorch and 🤗 Transformers.

Thanks for subscribing!

We will email you only if we have really exciting updates.

Top contributors right now:

Loading... Oops, can't load the network status... • and more

Follow development in Discord or via email:

We send updates once a few months. No spam.

Submitting...

We sent you an email to confirm your address. Click it and you're in!

Featured on:

This project is a part of the BigScience research workshop.

像使用 BitTorrent 一样在本地运行大型语言模型 Run large language models at home, BitTorrent‑style

Thanks for subscribing!

像使用 BitTorrent 一样在本地运行大型语言模型
Run large language models at home, BitTorrent‑style