英伟达 GreenBoost:透明地使用系统内存/NVMe 扩展 GPU 显存
Nvidia greenboost: transparently extend GPU VRAM using system RAM/NVMe

原始链接: https://gitlab.com/IsolatedOctopi/nvidia_greenboost

``` N nvidia_greenboost 项目信息 34 次提交 1 分支 0 标签 README LICENSE 创建于 2026年3月14日 加载中 ```

## GreenBoost:利用系统内存扩展GPU显存 - 摘要 GreenBoost项目旨在允许更大的语言模型在显存有限的GPU上运行,通过透明地利用系统内存和NVMe存储来实现。虽然GPU已经可以通过驱动程序卸载到系统内存,但这通常会导致不稳定,因为操作系统无法考虑到GPU的使用情况,可能触发OOM killer或崩溃。GreenBoost尝试通过DMA-BUF方法解决这个问题,赋予GPU直接访问系统内存的权限。 讨论强调,虽然当前性能较慢(由于内存带宽限制,速度为每秒1-5个token),但该项目的价值在于为未来的优化打开了可能性——可能通过架构更改、硬件调整或结合CPU计算。 人们对与CPU卸载或直接使用更大的GPU相比的性能下降,以及大量交换使用可能导致的SSD磨损表示担忧。然而,也有人指出它对诸如夜间处理或运行*几乎*能放入显存的模型等任务的用处,以及在速度不是主要问题的情况下,其在特定领域的应用潜力。值得注意的是,Nvidia已经在Windows上实现了类似的解决方案,但性能存在不足。
相关文章

原文

nvidia_greenboost

联系我们 contact @ memedata.com