## GreenBoost：利用系统内存扩展GPU显存 - 摘要 GreenBoost项目旨在允许更大的语言模型在显存有限的GPU上运行，通过透明地利用系统内存和NVMe存储来实现。虽然GPU已经可以通过驱动程序卸载到系统内存，但这通常会导致不稳定，因为操作系统无法考虑到GPU的使用情况，可能触发OOM killer或崩溃。GreenBoost尝试通过DMA-BUF方法解决这个问题，赋予GPU直接访问系统内存的权限。 讨论强调，虽然当前性能较慢（由于内存带宽限制，速度为每秒1-5个token），但该项目的价值在于为未来的优化打开了可能性——可能通过架构更改、硬件调整或结合CPU计算。 人们对与CPU卸载或直接使用更大的GPU相比的性能下降，以及大量交换使用可能导致的SSD磨损表示担忧。然而，也有人指出它对诸如夜间处理或运行*几乎*能放入显存的模型等任务的用处，以及在速度不是主要问题的情况下，其在特定领域的应用潜力。值得注意的是，Nvidia已经在Windows上实现了类似的解决方案，但性能存在不足。