为了以低成本扩展本地大语言模型的能力,作者绕过了昂贵的消费级显卡,购买了一块二手的 Tesla V100(16GB)数据中心 GPU,价格为 150 英镑,另加 50 英镑购买了一个 SXM2 转 PCIe 转接卡。这套配置与现有的 RTX 4080 搭配使用,可提供总计 32GB 的显存,使用户能够以每秒 32 个 token 的速度运行强大的 27B 参数模型(如 Qwen3.6)。
V100 的 HBM2 内存比许多现代消费级显卡具有更高的带宽,使其成为大语言模型推理的理想选择。虽然 V100 专为服务器机架设计,需要通过跳线进行自定义风扇管理以抑制其 82 分贝的噪音,但作者已成功将其集成到消费级个人电脑中。
通过使用 NixOS,作者解决了遗留驱动程序的需求,构建了一个稳定且可复现的环境。通过将模型分配给这套多 GPU 系统,作者实现了与高端云服务相媲美的性能,而成本仅为后者的一小部分。这种“服务器级硬件”方案证明了在本地人工智能任务中,无需支付像 RTX 5090 这样的旗舰消费级显卡那数千英镑的高价,也能获得大容量显存。
Samuel Fitoussi
《为什么知识分子会失败》一书的作者(法文版,但多语种译本即将推出!),书中探讨了人类如何(误)用智慧。Frst 创投基金合伙人。我主要在此分享关于人工智能和技术的见解。
Samuel Fitoussi
2307 位订阅者
订阅
发送消息
作者患有 1 型糖尿病已有 27 年。最近在圣达菲度假期间,其胰岛素泵出现故障,经历了一周的惊险时刻。尽管这种设备是维持生命所必需,但作者却坦言,自己对这些机器以及掌控它们的制造商,怀有一种复杂且愤恨的心理。
胰岛素泵反复触发“药筒警报”,迫使作者每天不得不为了排气而浪费胰岛素。由于准备不足——从未随身携带备用的长效胰岛素,作者只能在设备故障的情况下勉强维持行程,依靠各种变通方法才避免了前往急诊室。试图通过医疗服务提供者获取备用药物的尝试,也因沟通不畅和地区药店缺货而受阻。这使得作者在返回洛杉矶之前,不得不一边管理着故障的泵,一边在西南地区艰难应对。
最终,作者平安无事,并未造成严重的医疗后果,但这次磨难凸显了患者与医疗科技公司之间极度的权力失衡。展望未来,作者计划随身携带备用胰岛素笔,并在面对医疗支持系统时采取更主动、不再一味顺从的态度。作者也意识到,对维持生命的科技产生愤恨,是糖尿病患者与生俱来的负担。
目前使用编程智能体的方法——无论是任其自由运行还是手动监管每一步——都存在缺陷,要么导致输出质量低下,要么造成巨大的人力瓶颈。解决方案是实施**自动化背压(automated backpressure)**,即智能体在请求人工审核之前,必须对照预定义的防护机制自行验证其工作。
通过将自动化测试、Lint检查、类型检查、基准测试以及专门的“审核智能体”纳入智能体的迭代循环,我们迫使模型持续面对质量标准。这创建了一个自我纠错的循环,使智能体能够自行发现回归、逻辑错误和代码风格问题。
关键策略包括:
* **迭代验证:** 在每次补丁修改后而非仅在最后进行质量检查。
* **规划关卡:** 在编写任何代码之前先审查架构。
* **实施后监控:** 自动化PR监控以处理CI失败或合并冲突。
这种方法将人类的角色从捕捉机械错误的“昂贵剪贴板”转变为架构监督者。通过将低级正确性委托给自动化系统,我们实现了真正高效的AI辅助开发,确保只有高质量、经核实的代码才会提交给人工审核员。
在 Tidio、Intercom 和 Wexio 之间做选择,完全取决于您的团队规模、预算以及主要沟通渠道。
* **Tidio** 是**独立创始人和小型电商网店**(1-10 名员工)的理想选择。它提供美观、易用的网站插件和基础 AI(“Lyro”),价格亲民。但它缺乏处理复杂业务流程所需的高级逻辑功能。
* **Intercom** 是**大型 B2B SaaS 公司**(50 名以上员工)且预算充足时的行业标准。它提供了一个功能强大的销售与支持一体化平台,但其“Fin”AI 和基于席位的定价模式可能会导致极高且不可预估的月度成本。
* **Wexio** 专为**多渠道团队**打造,适用于客户主要通过 WhatsApp、Telegram 或 Instagram 进行沟通的场景。它采用透明的“自带密钥 (BYOK)”AI 模型,让您能够以远低于 Intercom 专有系统成本的价格使用高端 AI(如 GPT-4/Claude)。
**决策框架:**
* **以即时通讯软件用户为主?** 选择 Wexio。
* **预算有限的电商或仅限网站业务?** 选择 Tidio。
* **拥有销售团队的企业级 B2B?** 选择 Intercom。
请根据当前业务阶段匹配合适的工具复杂性,避免超支。
86Box v6.0 更新于 2026 年 5 月 31 日发布,带来了显著的易用性改进、更广泛的硬件支持以及现代化的用户界面。
**主要功能:**
* **网络连接:** 期待已久的本地交换机功能实现了模拟机之间无缝且与平台无关的网络互联。
* **增强连接性:** 升级了串行端口和并行端口支持,包括用于高速传输的命名管道连接,以及新的打印机/音频设备选项。
* **用户界面:** 设置和首选项界面经过全面重构,采用了标签页导航和搜索功能。工具栏现已包含快进和截图指令。
* **硬件扩展:** 此更新增加了 SCSI 磁带机模拟、新的硬盘读写音效以及多种 ISA 声卡。显卡列表已通过按芯片组分组的方式进行了精简。
* **兼容性:** 现已官方支持 Windows ARM64 版本。此外,macOS 的最低系统要求已提升至 10.14 (Mojave)。
**重要变更:**
快捷键绑定已迁移至系统全局首选项设置,这将重置各个机器的独立快捷键。请用户注意,对 Daemon Tools (MDS/MDX) 的新支持需要外部组件 (`mdsx.dll`),且部分旧版配置已更新以提高稳定性。