本教程说明如何使用 vLLM 通过张量并行(TP=2)在两台 NVIDIA DGX Station 上本地服务 NVIDIA 753B 参数 GLM-5.3 NVFP4 模型。由于约 464 GB 的 checkpoint 超过单个 GB300 GPU 的内存,权重会拆分到两块 GPU 上,同时两台 Station 参与每次请求的计算;Station A 提供单个 OpenAI 兼容 API。设置包括通过 ConnectX-8 RDMA 连接 Station、创建环境变量、验证网络/时间/GPU 状态、在两个节点上下载并校验 checksum 的 checkpoint,以及启动配对的 vLLM rank。启动后,健康检查和 RDMA 检查确认 GPU 直连通信,随后通过聊天请求验证推理。基准测试使用 AIPerf 与 SPEED-Bench Coding 提示词在不同并发下进行;结果显示吞吐量在 C16 时达到峰值 607.8 tok/s,而延迟和每用户吞吐量在 C32 时变差。最后,容器可以停止并重新启动,checkpoint 保持不变。该端点支持在本地、私有且免费的环境下进行前沿规模模型实验。
新网页仓库中过度使用 ↗ 主要似乎由 AI 模型驱动,尤其是 OpenAI Codex。对约 4,000 个公共 GitHub 仓库的抽样发现,箭头占比从约 4.6%(2025 年 11 月–2026 年 3 月)上升到 18.1%(2026 年 9 月 3 日–11 月 7 日)。Claude 归属的 UI 提交在 Opus 4.8 时于 5 月达到峰值 9.7%,随后随 Opus 5.5 降至约 2%。Codex 归属的提交上升更多,从 3 月的 0% 到 9–11 月的约 26%,后续 GPT-6/Astra 时代最高。总体而言,约四分之一的 Codex UI 提交添加了箭头。在小样本中,Codex 箭头 63% 的时间指向内部链接,而 Claude 为 33%。结果来自公共 AI 归属提交和筛选后的 UI 相关变更,因此主要反映 LLM 编写的落地页。
作者正在评估旧智能手机,作为需要高分辨率相机、GPS、存储和灯光控制的项目的树莓派方案替代品。已root的Redmi 13C 5G和Huawei Mate 30 5G提供50MP/40MP相机,以及内置GPS、存储、电池、移动数据和触摸屏,并可通过USB-C连接灯光控制器。二手手机价格便宜,但采购数百台时,电池和相机表现的一致性仍不确定。作者已对Redmi进行root并测试,计划与Arducam进行相机对比,并看到了在数字艺术装置中的更广泛应用:配置好的手机可发货、插入电源,并经移动数据远程管理。
本仓库是一个用于研究的血糖预测模型“动物园”(多为 AI 编写的代码)。作者的 T1DMAI 是一个 31k 参数的仅编码器 Transformer,可预测未来 2 小时(DILATE 或 MSE 变体),先在合成 CGM 轨迹上训练,再可选地用小型 LoRA 适配器微调。它仅用于研究,不是医疗器械。基准测试使用作者的 115 天数据集和 MetaboNet(279 名受试者)。在个人数据上,T1DMAI+LoRA 排名第 3(RMSE 22.8),落后于 XGBoost/LightGBM(约 22.2–22.4);在 MetaboNet 上排名第 9(34.6),但拥有最低的 90 分钟 RMSE。LoRA 改善了 RMSE 和校准;T1DMAI+LoRA 在个人数据上反应最早,并捕获最多低血糖;而 MetaboNet 上低 RMSE 模型几乎错过所有低血糖。辅助工具包括 T1DMSIM(合成轨迹)和 T1DMDROID(手机推理)。