## Utilyze:精确的GPU利用率监控
Utilyze是Systalyze开发的一款工具,它比标准的`nvidia-smi`或`nvtop`等工具提供更精确的GPU效率衡量标准。与那些只能指示GPU是否*繁忙*的工具不同,Utilyze直接读取性能计数器来显示工作负载实际使用了多少GPU的*容量*。
它会根据您的硬件、模型和工作负载估算可达到的利用率限制,帮助识别潜在的性能瓶颈。目前,Utilyze支持vLLM以及NVIDIA Ampere或更新型号GPU(A100、H100等)上的部分模型,需要CUDA Toolkit 11.0+。
Utilyze适用于Linux、macOS和Windows(后两者作为连接到Linux服务器的客户端)。安装通过脚本非常简单,但完全的性能分析可能需要root/管理员权限。它会匿名收集GPU配置数据以改进指标(可以禁用)。
了解更多:[https://systalyze.com/utilyze/](https://systalyze.com/utilyze/)
## Thoth:您的本地优先AI助手
Thoth是一款桌面AI助手,优先考虑**个人AI主权**——保持您的数据私密且在您的控制之下。它使用Ollama运行39个精选模型,或者可选地连接到OpenAI、Anthropic和Google AI等云服务提供商,如果您需要或没有GPU。无需账户或服务器连接;API密钥由您的操作系统安全存储。
**主要特点:**
* **知识图谱:** 以链接实体形式存储信息,而不仅仅是聊天记录,可导出到Obsidian。
* **设计工作室:** 利用AI驱动的图像/视频生成创建演示文稿、文档和原型。
* **强大工具:** 访问30多个工具,包括网页浏览、shell命令(带安全控制)、文件管理和消息应用程序(Telegram、WhatsApp、Slack等)。
* **自动化工作流程:** 安排任务、触发操作和管理复杂流程。
* **可扩展性:** 插件和外部工具连接扩展功能,而不会损害控制权。
**安装简单:** Windows和macOS一键安装程序,无需编码。Thoth提供强大的、私密的AI体验,与基于云的助手形成对比,优先考虑本地处理和用户控制。
**了解更多:** [https://github.com/siddsachar/Thoth](https://github.com/siddsachar/Thoth)
这个项目是一个基于浏览器的各向异性高斯飞溅生成器,利用了苹果的SHARP技术。用户可以上传单张图片,直接在浏览器中生成3D各向异性高斯飞溅表示,预览结果,并将其下载为.ply文件。
它需要Bun进行设置,以及现代浏览器(推荐Chrome/Edge),并需要足够的磁盘空间(约2.4GB)来存储SHARP模型。该项目使用ONNX Runtime Web进行推理,并包含一个React/TypeScript用户界面。
**关键点:**
* **许可:** 苹果SHARP的代码和模型权重有单独的许可协议——权重有研究限制。
* **模型文件:** 需要同时提供`.onnx`和`.onnx.data`文件,并且它们必须从同一个文件夹提供服务。默认情况下使用托管模型。
* **性能:** 基于浏览器的推理需要大量资源;性能因硬件和浏览器支持而异。
* **设置:** 在使用之前,需要克隆SHARP仓库并将模型导出为ONNX格式。
这是一个实验性原型,提供了一种探索各向异性高斯飞溅生成,而无需外部依赖的便捷方式,但性能可能有限。