| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
（评论） (comments)
原始链接: https://news.ycombinator.com/item?id=39119198
hnswlib 是专门为与分层 Navie Kmeans 算法或 hnsw 聚类技术一起使用而构建的 Python 包，用于实现余弦相似性搜索和使用 k-means 聚类训练词嵌入。 虽然从技术上讲它可以在需要少量移植的设备上运行，但它通常部署在后端服务器环境中。 直接在移动或物联网设备上运行复杂的聚类或矢量搜索算法通常是为具有特定计算要求的特殊用途应用程序保留的，例如实时视频分类或对象跟踪算法。 正如给定材料中提到的，人们正在努力开发可能在边缘环境上运行的 hnswlib 轻量级版本，但这些版本仍处于开发阶段，目前尚未在主流消费应用程序中广泛采用。 尽管如此，与将所有处理任务发送到云或后端服务器相比，在设备上运行推理或计算可以带来更低的延迟和能源效率优势，具体取决于特定的架构和用例。 总体而言，目标是实现高精度和快速响应时间，同时最大限度地减少计算复杂性和资源消耗，从而无论设备位置或网络条件如何，都能提供无缝且响应迅速的体验。
相关文章
原文
I think there's space for a much more interesting product that is longer-lived (since it's harder to implement than just cosine-similarity-search on vectors), which is:
1. Fine-tuning OSS embedding models on your real-world query patterns
2. Storing and recomputing embeddings for your data as you update the fine-tuned models.
MTEB averages are fine, but hardly anyone uses the average result: most use cases are specialized (i.e. classification vs clustering vs retrieval). The best models try to be decent at all of those, but I'd bet that finetuning on a specific use case would beat a general-purpose model, especially on your own dataset (your retrieval is probably meaningfully different than someone else's: code retrieval vs document Q&A, for example). And your queries are usually specialized! People using embeddings for RAG are generally not also trying to use the same embeddings for clustering or classification; and the reverse is true too (your recommendation system is likely different than your search system).
And if you're fine-tuning new models regularly, you need storage + management, since you'll need to recompute the embeddings every time you deploy a new model.
I would pay for a service that made (1) and (2) easy.
reply