Ollama 现已在 Windows 上提供预览版

Ollama 现已在 Windows 上提供预览版
Ollama is now available on Windows in preview

原始链接: https://ollama.com/blog/windows-preview

Ollama 是一个功能强大且用户友好的平台，允许创建、拉动和运行大型语言模型，现在有 Windows 版本的预览版。通过其内置 GPU 加速以及对 AVX 和 AVX2 等 CPU 指令集的支持，可以访问更多硬件选项。此次更新带来了完整的 Ollama 模型库，它提供了无与伦比的多功能性，特别是在将 LLaVA 1.6 等视觉模型合并到消息中时。此外，Ollama 始终在线的 API 提供与工具和应用程序的无缝集成，只需一行代码即可轻松使用。要在 Windows 上下载并开始使用 Ollama，只需访问他们的网站，从首选终端运行 ollama run llama2，然后等待新版本出现更新即可。请向我们提供您的反馈，无论是通过提出问题还是参与我们活跃的 Discord 社区。

注意：此条目是由机器生成的。如果有任何疑问，请联系我们。根据讨论，值得进一步探讨的几点是： 1. 与使用服务器托管相比，本地运行 LLM 模型的效率如何，特别是考虑资源使用（RAM、CPU、GPU）、客户端和服务器之间的延迟、资源可用性、可靠性以及设备架构（例如 x86）之间的兼容性等因素 Linux 和 Windows 系统）？是否存在首选或必要的特定用例或场景？ 2. 哪些工具、技术或实践可以增强或简化基于 LLM 的工作流程的实施和管理，特别是在打字或编辑过程中自动完成或完成想法的问题，例如优化单词选择或根据所选来源合成新颖的句子材料？ 3. 在处理特定的语言领域、风格、流派或语域时，无论是在自然性、准确性、流畅性、惯用性还是文化敏感性方面，存在哪些类型的限制、障碍或挑战，以及哪些方法可以解决或减轻这些限制、障碍或挑战限制？例如，处理反映地区差异的词形变化、习语和方言，适应某些子群体中常用的口语表达，或者适应与标准化语法规则明显不同的特殊语音模式。这些主题可以深入探讨从技术可行性到认知人体工程学、计算效率到算法可扩展性、科学有效性到工程实用性、社会影响到经济前景、理论观点到经验证据等方面的见解。总的来说，这里提出的讨论为这个快速发展的领域的新兴研究趋势和未来探索方向提供了令人着迷的见解。

原文

Ollama is now available on Windows in preview, making it possible to pull, run and create large language models in a new native Windows experience. Ollama on Windows includes built-in GPU acceleration, access to the full model library, and the Ollama API including OpenAI compatibility.

Hardware acceleration

Ollama accelerates running models using NVIDIA GPUs as well as modern CPU instruction sets such as AVX and AVX2 if available. No configuration or virtualization required!

Full access to the model library

The full Ollama model library is available to run on Windows, including vision models. When running vision models such as LLaVA 1.6, images can be dragged and dropped into ollama run to add them to a message.

Always-on Ollama API

Ollama’s API automatically runs in the background, serving on http://localhost:11434. Tools and applications can connect to it without any additional setup.

For example, here’s how to invoke Ollama’s API using PowerShell:

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Ollama on Windows also supports the same OpenAI compatibility as on other platforms, making it possible to use existing tooling built for OpenAI with local models via Ollama.

Get started

To get started with the Ollama on Windows Preview:

Download Ollama on Windows
Double-click the installer, OllamaSetup.exe
After installing, open your favorite terminal and run ollama run llama2 to run a model

Ollama will prompt for updates as new releases become available. We’d love your feedback! If you encounter any issues please let us know by opening an issue or by joining the Discord server.