Ollama

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

macOS

Download

Windows

Download

Linux

curl -fsSL https://ollama.com/install.sh | sh

手动安装说明

Docker

官方 Ollama Docker 镜像 ollama/ollama 可在 Docker Hub 上获取。

Libraries

• ollama-python
• ollama-js

社区

• Discord
• Reddit

Quickstart

To run and chat with Gemma 3:

ollama run gemma3

Model library

Ollama 支持 ollama.com/library 上提供的一系列模型。以下是一些可供下载的示例模型：

[!NOTE]
您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，以及 32 GB 来运行 33B 型号。

自定义模型

Import from GGUF

Ollama 支持在 Modelfile 中导入 GGUF 模型：

1. Create a file named Modelfile, with a FROM instruction with the local filepath to the model you want to import.

   复制代码

   FROM ./vicuna-33b.Q4_0.gguf

2. Create the model in Ollama

   shell 复制代码

   ollama create example -f Modelfile

3. Run the model

   shell 复制代码

   ollama run example

Import from Safetensors

请参阅导入模型的指南以了解更多信息。

Customize a prompt

您可以使用提示自定义 Ollama 库中的模型。例如，要自定义 llama3.2 模型：

ollama pull llama3.2

Create a Modelfile:

FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

Next, create and run the model:

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

有关使用 Modelfile 的更多信息，请参阅 Modelfile 文档。

CLI Reference

Create a model

ollama create 用于从 Modelfile 创建模型。

ollama create mymodel -f ./Modelfile

Pull a model

ollama pull llama3.2

此命令也可用于更新本地模型。仅提取差异部分。

Remove a model

ollama rm llama3.2

Copy a model

ollama cp llama3.2 my-model

Multiline input

For multiline input, you can wrap text with """:

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

Multimodal models

ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"

输出：图像上有一张黄色的笑脸，这可能是图片的中心焦点。

Pass the prompt as an argument

ollama run llama3.2 "Summarize this file: $(cat README.md)"

输出：Ollama 是一个轻量级、可扩展的框架，用于在本地机器上构建和运行语言模型。它提供了用于创建、运行和管理模型的简单 API，以及一个可在各种应用程序中轻松使用的预构建模型库。

Show model information

ollama show llama3.2

List models on your computer

ollama list

List which models are currently loaded

ollama ps

Stop a model which is currently running

ollama stop llama3.2

Start Ollama

当您想要在不运行桌面应用程序的情况下启动 ollama 时，使用“ollama serve”。

Building

See the developer guide

Running local builds

Next, start the server:

./ollama serve

Finally, in a separate shell, run a model:

./ollama run llama3.2

REST API

Ollama 有一个用于运行和管理模型的 REST API。

Generate a response

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

Chat with a model

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'