简介

Ollama 是一个专注于本地运行大型语言模型的命令行工具和服务器，旨在让用户能够轻松地在自己的电脑上部署和运行各种开源 LLM。它提供了简单的命令行界面来下载、运行和管理模型，是目前最流行的本地 LLM 运行工具之一。

开源项目：GitHub 仓库

主要功能

• 简单命令行：通过简洁的命令下载、运行和管理模型，无需复杂配置。
• 模型库支持：内置模型市场，提供 Llama 2/3、Mistral、Gemma、CodeLlama 等多种模型。
• API 服务：提供 OpenAI 兼容的 REST API，便于其他应用集成。
• GPU 加速：自动识别并利用 NVIDIA 和 Apple Silicon GPU 加速推理。
• 多平台支持：支持 macOS、Linux、Windows 系统。
• 模型自定义支持通过 Modelfile 自定义模型行为和提示词。
• 并发处理：支持多请求并发处理，适合生产环境使用。

适用场景

Ollama 适用于多种场景：本地开发测试——开发者快速测试和调试 LLM 应用；隐私敏感应用——处理敏感数据时完全离线运行；AI 应用后端——为 Web 应用或桌面应用提供本地 LLM 能力；研究和实验——研究人员进行模型实验和评估；个人助手——作为日常使用的 AI 对话工具。

安装与使用

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

# Windows
# 访问 https://ollama.com 下载安装包

# 拉取并运行模型
ollama run llama3

# 拉取模型（不运行）
ollama pull llama3

# 查看已下载的模型
ollama list

# 删除模型
ollama rm llama3

# Ollama 默认在 http://localhost:11434 提供 API

# 调用示例
curl http://localhost:11434/api/generate 
  -d '{"model": "llama3", "prompt": "你好"}'

# 创建 Modelfile
FROM llama3
PARAMETER temperature 0.7
SYSTEM "你是一个有帮助的助手，使用中文回答问题。"

# 创建自定义模型
ollama create my-assistant -f Modelfile

# 运行自定义模型
ollama run my-assistant

同类工具对比

官网与入口

官网：https://ollama.com

GitHub：https://github.com/ollama/ollama

使用方式：提供命令行工具安装，支持 macOS、Linux、Windows。可通过命令行直接运行模型，也可启动 API 服务供其他应用调用。

价格与版本

Ollama 本身完全免费使用，模型文件也免费下载，仅需考虑硬件成本

使用技巧

常见问题

小结