本文介绍ollama的搭建部署以及基本使用，选用版本为此文完成时间(2025年3月)的最新正式版本v0.5.12。
ollama与LLM简介
ollama简介
Ollama是部署和运行大语言模型(Large Language Model,LLM)的开源框架，本地便捷部署私有化使用可不依赖于网络，且支持多种语言模型，支持模型微调与自定义。ollama使用GPU也可使用CPU运行。
LLM简介
大语言模型（LLM）是一种基于深度学习的人工智能模型，能够处理和生成自然语言文本。它们通常由数十亿到数千亿个参数组成，训练数据涵盖了大量的文本数据，如书籍、文章、网站内容等。
Ollama部署
硬件配置要求
- GPU（显卡）： NVIDIA GPU（如 RTX 30/40 系列）、Apple M1/M2/M3/M4 芯片。
- CPU：如果没有强大的 GPU，Ollama 也可以在 CPU 上运行，最低四核及以上。
- 内存：大语言模型通常需要较高的内存（如 16GB 或 32GB，最低8GB），否则可能会因内存不足而崩溃或速度下降。
- 存储 ：模型加载速度依赖于磁盘速度，使用 SSD 远优于 HDD。
- 操作系统：Windows / macOS / Linux
需注意，由于 Ollama 主要面向 macOS 和 Linux，Windows 运行时需要WSL 2（Windows Subsystem for Linux），若无 WSL 2，Ollama 在 Windows 上可能无法运行。
部署安装
安装方式
在ollama官网https://ollama.com/download下在并安装，选择对应的操作系统。
Linux的一键脚本进行安装
curl -fsSL https://ollama.com/install.sh | sh
docker的拉取镜像安装
#拉取镜像
docker pull ollama/ollama
#运行容器
docker run -p 11434:11434 ollama/ollama
ollama使用及命令
ollama基本命令
#查看帮助
ollama -h
#查看版本
ollama -v
#下载模型 <model-name>替换成对应模型
ollama pull <model-name>
#删除模型
ollama rm <model-name>
#运行模型(若未下载模型会自动下载并运行) <model-name>替换成对应模型
ollama run <model-name>
#运行模型举例
ollama run deepseek-r1:7b
ollama run qwen2.5-coder:14b
#列出本地所有模型
ollama list
#列出正在运行的模型
ollama ps
#查看模型状态
ollama status <model-name>
#启动ollama服务
ollama serve
#停止ollama服务
ollama stop
#重启ollama服务
ollama restart
#更新ollama
ollama update
#查看日志
ollama logs
#清理缓存
ollama clean
ollama使用
运行完模型后，已经可以在控制台命令行进行对话。也可以通过友好的交互界面来进行交互使用
Open WebUI
Open WebUI是一个开源的大模型交互web应用，可以接入本地大模型及外部 openai api，open-webui的GitHub页面
ollama局域网开放端口
ollama默认端口11434，需要把 11434 端口进行放行，可以让局域网或互联网上任何设备进行访问。还需要设置环境变量 OLLAMA_HOST 变量值为 0.0.0.0:11434
ollama全环境变量
| 环境变量 | 示例 | 说明 |
| OLLAMA_HOST | 0.0.0.0:11434 | 服务监听地址与端口 |
| OLLAMA_PORT | 11434 | 修改默认端口 |
| OLLAMA_MODELS | \ollama\model | 自定义模型存储路径 |
| OLLAMA_KEEP_ALIVE | 24h | 模型在内存中存活时间 |
| OLLAMA_NUM_PARALLEL | 2 | 并发处理请求数 |
| OLLAMA_GPU_OVERHEAD | 1024000000 | 利用RAM/VRAM混合加载大模型(示例1G) |
| OLLAMA_MAX_LOADED_MODELS | 2 | 同时加载模型数量 |
Windows 设置环境变量
- 首先，通过在任务栏中单击它来退出 Ollama。
- 启动设置 （Windows 11） 或控制面板 （Windows 10） 应用程序并搜索环境变量。
- 单击 Edit environment variables（编辑您账户的环境变量）。
- 编辑或为您的用户帐户创建新变量 、 等。OLLAMA_HOST OLLAMA_MODELS
- 单击 确定/应用 保存。
- 从 Windows 开始菜单启动 Ollama 应用程序。
Linux 设置环境变量
Ollama 作为 systemd 服务运行
#编辑 systemd 服务
systemctl edit ollama.service
对于每个环境变量，在下面进行添加
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
保存并退出后，重新加载并重新启动 Ollama
systemctl daemon-reload
systemctl restart ollama
Mac 设置环境变量
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
输入命令后，重新启动 Ollama 应用程序
ollama模型存储默认路径
- MacOS：~/.ollama/models
- Linux：/usr/share/ollama/.ollama/models
- Windows：C:\Users\%username%\.ollama\models
