Ollama+DeepSeek本地部署教程

环境准备

1. 操作系统：
   • 支持 macOS、Linux（推荐 Ubuntu/Debian）或 Windows（需 WSL2）。
   • 确保系统已安装最新驱动和依赖库。
2. 硬件要求：
   • CPU：建议至少 4 核以上。
   • 内存：16GB+（7B 模型需 8GB+，13B 模型需 16GB+）。
   • GPU（可选）：NVIDIA GPU（支持 CUDA）或 AMD GPU（支持 ROCm）可显著加速推理。
3. 依赖安装：
   • 安装 Docker（可选，用于容器化部署）。
   • 确保已安装 curl、wget 等基础工具。

步骤 1：安装 Ollama

Ollama 是一个开源工具，支持在本地运行和部署大型语言模型。

Linux/macOS 安装

# 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh

Windows 安装

1. 安装 WSL2 并配置 Linux 子系统（如 Ubuntu）。
2. 在 WSL2 中执行上述 Linux 安装命令。

验证安装

ollama --version
# 启动服务（默认端口 11434）
ollama serve

步骤 2：获取 DeepSeek 模型

DeepSeek 模型需转换为 Ollama 支持的格式（如 GGUF）。以下是两种方法：

方法 1：通过 Ollama 官方库（若支持）

1. 查看支持的模型列表：

ollama list

若官方库已提供 DeepSeek 模型，直接拉取：

ollama pull deepseek-7b

方法 2：手动下载模型文件

1. 从 HuggingFace 或官方渠道下载 GGUF 格式的 DeepSeek 模型（如 deepseek-7b.Q4_K_M.gguf）。
2. 将模型文件保存到本地目录（如 ~/models/）。

步骤 3：创建 Modelfile

在模型文件同级目录创建 Modelfile，定义模型配置：

FROM ~/models/deepseek-7b.Q4_K_M.gguf
PARAMETER temperature 0.7
SYSTEM """
You are DeepSeek-R1, an AI assistant developed by DeepSeek.
"""

步骤 4：构建并运行模型

1. 构建自定义模型：

   ollama create deepseek-custom -f Modelfile

2. 启动模型：

   ollama run deepseek-custom

3. 测试对话：

   >>> 你好，我是谁？

   高级配置

   GPU 加速

   • NVIDIA GPU：安装 CUDA 驱动和 nvidia-container-toolkit（Docker 用户）。
   • AMD GPU：安装 ROCm 驱动。
   • 启动时添加 --gpu 参数：

PARAMETER num_ctx 4096  # 上下文长度
PARAMETER num_gpu 1     # 使用 GPU 数量

常见问题

1. 模型无法加载：
   • 检查模型文件路径和格式（必须为 GGUF）。
   • 查看日志：journalctl -u ollama（Linux）或 ollama serve 输出。
2. 推理速度慢：
   • 启用 GPU 加速。
   • 降低量化等级（如使用 Q4 代替 Q8）。
3. 内存不足：
   • 使用更低参数的量化模型（如 Q2_K）。
   • 增加系统虚拟内存（Swap）。

资源推荐

• Ollama 官方文档：https://ollama.ai/
• DeepSeek 模型仓库：https://huggingface.co/deepseek-ai
• 社区支持：GitHub Issues、Discord 技术群组

通过以上步骤，你可以在本地高效部署 DeepSeek 模型并结合 Ollama 进行交互。如需进一步优化性能，建议根据硬件调整量化等级和推理参数。