TL;DR: 本文提供本地大模型部署Ollama与LM Studio的详细操作步骤。主要内容包括环境准备、软件安装、模型下载与配置，以及最终验证，旨在SRE团队内部简化AI模型本地运行流程。
1. 前提条件与环境准备 (2024-08-20)
确保您的工作站满足以下硬件和软件要求。此指南基于Windows 10/11和macOS Ventura+环境编写。
1.1 硬件要求
- CPU: 物理核心数量 ≥ 8，主频 ≥ 2.5 GHz。（推荐 Intel i7-10700K 或 AMD Ryzen 7 3700X 同等或更高性能）
- RAM: ≥ 16 GB DDR4，推荐 32 GB。
- GPU: Nvidia GPU (CUDA 兼容，计算能力 ≥ 5.0，显存 ≥ 8 GB)，或 AMD GPU (ROCm 兼容，显存 ≥ 8 GB)。Intel Arc GPU 也支持。若无独立显卡，仍可进行CPU推理，但性能显著下降。
- 存储: SSD ≥ 200 GB可用空间，用于存储模型文件。
1.2 软件要求
- 操作系统: Windows 10/11 (64-bit) 或 macOS 13 (Ventura) 及更高版本。
- 驱动程序: 确保显卡驱动为最新版本。
2. Ollama 本地部署与模型管理
Ollama提供了一种简化大模型本地运行的方案。
2.1 Ollama 安装
根据您的操作系统下载并安装Ollama。本指南以Windows为例。
- 访问Ollama官方网站。
- 下载适用于Windows的安装程序（例如，
Ollama-0.1.x-installer.exe，版本以实际为准）。 - 运行安装程序，按照提示完成安装。默认安装路径为
C:\Users\。\AppData\Local\Ollama
2.2 模型下载与运行
安装完成后，可以通过命令行拉取并运行模型。以Llama 2为例。
ollama pull llama2预期输出:
pulling manifest
pulling 37ad8b1a3297... 100%|██████████████████████████████████████████████████████████████████████████████████████████| (4.1/4.1 GB, 72 MB/s)
pulling 2e361cf57b98... 100%|██████████████████████████████████████████████████████████████████████████████████████████| (1.5 KB/1.5 KB, 32 KB/s)
pulling 8dd801e71239... 100%|██████████████████████████████████████████████████████████████████████████████████████████| (107 B/107 B, 2 KB/s)
pulling 6b1979b939f6... 100%|██████████████████████████████████████████████████████████████████████████████████████████| (107 B/107 B, 2 KB/s)
pulling 14b434479907... 100%|██████████████████████████████████████████████████████████████████████████████████████████| (48 B/48 B, 1 KB/s)
setting a502d99c4c53 as current version
success
运行模型进行文本交互:
ollama run llama2预期输出（进入交互模式，可输入文本进行对话）:
>>> Send a message (/? for help)
>>> 你好
Note: Ollama模型文件默认存储在 ~/.ollama/models 目录下。
3. LM Studio 本地部署与图形界面交互
LM Studio提供图形用户界面，简化模型搜索、下载和推理过程。
3.1 LM Studio 安装
- 访问LM Studio官方网站。
- 下载适用于您的操作系统的安装程序（例如，
LM-Studio-0.2.x.exe，版本以实际为准）。 - 运行安装程序，按照提示完成安装。
3.2 模型下载与加载
- 启动LM Studio。
- 在左侧导航栏选择“Home”或“Search”选项。
- 在搜索栏输入您需要的模型名称，例如“llama 2”。
- 选择一个合适的模型（通常选择GGUF格式，例如“TheBloke/llama-2-7B-Chat-GGUF”），点击右侧的“Download”按钮。
- 模型下载完成后，切换到“My Models”选项卡。
- 选择您下载的模型，点击“Load”按钮将其加载到内存中。
Warning: 加载大型模型需要大量内存和显存。确保设备资源充足，否则可能导致应用程序崩溃或推理速度缓慢。
3.3 模型推理与验证
- 模型加载成功后，点击左侧导航栏的“Chat”选项。
- 在聊天界面输入您的查询，开始与本地模型进行交互。
验证：输入一个简单问题，例如“Write a short poem about technology.”，观察模型是否能正确生成回复。响应时间应在数秒到数十秒之间，具体取决于模型大小和硬件性能。
4. 故障排查与优化
4.1 常见问题
- 模型加载失败: 检查显存/内存是否不足。尝试加载更小的模型版本。
- 推理速度慢: 确保GPU驱动是最新的。在LM Studio中尝试调整推理设置，例如减少上下文长度。
- Ollama服务无法启动: 检查端口占用情况，Ollama默认使用11434端口。
4.2 性能优化建议
- 量化模型: 优先选择Q4_K_M或Q5_K_M等量化程度较高的GGUF模型，可在保持一定精度的前提下显著降低显存和内存消耗，并提升推理速度。
- GPU加速: 确保LM Studio或Ollama能够正确识别并利用您的GPU。对于Nvidia GPU，确保CUDA Toolkit已安装并配置正确。
5. 结论 (2024-08-20)
通过Ollama和LM Studio，团队成员可以便捷地在本地部署和管理大模型，进行离线AI推理。这对于涉及敏感数据或无网络环境下的开发和测试工作至关重要。对于追求性能极致的进阶用户，可考虑利用商都加速器的GPU算力服务进行远程部署。
References
- Ollama官方文档:
https://ollama.com/docs - LM Studio官方网站:
https://lmstudio.ai/ - 商都加速器:
https://wizzegroup.com