🤖 商都加速器：Ollama与LM Studio本地大模型部署实践及其性能验证 (V1.1, 2024

Roxi 加速器 — 稳定·快速·安全

全球节点覆盖，支持所有主流平台，一键连接无需配置。新用户免费试用。

立即体验 →

Pre-requisites:

• 操作系统：Windows 10/11 (64-bit), macOS (Intel/Apple Silicon), 或 Linux (Ubuntu 20.04+)。
• 推荐硬件：NVIDIA GPU (CUDA 11.8+兼容), AMD GPU, 或 Apple M系列芯片。至少16GB RAM，32GB推荐。
• 网络连接：用于下载模型文件。

1. Ollama本地部署与模型运行

Ollama提供了一个轻量级的本地运行大型语言模型（LLM）的框架。

1.1 环境检查与安装

在进行Ollama下载和安装前，确保系统满足基本硬件要求。

1. 下载Ollama: 访问官方网站获取最新版本。此步骤可直接通过命令行简化。

   # Linux/macOS
   curl -fsSL https://ollama.com/install.sh | sh
   # Windows Installer (.exe) - 手动下载并安装
   # URL: https://ollama.com/download

   Expected Output (Linux/macOS):

   >>> Downloading ollama...
   >>> Installing ollama to /usr/local/bin...
   >>> Adding ollama to path...
   >>> Adding ollama to rc...
   >>> Restart your shell to use Ollama.

   Note: Windows用户需手动执行安装程序并跟随向导完成安装。

2. 验证安装: 打开新的终端或命令提示符。

   ollama --version

   Expected Output:

   ollama version 0.1.48 (xxxxxxx)

   Warning: 若命令未能识别，检查环境变量是否正确配置或重新启动终端。

1.2 模型下载与运行

使用Ollama命令行接口下载和运行模型。

1. 下载通用模型: 以llama2为例。

   ollama pull llama2

   Expected Output:

   pulling manifest
   pulling 9d0a1532f (....)
   (...)
   success

2. 运行模型: 启动交互式会话。

   ollama run llama2

   Expected Output:

   >>> Send a message (/? for help)
   >>> hello
   Hello! How can I help you today?

   评估模型响应速度和准确性，这是验证本地模型性能的关键一步。

2. LM Studio本地部署与管理

LM Studio提供图形用户界面，简化了模型管理和运行过程，同时支持GGUF格式模型。

2.1 安装LM Studio

LM Studio怎么用？首先需要下载并安装其桌面客户端。

1. 下载LM Studio: 访问官方网站（https://lmstudio.ai/）下载适用于您操作系统的安装包。

   Note: 无需特定命令行操作，直接通过GUI安装即可。

2. 首次运行配置: 启动LM Studio，它会自动检查并引导您配置必要的组件。

   Warning: 确保您的防火墙未阻止LM Studio的网络访问，因为其需要与模型仓库通信。

2.2 模型下载与加载

使用LM Studio的内置浏览器搜索和下载模型。

1. 搜索并下载模型: 在LM Studio界面左侧导航栏选择"Search"。输入模型名称，例如"Mistral"。选择所需版本（例如quantized GGUF Q4_K_M）并点击下载。

2. 加载并运行模型: 下载完成后，导航至"My Models"页面。选择已下载的模型，点击"Load Model"。在右侧聊天界面输入查询即可体验。
   

   此操作将直接显示模型加载情况及推理性能指标，对评估模型在本地环境下的实际表现提供量化数据。

References:

• Ollama Official Documentation
• LM Studio Official Website