Stable Diffusion WebUI集成与模型定制：SRE图像生成优化实践 V1.0 (2024-11-01)

TL;DR: 本文档提供Stable Diffusion WebUI本地部署与模型微调（LoRA训练）的SOP。涵盖环境准备、安装步骤、常见问题排查及LoRA模型训练流程。适用于SRE团队进行AI图像生成任务的快速落地与定制化需求。

1. 前提条件

部署与微调Stable Diffusion WebUI (Automatic1111) 需要满足以下条件：

操作系统: Windows 10/11 或 Linux (Ubuntu 20.04+)
GPU: NVIDIA RTX 20系或更高，VRAM至少8GB。推荐12GB+。
驱动: NVIDIA GPU驱动版本522.25或更高。
Python: 3.10.6 (Python 3.10.6 下载)
Git: 最新版 (Git下载)
磁盘空间: 至少50GB空闲空间用于模型和环境。

2. Stable Diffusion WebUI 本地部署

本节详细说明如何在本地环境部署Automatic1111版本的Stable Diffusion WebUI。

2.1 环境准备与克隆仓库

确保已安装Python 3.10.6和Git。打开终端或命令提示符。

# 克隆Stable Diffusion WebUI仓库
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui

预期输出:

Cloning into 'stable-diffusion-webui'...
remote: Enumerating objects: ..., done.
remote: Total ..., done.
Receiving objects: ..., 100% (XXX/XXX), done.
Resolving deltas: ..., 100% (XXX/XXX), done.

2.2 启动WebUI

首次启动会自动安装所有Python依赖项。此过程可能耗时较长，具体取决于网络状况。

# 启动WebUI (Windows)
webui-user.bat

# 启动WebUI (Linux)
bash webui.sh

预期输出 (部分):

... (大量依赖安装信息)
Installing torch and torchvision
... (安装完成)
Launching Web UI with arguments: 
... (启动信息)
Local URL:  http://127.0.0.1:7860

Note: 如果遇到torch安装失败，可尝试手动安装：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 (CUDA 11.8示例)。

Warning: 避免在非Python 3.10.6环境下运行，可能导致依赖冲突。

3. 模型微调 (LoRA)

LoRA (Low-Rank Adaptation) 是一种高效的模型微调技术，允许在不修改原大模型权重的情况下，通过训练小型的适配器权重来改变生成风格或内容。

3.1 数据集准备

准备10-30张高质量、主题一致的图片，统一尺寸为512x512或768x768。图片文件名应包含关键词，例如：a_photo_of_sre_engineer.jpg。

# 创建数据集目录
mkdir -p training_data/my_sre_concept

# 将图片放入上述目录
# mv /path/to/my_images/*.jpg training_data/my_sre_concept/

3.2 启动LoRA训练

在WebUI界面中，导航至“训练” -> “训练 LoRA”。

模型名称: sre_concept_v1
训练图像目录: path/to/stable-diffusion-webui/training_data/my_sre_concept
训练步数: 1000-2000 (根据数据集大小调整)
学习率: 0.0001
分辨率: 512

点击“训练模型”。训练过程会在GPU上进行，并生成.safetensors文件。

Warning: 训练时确保GPU VRAM充足，否则可能导致训练中断。可以通过降低分辨率或批处理大小来缓解。

3.3 使用LoRA模型

训练完成后，LoRA模型文件会保存在stable-diffusion-webui/models/Lora/目录下。在WebUI的“文生图”或“图生图”界面，点击“显示/隐藏”按钮 (通常是一个红色的方块)，然后选择你的LoRA模型，例如：<lora:sre_concept_v1:1>。

可以在提示词中加入此LoRA引用，并调整权重 (例如1为全强度)。

3.4 常见问题排查

启动失败: 检查Python版本是否为3.10.6，依赖是否安装完整。
显存不足: 尝试在webui-user.bat或webui.sh中添加启动参数，例如：--xformers --medvram。
生成图像黑屏: 检查主模型文件是否损坏或未正确放置于stable-diffusion-webui/models/Stable-diffusion/目录。

此文档旨在作为SRE团队快速部署和定制Stable Diffusion的参考。后期将根据实际应用反馈进行迭代更新。

References

⬅ 上一篇Notion AI与Microsoft Copilot：SRE文档工作流自动化集下一篇 ➡SRE内部指南：开源AI语音克隆与TTS工具对比与选型 (V1.2, 2024-

🤖 Stable Diffusion WebUI集成与模型定制：SRE图像生成优化实践 V1.0 (2024