Text Generation WebUI

简介

Text Generation WebUI（oobabooga）是目前功能最全面的本地 LLM Web 界面之一，提供了丰富的功能和高度的可定制性。它支持几乎所有主流的开源模型，提供了多种推理优化技术，是技术用户和开发者构建复杂 AI 应用的理想平台。

开源项目：GitHub 仓库

主要功能

多格式支持：支持 GGUF、GPTQ、AWQ、EXL2、HF Diffusers 等多种模型格式。
LoRA/Rope 支持：支持 LoRA 微调模型和 RoPE 扩展上下文长度。
推理优化：支持 llama.cpp、ctransformers、auto-gptq 等多种后端。
对话模式：提供 Notebook、Chat、cai 等多种交互模式。
插件系统：支持通过扩展添加新功能。
API 服务：提供 OpenAI 兼容的 API 接口。
参数微调：提供详细的模型参数配置选项。

适用场景

Text Generation WebUI 适用于多种场景：高级开发——需要深度定制和集成的高级应用开发；模型测试——测试和评估不同模型和微调版本；提示词研究——研究和优化提示词工程技术；生产部署——作为生产环境的 API 服务；本地 Chatbot——构建功能丰富的本地聊天机器人。

安装与使用

安装依赖

# Windows (一键安装)
download_windows.bat

# Linux/macOS
bash install_linux.sh  # 或 install_macos.sh

启动程序

# Windows
start_windows.bat

# Linux/macOS
bash start_linux.sh  # 或 start_macos.sh

启动后访问 http://127.0.0.1:7860

加载模型

在「Model」标签页选择或下载模型
选择模型格式（推荐 GGUF）
点击「Load」加载模型
切换到「Chat」标签页开始对话

配置 API 服务

# 启动时添加 --extensions api 参数
bash start_linux.sh --extensions api

# API 地址: http://localhost:5001/v1/chat/completions

工具名称	公司/厂商	特色	适合人群
Text Generation WebUI	开源社区	功能最全、高度可定制、格式支持多	技术用户、开发者
OpenWebUI	开源社区	界面美观、多用户支持、插件丰富	团队用户
LM Studio	LM Studio Inc.	界面友好、操作简单、上手快速	普通用户
Anything LLM	Mintplex Labs	知识库整合好、桌面应用	个人用户

官网与入口

GitHub：https://github.com/oobabooga/text-generation-webui

使用方式：支持 Windows、Linux、macOS。通过 GitHub 克隆源码运行安装脚本启动。功能丰富但配置相对复杂。

价格与版本

开源版

完全开源免费
所有功能可用
社区支持

完全免费使用，支持各种模型格式

使用技巧

⚡

选择合适的推理后端

llama.cpp 后端兼容性最好，GPU 加速推荐使用 ctransformers。

🔧

使用量化模型

量化模型（Q4_K_M、Q5_K_M）在保持质量的同时大幅降低资源占用。

📏

扩展上下文长度

使用 RoPE 扩展可将上下文长度从 4K 扩展到 8K、16K 甚至更长

。

🔌

启用 API 服务

添加 --extensions api 参数启动 API，可被其他应用集成调用。

常见问题

硬件显存不足怎么办？

使用量化模型（如 Q4_K_M）可大幅降低显存需求。也可以使用 CPU 推理模式（较慢）。

模型如何加载自定义模型？

将模型文件放入项目根目录的 models 文件夹，或使用「Download new model」功能从 Hugging Face 下载。

性能如何提升推理速度？

使用 GPU 加速、选择量化模型、调整 batch size 等参数可提升速度。

小结

Text Generation WebUI 作为功能最全面的本地 LLM Web 界面，以其丰富的格式支持、高度的可定制性和强大的扩展能力，成为技术用户和开发者构建高级 AI 应用的首选工具。虽然配置相对复杂，但提供了最大的灵活性和控制权。

立即体验：访问 GitHub 仓库获取源码开始部署。

简介