text-generation-webui

text-generation-webui官网

text-generation-webui 是一款开源的大语言模型 Web 界面工具，使用 Python（Gradio）构建，俗称「oobabooga」，支持在

text-generation-webui简介

text-generation-webui 是一款开源的大语言模型 Web 界面工具，使用 Python（Gradio）构建，俗称「oobabooga」，支持在本地通过浏览器界面运行和测试各类开源 LLM。它兼容 Transformers、llama.cpp、GPTQ、AWQ、ExLlamaV2 等多种推理后端，是本地 LLM 推理与调试的全能型工具。

该工具支持单轮对话、多轮、角色扮演（含系统提示模板）和笔记本模式等多种交互方式，内置扩展系统可接入语音识别、TTS 语音输出、Stable Diffusion 集成等功能模块。它同时提供 OpenAI 兼容的 API 端点，方便下游应用无缝对接。

多推理后端支持：统一界面管理 Transformers、llama.cpp、ExLlamaV2 等后端，按模型格式自动选择最佳引擎丰富的交互模式：提供、角色扮演、笔记本和代码生成等多种界面模式，满足不同使用场景需求OpenAI 兼容 API：内置兼容 OpenAI Chat Completions 格式的 HTTP 接口，可替换原有 OpenAI SDK 调用

text-generation-webui官网入口网址

https://github.com/oobabooga/text-generation-webui

以上为官方入口，可直接访问试用；如需查看完整能力与价格，建议以官网页面为准。