Что это такое
TextGen — приложение для локальной работы с LLM. Оно дает интерфейс для чата и генерации текста, поддерживает vision-сценарии, прикрепление файлов, разные движки и API, совместимые с популярными форматами. Главная идея — запускать модели у себя, без телеметрии и без обязательного облачного сервиса.
Репозиторий вырос из text-generation-webui и стал одним из самых узнаваемых проектов вокруг локальных языковых моделей. Сейчас он делает упор на настольные сборки для Linux, Windows и macOS, включая варианты с CUDA, Vulkan, ROCm и CPU-only.
Что внутри репозитория
Внутри — Python-приложение, интерфейс, поддержка llama.cpp, Transformers, ExLlamaV3, TensorRT-LLM и других движков, режимы чата, notebook-режим, работа с персонажами, инструментами, файлами и локальным API.
Типичный локальный запуск
Пример показывает общий порядок для ручной установки: создать окружение, поставить зависимости и запустить приложение. Готовые portable-сборки закрывают этот путь для обычного пользователя.
git clone https://github.com/oobabooga/textgen.git
cd textgen
python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txtГде полезен
TextGen полезен тем, кто экспериментирует с локальными LLM, сравнивает движки, работает с приватными файлами, делает прототипы API или хочет чат-интерфейс без привязки к одному провайдеру. Он удобен как лаборатория для моделей и форматов.
Сильные стороны и ограничения
Локальные модели требуют железа, диска и понимания ограничений качества. Совместимый API не означает полное совпадение поведения с облачными моделями. Также важно следить за лицензиями моделей, безопасностью файлов и тем, какие расширения получают доступ к окружению.