Open Source: #serving

Проекты каталога, отмеченные тегом #serving. Теги работают как отдельные посадочные страницы, чтобы похожие инструменты было проще находить и связывать между собой.

В подборке 2 проектов с суммарным рейтингом 121,902 звёзд на GitHub. Основные языки: Python.

Фильтры

Языки

Репозитории

Найдено: 2
vllm-project/vllm
vLLM

vLLM — высокопроизводительный движок для инференса и обслуживания LLM с API, совместимым с OpenAI, пакетной обработкой запросов и эффективным управлением памятью.

Звёзды 82,414 Форки 17,884 Автор vllm-project Язык Python Лицензия Apache-2.0
#ai #llm #inference #python #serving #machine-learning
Открыть
lm-sys/FastChat
FastChat

FastChat — платформа для обучения, запуска и оценки больших языковых моделей.

Звёзды 39,488 Форки 4,793 Автор lm-sys Язык Python Лицензия Apache-2.0
#llm #python #chatbot #serving
Открыть