Open Source: #serving

Проекты каталога, отмеченные тегом #serving. Теги работают как отдельные посадочные страницы, чтобы похожие инструменты было проще находить и связывать между собой.

Фильтры

Сбросить
Языки

Репозитории

Найдено: 1
vllm-project/vllm
vLLM

vLLM — высокопроизводительный движок для инференса и обслуживания LLM с API, совместимым с OpenAI, пакетной обработкой запросов и эффективным управлением памятью.

Звёзды 82,414 Форки 17,884 Автор vllm-project Язык Python Лицензия Apache-2.0
#ai #llm #inference #python #serving #machine-learning
Открыть