ggml-org/llama.cpp
llama.cpp
llama.cpp запускает большие языковые модели локально: от командной строки до совместимого с OpenAI API сервера.
Проекты каталога, отмеченные тегом #local-ai. Теги работают как отдельные посадочные страницы, чтобы похожие инструменты было проще находить и связывать между собой.
В подборке 4 проектов с суммарным рейтингом 305,157 звёзд на GitHub. Основные языки: C++, Python.
llama.cpp запускает большие языковые модели локально: от командной строки до совместимого с OpenAI API сервера.
GPT4All — проект для локального запуска больших языковых моделей на обычных компьютерах и в приложениях.
Unsloth — инструменты и Studio для запуска и дообучения открытых моделей локально, с упором на скорость, память и практические сценарии LLM.