Что это такое
LLMs from scratch — репозиторий Sebastian Raschka для тех, кто хочет понять LLM не только на уровне терминов. Идея проекта — построить GPT-подобную модель шаг за шагом: от текста и токенов до attention, трансформера, предобучения и последующей настройки.
Проект ценен тем, что не начинается с готовой огромной модели. Он разбирает детали в учебном масштабе, где можно увидеть связь между кодом, математикой и поведением модели. Для разработчика это хороший мост между “я пользуюсь LLM” и “я понимаю, как устроены ключевые части”.
Что внутри и как используют
Внутри — главы, Jupyter notebooks, Python-код, материалы книги и упражнения. Основной стек — Python и PyTorch. Такой формат подходит для самостоятельного прохождения: прочитал раздел, запустил код, изменил параметры, посмотрел, как меняется результат.
Учебный маршрут
Фрагмент показывает, как репозиторий можно читать как план изучения, а не как набор разрозненных файлов.
1. Prepare text and tokens
2. Build attention mechanisms
3. Assemble a GPT-style model
4. Pretrain on a small dataset
5. Fine-tune for instruction following
6. Evaluate outputs and limitationsТиповой сценарий — обучение инженера, который уже пишет код, но хочет разобраться в современных языковых моделях глубже. Репозиторий полезен и для преподавания: главы можно превратить в учебный план, а notebooks — в практические занятия.
Сильные стороны и ограничения
Сильная сторона — пошаговость и честная реализация руками. Проект не прячет все за API, поэтому читатель видит, где появляется токенизация, attention, обучение и настройка.
Ограничение — учебный масштаб. Он не заменяет промышленное обучение моделей, распределенную инфраструктуру, большие датасеты и безопасность. Зато он дает основу, без которой трудно осмысленно читать более сложные статьи.