Авторегрессивная генерация кода (LLM)

Модель предсказывает следующий токен на основе контекста. Токен выбирается с учетом вероятностного распределения, после чего цикл повторяется, подавая новый текст обратно на вход.

ВХОДНОЙ КОНТЕКСТ (Промпт + История генерации)
// Напиши функцию сложения
LLM (Трансформер) Скрытые слои внимания ВЕРОЯТНОСТИ ТОКЕНОВ СГЕНЕРИРОВАННЫЙ КОД