Полный текст
Что происходит внутри LLM, когда ты отправляешь сообщение?Запрос с просьбой посчитать количество букв «r» в слове «strawberry» ломает большинство современных языковых моделей. Корень проблемы упирается в фундамент архитектуры трансформеров — алгоритм BPE (Byte Pair Encoding). Входные данные разбиваются не на буквы, а на токены, внутри которых символы сливаются в неразличимый массив.Авторегрессионная природа генерации лишает модель способности менять логику на лету: каждый выданный токен намертво цементирует вектор дальнейшего предсказания. Разберём, как параллельное вычисление весов Query, Key и Value в слоях трансформера превращает слепую статистику соседства токенов в осмысленный текст.