Полный текст
Как на самом деле работают LLMРаньше на вопрос, сколько букв «R» в слове «strawberry», модель уверенно называла неверное число. Выглядело так, будто она не умеет считать. На деле она вообще не видит отдельных букв, потому что работает не с текстом, а с токенами, числовыми идентификаторами кусков слова, и слово для неё распадается на несколько фрагментов.Отсюда тянется всё остальное устройство. Токены превращаются в векторы, где king − man + woman даёт примерно queen, дальше их сравнивает механизм внимания, а сами знания вроде «Париж столица Франции» лежат конкретными весами, которые можно точечно переписать и переселить Эйфелеву башню в Рим без переобучения.Разберёмся, как из токенов и векторов собирается вся работа модели до предсказания следующего слова.