Полный текст
Если посмотреть на процесс создания текста у LLM, то можно увидеть, что она выдает его по кусочкам. Но что происходит до того, как она выбрала следующее слово?Автор решил проверить, есть ли внутри модели что-то вроде языка мыслей. Не английский, не код, не набор красивых слов, а слой, где смысл уже появился, но еще не стал текстом.Он нашел внутри модели направление, которое отвечает за этот подход, и попробовал его крутить. Если увеличить параметр, модель начинала проверять всё осторожнее. При уменьшении — сразу рубила с плеча.Но «ход мыслей» всё еще нельзя было нормально прочесть. А ближе к выходу он проявлялся сразу на нескольких языках. В статье — результат эксперимента после пары вечеров. Он показывает, как языковая модель может «думать» до того, как превращает всё в текст.