Полный текст
Если Россия хочет создать свою собственную большую языковую модель (LLM), то ей необходимо обращаться к опыту СССР, и в первую очередь — теореме математиков Колмогорова и АрнольдаТакое мнение в беседе с популяризатором отечественной микроэлектроники Максимом Горшениным высказал независимый ИИ-исследователь Павел Техножнец, пишет РуХардЕсли ты хочешь сделать отечественную языковую модель, то скорее всего, ты можешь обратиться к базе. А база у нас потрясающая — теорема Колмогорова-Арнольда. Согласно ей, очень сложные функции можно представлять в виде коротких репрезентов. То есть ты можешь упрощать практически всёПо его мнению, надо идти именно в эту сторону — брать отечественное математическое наследие и адаптировать егоЦепи Маркова — это и есть первые нейросети, которые созданы нашим человеком. А созданы они просто в споре — для того, чтобы доказать, что у языка есть структура. Буквы можно автоматически чередовать друг за другом и получать живые слова. Когда Марков в этом споре выиграл, то он сам даже не понял, что фактически создал первую нейросетьДля создания своей модели Павел взял теорему Колмогорова-Арнольда, которая уже была доработана Сингапурским и Массачусетским институтами — Kolmogorov Arnold Network (KAN)В 2024 году зарубежные вузы выложили об этом статьюТехножнец скачал большую языковую модель LLama — чисто для того, чтобы посмотреть, что она из себя представляет, детально изучив её, он многое оттуда почерпнулИ когда вышла статья про KAN, то там рассказывалось, что оказывается, ты можешь использовать меньше данных, но делать приближение быстрееПодробнее об этом я выпустил отдельное ВИДЕОTelegram | Дзен | MAX