Полный текст
От битов Шеннона до генеративных сетей: как математика 1948 года управляет ИИМашинное обучение базируется на принципах, сформулированных Клодом Шенноном ещё в середине прошлого века. Понятия энтропии и неопределённости стали фундаментом для функций потерь и алгоритмов сжатия. Тот факт, что редкое событие информативнее ожидаемого, объясняет сложности моделей при работе с аномалиями и несбалансированными выборками.Современные архитектуры вроде InfoGAN используют максимизацию взаимной информации и KL-дивергенцию для структурирования данных. Проследим путь развития этих концепций от классических деревьев решений до сложных вариационных методов.