Полный текст
В процессе обучения нейронных сетей получаются красивые фракталыВсё началось, когда пятилетняя дочь автора заявила, что математика — тупая штука. В попытках её переубедить семья открыла для себя фракталы. А самого автора, специалиста по ИИ, это навело на неожиданную параллель.Оказалось, что генерация множества Мандельброта и обучение нейросетей — процессы поразительно схожие. И там, и там функция итеративно применяется к своему выводу, а результат (сойдётся или улетит в бесконечность) зависит от гиперпараметров. Автор решил проверить, а что, если поискать фракталы в ландшафте обучения? И нашёл.Посмотрим, где именно в нейросетях прячутся эти роскошные узоры.