Полный текст
Жизнь без градиентов: обучение ML-моделей математикой XIX векаБазовый рефлекс в ML — вызов .backward() для расчёта градиентов. Этот математический аппарат воспринимается как монолитный фундамент, без которого обучение просто невозможно. Но если намеренно стереть эту строку из кода на PyTorch, всё сломается далеко не сразу.Выясняется, что заставить модель сходиться можно без единого вычисления градиента, опираясь на методы XIX века. В процессе таких экспериментов выявляются неочевидные паттерны — например, алгоритм Adam сводится к классическому физическому уравнению движения с трением.