Полный текст
Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализКлассический матанализ десятилетиями отвергал бесконечно малые величины, заменяя их громоздкими пределами. Физики продолжали оперировать дифференциалами интуитивно, пока теоретики считали это ересью. Однако вызов loss.backward() в ML-фреймворках опирается на ту самую «запрещённую» концепцию Лейбница.Автодифференцирование, на котором держатся PyTorch и JAX, работает не через абстрактные предельные переходы, а через нестандартный анализ. Бесконечно малые становятся полноправными гиперреальными числами, где вычисление производных сводится к чёткой алгебре дуальных чисел.