Пост 19751

🔬 TrueKAN: Первая реализация Kolmogorov-Arnold Network быстрее MLPВсе существующие реализации KAN медленнее MLP в 1.5-30 раз. Это главная причина почему KAN остаются академической игрушкой — красивая теория, непрактичная скорость.Мой - TrueKAN решает эту проблему.Бенчмарки (GPU, batch=100, dim=1000)Данные из github.com/Jerry-Master/KAN-benchmarking и arXiv:Original KAN — 30x медленнее MLPEfficientKAN — 9.7x медленнееFast-KAN — 2.9x медленнееChebyKAN — 2.1x медленнееSineKAN — 1.78x медленнее (лучший в литературе)Наши результаты:TrueKAN R=8 — 0.92x (на 8% быстрее MLP)TrueKAN dim=2048 — 0.42x (в 2.4x быстрее MLP, training mode)Что это значитKAN математически мощнее MLP — это следует из теоремы Колмогорова-Арнольда. На сложных осциллирующих функциях (sin(20x)·cos(15y)) MLP даёт R² = 33%. TrueKAN даёт R² = 99.77% при 21x меньшем количестве параметров.Проблема была в реализации, не в архитектуре.Что под капотомНастоящий KAN: learnable φ на каждом ребре графа, не "FastKAN" который по сути MLP с хитрой активациейChebyshev polynomial basis вместо B-splinesLow-rank factorization коэффициентовFused CUDA kernels: базис считается в регистрах, один проход по памятиДетали реализации опубликую вместе с кодом.Статус✅ Inference быстрее MLP✅ Training на паритете/быстрее на больших размерностях✅ Интеграция в LLM (RealKANGPT, loss curves есть)⏳ Ablation studies для статьи⏳ Код — скоро в открытом доступеПочему это важноKAN обещали interpretability + accuracy + efficiency. Первые два уже доказаны в литературе. Efficiency был blocker. Если TrueKAN воспроизводится — это убирает последний барьер для практического применения KAN в продакшене.Бенчмарки сравнения взяты из github.com/Jerry-Master/KAN-benchmarking — те же условия, те же метрики.Яндекс, Сбербанк - привет.