Полный текст
Маленькая модель обыграла большие: почему Nanbeige4-3B меняет правила игрыВыход Nanbeige4-3B доказывает, что качество обучающих данных важнее их объёма. Пока стандартные подходы опираются на сотни триллионов токенов, эта модель обучена на 23 триллионах единиц, отобранных по 20 строгим критериям. Расписание обучения FG-WSD обеспечивает плавный переход к наиболее информативным материалам, что позволяет компактной системе успешно конкурировать с гигантами в сложных задачах на логику и математику.Нейросеть перенимает сам процесс рассуждения через методы DPD и обучение с подкреплением. Всё это позволяет эффективно запускать мощную reasoning-модель на обычном домашнем железе, используя от 2,5 Гб оперативной памяти.Рассмотрим технические аспекты реализации и оценим результаты сравнительных тестов.