Полный текст
Техрепорт Alice AI: технолонгрид на 46 минут чтенияДетальный разбор полного цикла обучения новых генеративных моделей Яндекса: от языковых моделей Alice AI LLM и Alice AI LLM Search до мультимодальной Alice AI VLM и картиночной Alice AI ART. В том числе — решений на уровне инфраструктуры.Например, в части про alignment базовой LLM описан переход к единому RLHF-пайплайну с мультиаспектным ревордом вместо одного «суперсигнала». Для VLM увеличили объём данных претрейна с 400 до 600 млрд токенов и расширили контекст до 32 тыс. Обновили OCR-датасет, улучшив качество чтения текста с изображений, включая рукописный. Архитектуру картиночной модели сделали двухступенчатой: на первом этапе формируется общая композиция изображения, на втором — прорабатываются высокочастотные детали.Обратимся к техрепорту, который детально описывает инженерную «кухню» — от улучшения датасета для претрейна до коррекции смещений в генерации картинок.