Полный текст

​«Яндекс» разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPUПоговорим о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают, рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс, и выясним, чем YaFSDP отличается от них.