Полный текст
Слияние словарей в PyTorch: зачем нужно и подводные камниСейчас нейросети стали настолько большими, что обучение большой сети на одной видеокарте технически невозможно или займёт десятки и сотни лет. Кроме того, на большой обучающей выборке всплывают проблемы забывания сетью того, чему её учили вначале.Одним из способов решения этих проблем является разбивка датасета на куски и обучение одной и той же нейросети параллельно на разных устройствах. Потом, очевидно, нужно каким-то образом слить обученные нейросети в одну. Обсудим детальнее, зачем это вообще может быть нужно и как это сделать более-менее правильно.