Полный текст
Опыт миграции DWH и сложности, которые при этом возникаютВладимир, дата-инженер из Flocktory, поделился опытом переезда с одного облака на другое. Команда перенесла около петабайта данных и внедрила новые инструменты. А ещё решила в процессе две ключевые задачи:— построила фиче-стор для 100 миллионов пользователей, обеспечивающий работу ML-моделей в реальном времени (отклик менее 80 мс) и офлайн-хранилище для обучения моделей;— создала централизованную управленческую отчётность («слайсер») с откликом до 3 секунд при обработке 200-600 ГБ данных и формировании агрегатов 20-30 ГБ.Узнаем про сложности, возникшие при реализации этих задач