Полный текст
Как обеспечить качество данных: подборка опенсорс-инструментов от ОстровкаКогда у вас десятки постоянно меняющихся источников данных (отели, авиакомпании, платёжные сервисы), качество данных — это не разовые тесты, а непрерывный процесс. Команда Островка рассказывает, как они построили у себя целую платформу для этого, используя открытые решения.Какой стек они используют? В ядре — Soda Core для тестов и Apache Airflow для оркестрации. FastAPI используется для API, Streamlit — для дашбордов инженеров, а DataHub — как единый каталог метаданных для менеджеров. И всё это работает в Kubernetes.Разберёмся, почему был выбран именно такой набор инструментов и как они связаны в единую Data Quality Platform.