Из ленты Habr DevOps — кратко, чтобы не потерять.
Привет, Хабр! Я Миша Онянов, Python-разработчик и платформенный инженер в крупнейшем проекте MAGNIT TECH – F&R. Из статьи вы узнаете, как с помощью механизма Cluster Policies в Apache Airflow вынести требования к DAG’ам в исполняемый код: - Поговорим о том, когда и зачем нужен отдельный слой Policies. - Посмотрим на примеры требований в больших data-инженерных проектах и способ их реализации с помощью политик. - Покажу нашу архитектуру, примеры кода и способы внедрения. - Сделаем выводы из моих ошибок, допущенных при разработке и внедрении. - В конце посмотрим, в каких ещё системах используется аналогичный механизм. Материал будет полезен всем, кто собирается внедрять или уже работает с Apache Airflow ✌️🥸 Читать далее
Полный текст и контекст у первоисточника: https://habr.com/ru/companies/magnit/articles/1043082/?utm_campaign=1043082&utm_source=habrahabr&utm_medium=rss