airflowを用いて、複雑大規模なジョブフロー管理に立ち向かう accepted

Abstract

このプロポーザルの概要

弊社ブレインパッドの自社サービスでは現在、以下のような複雑かつ大規模なバッチジョブを運用しています。

・1日あたり、複数種類のバッチジョブが合計10,000回近く実行される
・バッチジョブは、アクセスログデータの取り込みのような単純なものから、機械学習処理を伴うような複雑なものまで千差万別
・それぞれのバッチジョブは、互いに複雑な依存関係を構成している

このような状況において、スケーラビリティ・運用のシンプルさ・バッチ処理が互いの依存関係を守りながら正確に実行されること、などを保持しながら運用できるシステムを構築する必要があります。

そのような課題に対して、airflowを用いてどのように立ち向かっているか?実際のairflowの運用のポイントは?といった点についてお話しします。

airflowについて

airflowとは、Airbnbが公開したOSSで、依存関係のあるジョブフローの管理を目的としたソフトウェアです。

昨今ではGCPの「Cloud Composer」としてマネージド環境が用意されるなど、一層の注目を集めています。

(弊社ではairflowを2年ほど運用をしています。)

想定聴講者

・複数・大量のジョブの管理に悩んでいる
・ジョブの失敗対応(調査やリトライ)が複雑でツライ
・cron地獄から脱却したい
・airflowの運用事例について知りたい

主にお伝えする予定のこと

・弊社で動作しているバッチジョブとその環境について
・cronでジョブを運用する際に生じた課題と、airflow導入による解決までの軌跡
・airflowを導入してよかったこと / 悩ましいところ
・airflow運用のTIPS、ハマりどころ

Session Information
Confirmed confirmed
Material Level Beginner
Starts On 9/7/18, 3:30 PM
Room Multi-Purpose Room 3
Session Duration Regular Session (30min)
Spoken Language Japanese
Interpretation Unavailable
Slide Language Japanese