[airflow connections]
DAGごと・タスクごとに接続切り替え可能
[Cloud SQL Service Agent(SA)]
Cloud SQL のエクスポートでは、Cloud SQL Service Agent が Cloud Storage に書き込みを行うため、このサービスアカウントに必要な権限を与える必要がある。
[ワーカーのメモリ不足に起因するタスクの失敗とポッドの退去に対する対策]
Cloud Composer 2環境のサイズをmediumからlargeに増やす
これは、環境全体のリソース(CPU、メモリなど)を増加させる直接的な方法です。ワーカーノードの基盤となるVMインスタンスのスペックが向上するため、メモリ不足の問題を根本的に解決できます。
Airflowワーカーが利用可能なメモリを増やす
Cloud Composer 2では、ワーカーが使用できるメモリを個別に設定できます。ワーカーポッドが退去している主な原因がメモリ不足であるため、ワーカーに割り当てるメモリを増やすことは、最も直接的で効果的な解決策です。