Cloud Composerが作成できなくなった

ある日、TerraformでCloud Composerのテスト環境構築したら以下のエラーでCloud Composerが立ち上がらなくなりました。

Error: Error waiting to create Environment: Error waiting for Creating Environment: Error code 7, message: Custom service accounts need correct permissions for environment creation to succeed.

他にも以下のエラーがStackdriverに出てたりとか、完全に権限の問題かと思って調査していました。

2020-01-08 21:45:30.263 JST Cloud Composer CreateEnvironment asia-northeast1:test-env xxxx@xxx.com PERMISSION_DENIED

同様の現象でも原因は色々あるようです。APIを再度、無効化⇨有効化したら直ったなど。

https://groups.google.com/forum/#!topic/cloud-composer-discuss/Sq8xAmkKkZo

確かに以前、それで直ったこともあるのですが、今回はネットワークの問題でした。

限定公開の Google アクセス有効化したのに、--enable-private-environment のオプション追加してなかったのが原因でした。

以下に記載があります。

https://cloud.google.com/composer/docs/how-to/managing/configuring-private-ip?hl=ja

答えがわかってしまえば初歩的な話なのですが、エラーメッセージからたどり着くのが大変でした。

Composerは一回のトライアンドエラーに30~60分かかってかなり辛かったので、他の人がググった時に何かの助けになればと思い事象だけ書いておきました。