デプロイを任されたので、教わった通りにデプロイしたら障害になった件 〜俺のやらかしを越えてゆけ〜

デプロイを任されたので、教わった通りにデプロイしたら障害になった件〜俺のやらかしを越えてゆけ〜
izumitomo • October 25, 2024 • Tokyo, Japan • Japanese • Talk

【発表概要】
「大丈夫。PRをmainにMergeすればテストが走り、問題なければそのまま本番に反映される仕組みになってる。特に気にすることはないよ」

これは、mainへのMerge権限の引き継ぎの際にそう言われ、深く考えずにあの緑色のボタンを押したら──それが障害になった話。

本セッションでは、Rails + ECSのシンプルなアーキテクチャで、デプロイでやらかしてしまった実例とその対応策を、障害を起こした当時の状況を交えながらカジュアルにお話しします。
取り上げるやらかしは、以下の3つを予定しています。

・カラムを追加するだけのデプロイで大量に例外が発生した件
・Sidekiqのジョブがデプロイの度に消し飛んでいた件
・社内のECS上で動かしている全サービスが、Graceful Shutdownできてなかった件

また、普段の業務ではあまり意識しないデプロイに目を向けることで、効率よく技術的知見を広げられる点も併せてお話しします。

俺のやらかしを越えてゆけ。

【発表者】
izumitomo
GitHub https://github.com/izumitomo

Kaigi on Railsは、初学者から上級者までが楽しめるWeb系の技術カンファレンスです。
https://kaigionrails.org/

Kaigi on Rails 2024