スケジュールされたスキルが失敗した。自動で再試行すべきか、それとも人を呼ぶべきか

午前3時、スケジュールされた月次照合タスクが、取引先APIの一時的なタイムアウトで失敗した。システムには二つの選択肢がある。黙って一度だけ再試行する——通常は二回目で成功する——か、即座に通知を出してオンコール担当者を起こすかだ。多くのチームはスケジュールタスクを設計する際、「失敗したら通知する」までしか考えておらず、「通知する前にまず自分で救おうとするかどうか」を詰めていない。この詰め切れていない隙間が、あなたのチームの電話が実際に真夜中に鳴るかどうかを決めている。まず「失敗」を二種類に分ける。同じものとして扱わない一つ目は一時的な失敗だ。取引先のサーバーがタイムアウトした、ネットワークが一瞬途切れた、相手のAPIがちょうどメンテナンス中だった——この種の失敗の特徴は、少し待って同じことをもう一度やれば大抵うまくいく点にあり、本質的には自分でページを再読み込みするのと変わらない。二...