・7/2くらいからキューが大幅に増加
・7/12にエラーが発生しているのを確認(実際は7/11くらいから落ちてたかも)
・再起動してみるも、sidekiqのキューがたまり、DBもロングクエリーが出てまともに処理されない
・仕事もあったので数日かけてDBが壊れているのを確認。
・昨日の深夜から今日にかけて復旧、Sidekiqのキューが大量に(10万ほど)残っておりその処理が終わって復旧確認
という感じです……。
あとでまとめ直します。