いそがしのげんちゃん。​ @ProgrammerGenboo@itabashi.0j0.jp

ここでThinking Time

さて、金も用意できましたしドメイン買いますか

ATMに2000ぶっこんできます(なけなし

相変わらず速度の衰えないホームいいね

【事象】
WebAppのCPU使用率が高い
pushキューを処理するSidekiqプロセスのメモリ使用量が異常に多い
redisのNetworkByteInが異常に多い

【状況】
ActivityPub::DeliveryWorkerが特に多く失敗している
リモートフォロー関係にある中規模インスタンスがエラーで落ちている

【原因】
https://github.com/tootsuite/mastodon/pull/7053 で追加されたStoplight gem。
再試行を処理するsidekiqが異なるホストであった場合に、失敗回数が正常に加算されていなかったため、
無限に再試行回数0回で再試行キューに積まれ、無限に失敗し続けた結果、redisのNetworkByteInが大爆発していた

【停電情報 2018年7月27日 12:03】
東京電力停電情報によりますと、埼玉県 ときがわ町の約900軒で停電が発生しているということです。
http://teideninfo.tepco.co.jp/html/11000000000.html
#東京電力停電情報 #埼玉県

火災になった建設中の建物、データセンターだったのか