8/15 anime鯖ダウン

2005年 8月15日 animeサーバがダウン

時系列事項表

日時	事項(大半がroot▲ ★ 氏による)
15日18:40ごろ
15日19:00ごろ	LA急上昇とともにまもなくダウン
15日20:51	root▲ ★ 氏登場。緊急リブート
15日20:55	メモリディスクがあふれたため。
15日21:05	リブートかけたが、上がってこないハードウェアトラブルの可能性も
15日21:15	PIEに通常のリブート要請
16日01:00ごろ(?)	サーバリブート完了
16日03:21	root▲ ★ 氏帰宅。いろいろ調査。
16日03:26	リモートコンソールOK。システムメッセージ特に問題なし。
16日03:32	bbs.cgiを止めた状態でhttpd起動。anime,shar,x3板のみ。各部チェック中
16日03:33	/mdにごみがたまっていたことが判明。
16日03:46	bbs.cgiも復活。原因解明と同時進行。
16日04:10	一度落として精密検査。
16日04:32	ex11と同じ構成にする。httpd復活。
16日04:37	根本的には直っていないので引き続き検査。
16日11:35	根本的にはanimeサーバだけではなく、あまねく対応が必要。
16日11:49	＜解決の方向性＞ a) 原因を把握し、極力ごみが出ないようにする => bbs.cgiを修正するとか、サーバセッティングを見直すとか。 b) ごみがわずかでも出るのは原理的に避けられない気がする => ごみを掃除するしくみを別途作る必要がある
16日	掃除は、自動化する(しようとしている)もののひとつと。

はじめの報告

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 356

356 ：動け動けウゴウゴ２ちゃんねる  ：2005/08/15(月) 18:43:37 ID:kUXAf2JJ0
     アニメ板がおかしい

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 364
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 366

root▲ ★ 氏の全発言

http://qb5.2ch.net/operate/kako/1118/11180/1118052251.html 860

860 ：root▲ ★  ：2005/08/15(月) 20:51:53 ID:???0
    animeサーバ、緊急にリブート入れます。
    原因はわかったので、直せるです。

http://qb5.2ch.net/operate/kako/1118/11180/1118052251.html 892

892 ：root▲ ★  ：2005/08/15(月) 20:55:11 ID:???0
    急激にdat数が増えたためか、メモリディスクがあふれました。
    メモリディスクをバックアップしてメモリディスクを倍にするように設定を変えて、緊急リブート中。

http://qb5.2ch.net/operate/kako/1118/11180/1118052251.html 947

947 ：root▲ ★  ：2005/08/15(月) 21:05:01 ID:???0
    リブートをかけたところ、上がってこないですね。< tiger2514 (= anime)

    リモートコンソールも操作できません。
    ハードウェアトラブルかも。

http://qb5.2ch.net/operate/kako/1118/11180/1118052251.html 987

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 57

57 ：root▲ ★  ：2005/08/15(月) 21:15:02 ID:???0 ?###
    だめですね。リモートコンソール応答なしです。
    こうなると私ではどうしようもないので、まずは通常の要請を出します。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 627

627 ：root▲ ★  ：2005/08/16(火) 03:21:21 ID:???0 ?###
    今帰宅しました。

    animeサーバは、リブートがかかっているようです。
    いろいろ調査するです。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 638

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 641

641 ：root▲ ★  ：2005/08/16(火) 03:27:10 ID:???0 ?###
    もう少しチェックして問題なければ、bbs.cgiを停止した状態で上げてみるです。
    メモリディスクの内容を戻すから、板復帰が必要(やっておくです)。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 658

658 ：root▲ ★  ：2005/08/16(火) 03:32:24 ID:???0 ?###
    bbs.cgi を止めた状態で httpd を動かしました。
    ジンギスカンしていたanime, shar, x3を復帰。
    各部をチェック中。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 664
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 678
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 682
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 684
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 690
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 694

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 703

703 ：root▲ ★  ：2005/08/16(火) 03:46:39 ID:???0 ?###
    復活させました。

    …しかし、ちょっとなぁ。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 713

749 ：root▲ ★  ：2005/08/16(火) 04:10:26 ID:???0 ?###
    しばらくしたら、午前4時台のうちに一度落として、まじめに調べます。
    午前5時までには、再度上げる予定。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 719
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 725
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 728
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 747
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 749
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 752

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 797

797 ：root▲ ★  ：2005/08/16(火) 04:32:06 ID:???0 ?###
    BIOSの設定を精査して、ex11(animeと同一のハードウェア構成)と同じにしました。
    …ただ、これで直るとは思いにくいですね。

    とりあえず、復活させます。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 798

798 ：root▲ ★  ：2005/08/16(火) 04:32:49 ID:???0 ?###
    復活させました。

    とりあえず、経過観察ということで。

http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 812

812 ：root▲ ★  ：2005/08/16(火) 04:37:35 ID:???0 ?###
    …しかし、問題の根本が解決したわけではないんだよなぁ。

    うーむ。

http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 179
http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 191

http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 192

192 ：root▲ ★  ：2005/08/16(火) 11:38:08 ID:???0 ?###
    ・banana/tiger/cobraに関係なく、ごみが多いサーバと少ないサーバがある模様
    ・ジンギスカンしているかしていないかは関係ない模様
    ・animeサーバは特にひどかったようだ
    ・このごみはいったんできると、クリアされない模様

    ということのようです。

    中身を見るとsubject.txtやindex.htmlにみえ、またbbs.cgiのソースをあたってみても、
    このファイルはbbs.cgiが処理の途中で異常終了(500エラーが出た場合)した場合に、
    残ってしまうものの模様。

http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 194

194 ：root▲ ★  ：2005/08/16(火) 11:49:56 ID:???0 ?###
    で、解決の方向性ですが、

    a) 原因を把握し、極力ごみが出ないようにする
    => bbs.cgiを修正するとか、サーバセッティングを見直すとか

    b) ごみがわずかでも出るのは原理的に避けられない気がする
    => ごみを掃除するしくみを別途作る必要があるような気がする
    f22? or bbs.cgi?

http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 199
http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 203
http://qb5.2ch.net/operate/kako/1121/11218/1121886018.html 205
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 845
http://qb5.2ch.net/operate/kako/1123/11239/1123985701.html 851

結局何が起こったのか

/mbに、500エラーにより作業が中断された".tmp"(=subject.txtになる)や".temps"(=index.htmlになる)が溜まり、メモリディスクが足りなくなって、ダウンした。
anime鯖だけのみに起こることではなく、全体的に調べる必要がある。

anime.2ch.net鯖詳細

anime.2ch.net (tiger2514.maido3.com) [206.223.154.240]
httpd：Apache/2.0.54
http://sv2ch.baila6.jp/server.cgi?server=anime.2ch.net

anime鯖収容の板

アニメ漫画速報
新シャア専用
旧シャア専用
おたく
アニメサロン
アニメ
アニメ２
アニメ新作情報
懐かしアニメ
アニキャラ総合
アニキャラ個別
声優
CCさくら
アニメ・漫画業界
エヴァンゲリオン
アニソン等

サーバ復帰に当たった人・まとめ等に関係する人

復帰役(主役)：root▲ ★

避難所まとめ・誘導：車屋団長 ◆ken41/N/SE、駅前の白魔導士 ◆SIROMA/rzA(◆honyaQ8sL2･記者)

このページまとめ：掃除屋 ◆2ch..Ybe0Q

目次

時系列事項表

はじめの報告

root▲ ★ 氏の全発言

結局何が起こったのか

anime.2ch.net鯖詳細

anime鯖収容の板

サーバ復帰に当たった人・まとめ等に関係する人

案内メニュー

8/15 anime鯖ダウン

時系列事項表

はじめの報告

root▲ ★ 氏の全発言

結局何が起こったのか

anime.2ch.net鯖詳細

anime鯖収容の板

サーバ復帰に当たった人・まとめ等に関係する人

案内メニュー

検索