https://www.itmedia.co.jp/news/articles/2010/06/news063.html
東京証券取引所は10月5日、株式売買システム「arrowhead」（アローヘッド）で1日に発生した障害の原因を特定し、
4日中に修正したと発表した。障害は、ストレージ内でメモリ故障が起き、サブ機にも切り替わらなかったことが原因。
メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。
東証のニュースリリースよりarrowheadのユーザー情報などを格納するストレージ「共有ディスク装置」の1号機に搭載されたメモリが故障したことに起因。
1号機が障害を検知すると、切り替え用設定値に従って自動で2号機に切り替わるはずが、切り替わらなかった。調査したところ、メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。
設定値を変更すれば、自動切り替えできることが判明。4日にシステムに適用し、自動切り替えが動作することを確認したという。稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。
1日の障害では、東証の全取引が終日停止した。
- 富士通みたいな三流企業に頼むから..
- >>2
来年の大河は中止だな… - その設定ファイル誰がイジったんだろう
- >>3
多分納入時の最初から
設定値は作ったけど応答なくなった場合は自動切り替えする仕組みだったんだろうけれども
ここの設定値の方が優位持ってたとかそんな落ちでしょ - >>3
支那のスパイやがな。 - >>3
ファイルではないぞ - >>3
初期値のまま設定してなかったんじやね？
設定しないと駄目なのに
納入時に検査してないの？ - >>3
初期値のままだったのか誰かが手を加えたのかで話が大きく変わってくるな - >>3が思いつきで勝手に「ファイル」とか言うから話がややこしくなってるな。
- >>3
config.sys なら、私が。 - ズコーッ
- マヌケだな
これは責任問題になるんじゃないの？ - これとトランプ入院が被ってたら危なかった
- >>6
取引止まってた日にトランプのニュース来てたら、色々な意味で大惨事になってたw - >>293
翌日には戻したんだから、むしろ閉まってた方が良かっただろ - なんでちゃんとテストしないのか 学校でと避難訓練とかしてるよ 誰か教えてあげて
- >>7
待避系のテストなんて本番はこんなもんだ
段取り上まともにテストさせてもらえん - >>7
普段はセキュリティのため非常扉に鍵かけてて
災害時に扉開かないってありそうじゃない - 白谷愛糞くんの正拳
- テスト仕様書作った奴の責任
- >>9
指摘しなかったレビュアも同罪 - >>13
見過ごしに気づけない管理職の責任だな - >>13
マイカルでは結合テストの漏れの癖に
末端のコーダーにイチャモンつけるために偽装請負の親会社の偉いさんにクレームつけて
こっぴどく怒ってたなあw
お前ら馬鹿かと
そんなんだから潰れるんやで - >>13
うちのシステムも、レビュー後に問題・改善点をリストアップしたけど、なんだかんだ理由つけられて直してもらえなかったぞw - >>307
相手は最初から言えバカと思ってるだろうな - >>314
さすがにそれはないだろ
注文通りになってないこともあるからなぁ - >>307
あるある
要するにレビューの意味無い - >>307
結局はお金の問題なんだと思う - >>307
追加工数代金支払って納期延長してたらやってもらえたと思うけど - >>13
だから損害賠償求めないって話なんだろうね - アホかよｗ
実際に故障を模してチェックしていなかった
ってことだわな。 - >>10
何を今更
Cocoaで散々見てるだろ
しっかり金入れない体質から来てるんだろなぁ - >>10
本当これ
普通に考えたらメモリが壊れたときの試験くらいやるだろう - >>23
メモリのフォールトインジェクションは難しいよ
ハード開発ならまだしも SI ではやってないケース多いと思う - >>31
難しいからという理由で試験をしないの？
システム開発するだけの能力がないだけじゃん - >>32
お金次第だね - >>32
最初から壊れたメモリー積んでテストは意味がない。
稼働中に壊れる様な事象を発生させるのが難しいだろう。
ハードウェアレベルの仕込みが必要だからな。そう言うメモリーを作るのと同じ事になるから、お金次第よ - >>224
能力なさそうだ - >>249
無料で働く能力？それビジネス的・会計的に無能では？ｗｗ - >>32
まるで自分は全てのケースを考慮してるみたいな書き方だけど、それならなんで非正規なんかやってるの？ - >>31
１日２兆円以上処理する、日本経済の心臓やで？
メモリー交換なんてホストコンピューターなら無停止で交換できるレベルだぞ？
出きんないんだったら、ホストコンピューターからリプレースするんじゃねーよ。 - >>31
文系理系で解釈の異なる「難しい」だよね
350台ぐらいの規模で、さらに毎日テストをやってたと言うから、毎日１式潰す程度のお金が必要＝難しい
と解釈した - >>31
簡単じゃん 動作中にメモリをぶっこ抜けばいい - >>670
そうするとノード停止するから確実に切り替わる
今回はおそらく ECC で訂正不能なエラーが出ていて、半死状態になったと想定 - >>677
装着するメモリにはテスト用のECC半死スイッチをつけること！
っていうのが解決策？ - >>688
実はそういうテスト用のものはあるが、極めてレアではある。 - >>688
憶測でしかないけど、訂正不能エラーでたら、ノードが自爆する設定をしておく必要があった - >>688
一応、ソフト的にそれを誤認識させるツールはある。
今はHPに吸収されたはずのNonstopだとそれでSE検証を実施してた - >>23
某基地局の試験してたけど、ちゃんと試験してたよ。 - >>223
制御系はするやろうね。
業務系は記事にもある通り、ハートビートを監視して一定時間応答無かったら切り替わるで良い。
色んな原因があるにせよなんか問題があったら予備機に切り替わるようにする事で停止を回避するからな。
その監視箇所が甘かったという「超初歩的なミス」ということ。 - >>23
メモリ故障は、難しいんじゃないかな。
今から故障させますって、やれなさそう。 - >>10
日本企業舐めんなよ？ - >>10
そういうこと - >>10
テストはしたんだと思うよ
別のテストをするときに臨時で設定を変えて戻し忘れたとか
そんな感じだと思う情けない話だけどね
- >>818
テストのためにシステムの設定を変えたら、何をテストしたことになるんだろうね。
本番で使う状態の設定のままでテストしないと意味ないんじゃね？ - >>822
では、何故自動切換えOFFみたいな設定があるんだろうね - >>825
自動切換えするかしないかのテストなんて富士通が工場でするものだよ。
ユーザーが、自動切換えの設定をいじって自動切換えするかどうかのテストなんてしないわｗｗｗ。
あんただってクルマ買ったらハンドルを右に切ったら右に曲がるかなんてチェックしないだろｗｗｗ。
東証が自動切換えで使うて言うなら導入時に自動切換ONにしてそれでおしまい。
自動切換の設定をいじる必要性はないわ。 - >>827
私は彼らを擁護しているわけではないよ
でも話が合わないから、これで終わりにする - 現場猫のIT版だな
他の人が設定チェックしたと思ったから
自分はチェックせずOK出した - よくわかんねえが、男女関係で言ったらメインの男に捨てられたオンナが
183センチでしか設定してなかったんで、せっかくの174.6センチの
高学歴で家柄良すぎで文京区の大名屋敷の跡地の古いが広い家に住んでて
両親大学教授でイケメンでスタイルよくて、超一流企業勤務でそろそろ
管理職各停で人望もある好青年の求愛をことわっちまう的な？ - 富士通は、何も責任取らないの？
東証は被害者？ - >>14
責任は感じるもの - >>26
感じるくらいじゃダメ、痛感しないと - >>14
試験は東証側がやるものだからな。富士通が代行してるだけで。 - >>14
被害者は世界中の投資家と日本国民全員だろ - BPSなら
- >>16
金じゃ動かないから、富士通では無理だったのだろう - >>16
旧ハード復活で釣ればワンチャン… - だから、何でそんな設定値になっていたの？
- >>17
私の推測では
テストするために設定値を書き換えて
テスト終了後に元に戻して無かったんじゃないかな? - >>34
あるある - >>34
それだな - >>34
これだろ - >>34
テストしてないらしいぞ - >>34
富士通製品ってデフォ値が変なの多いんだよね
バックアップが初期値無効とか普通にある - >>285
有効にする場合他の設定値も含めて検討する必要があるからじゃね？デフォルト無効ってのはそういうことだろ。 - >>300
例えばRAIDカードにバッテリーバックアップが付いててもデフォルト値無効なんだぜ
他にもメモリの割当が初期値128Kを1024Mに変更とかマニュアルに記載してたりする - >>34
まさにこれ - >>34
初期値のまんま変えてないんじゃね - >>34
これだな - なんだか残念な話しだね
- 切り替え忘れが悪いんじゃなくて、切り替え忘れを検知する仕組みが必要だね
- あたおか韓国人の嫌がらせか
- 糞富士通にちゃんと賠償させろよ
- Linux だと panic_on_unrecovered_nmi かな
デフォルト 0 の罠パラメーター - >>22
カーネル設定としたら、カーネルリビルドですか。
それは再テストの範囲大きいねぇ。
カーネルですもの。 - >>144
まあ、ストレージ装置なんで、Linux ではなく独自 OS だろうけど。
Linux なら無停止で変更可 - 納品時チェックでは動いたって書いてあるんだから後から誰かが弄ったんじゃないの？
- こういうのって定期的にチェック入れるもんじゃないの？
稼働前にテストしたっきりで以後ずっとノーチェックだったのかな - >>25
稼働させたら後は知らなーいくらいのノリだったんだろ
定期的に障害発生しても問題ないかのテストを行うべきだったね - ノーテストで本番リリースか、さすが富士通クオリティ。
- これ、富士通側の責任？
- >>28
どっちのせいでもないように
作り話し考えてる最中だと思われ - えー
テストしてないの
他にもしてないテストあるだろう
正直に言いなさい - >>29
設定値があるって事はテストしてるはず
つまり想定されてた障害のケース - 設定値変えても記録残さない
ITあるある - これが日本だ！
みたか海外どもめ - >>35
外人「よし，わかった！円を買おう。」 - 設定値って01じゃなくてしきい値でもあるのか
- >>36
当たり前だろ
ログの一文からしか分からないケースだってあるぞ - ネットワーク疎通監視までしかしてなかったとか？
- >>39
heartbeatはやってて、止まってても切り替える設定外れてたのかと - >>44
そう言う分かりやすい故障は流石に切り替わるでしょ。 - はい
人為ミス
損害賠償 - >>40
ジェイコム株誤発注 東証に１０７億円賠償命令が確定 最高裁・・・
何てのがまた起こるのか・・・ - ＞メモリ故障が原因の障害パターンが発生
想定外のパターンが発生?
あらゆる障害を想定しているんじゃないんだな - >>41
設定値を直したら切り替わったんだこら想定内だよ - >>48
なるほど、想定内か。 - 単体でテストしてたのかな
- なんぼに設定したんや
- ファーーーーーーwww
- どうして自動切り替えできない設定値になっていたのかが書いてない
- >>49
そういう作業って記録残さないんだよね～ - 事故ってほんとうにささいな所で起こるもんだよなぁ
- 結局富士通か。あまりタイトな設定値にすると誤作動するから設定値弄ってたんだろｗ
- >>51
これもあるあるだな。
フェイルバックするの面倒だし - 誰がいじったのか
- 切り替わる設定はした
だが、そのあと設定値をいじくって切り変わらなくなってた - ダメな会社だな
- ズコー
- テロ確定って事？
- とりあえず、取引できなかった1日分の金利を補償して
- むしろ毎週自動的に設定値が変化してプライマリが変わるぐらいの設計のほうが正しいってこと？
バックアップ機に切り替わったとしても１日の取引に耐えられるかの保証はないわけで
- >>61
普通はそう
少なくとも運用でそうしてるはず - ヨシッ、アル
- ハートビートは見てましたが心停止したら蘇生せずにそのまま死んでいただく仕様でした
自己責任ですのでういあー自民党
- まあ製品のバグのような
自己申告で異常をHA系に通知とか
そんな構造に普通はせんわな - ゆとり教育の賜物である・・
- まあそんなところだろうな
- 設定ミスにしちゃってるけど、実際の原因を隠してるのかもよ。
あのIT会社は嘘つくからなぁ。 - よくわからんが完全死亡なんかじゃなくてよかったよかった
- 納入時にパラメーター設定確認しなかった奴が悪いだろ
- >>70
こういうのはメンテナンス時に設定値いじくったりする - 実に日本らしい
原発の予備電源ですらアノザマでしたからね - >>71
_, ,_
( ~ ,_っ~) 全くだｗ
' - >自動切り替えできない設定値
いやケアレスミスでした、ごめんなさいで、
３度目のシステム障害が起こる。
問題はなんでケアレスミスが起こったかだろ。 - テストしてねえのかよ
- 色々な事態を想定して事前チェックしているんじゃないのか？
仮にも世界の主要市場の１つだというのに情けない - やはり人のミス
- 設定いじってテストして戻し忘れ、かな？
- これがサイバーテロか
- それがイジられたのがいつか
ログ見りゃわかるだろ？
ミスなのかサボタージュなのか
さっさと調べろ馬鹿 - ほら、故障したのはサムスン製メモリだろ
- 実稼働時の設定が正しいかチェックする仕組みすら無いとか。。。。でホントの原因は？
- どこの外注が殺されるんや
- しきい値の設定ミス
とのこと
- 誰かが切り替わらないように設定をこっそりイジってたって事じゃねえの？
- 記憶装置のバックアップシステムはSANとかあるけど
メモリのバックアップシステムとかないの？ - 呆れた
- 超絶人災にしか見えないんだが、日本大丈夫なのか？
- でもこれで1日止めるのはおかしいだろ
バックアップに切り替わらないなら切り替わらないで、バックアップを手動で切り替えて
使えないもんなのかね - これだけで丸1日とは。
調査とはいえ、半日後に復旧出来なかったのにも問題あるな。 - 日本は起こらない前提主義だからな
こういったものは想定外になる - 設定値ヨシ！
- これぞジャパンクオリティー
そもそも障害自体が想定外だからな - >>100
「障害発生は有ってはならない」が故にトラブルシューティングマニュアルを作らない
真顔でこういう論法を説く奴がいたから怖い…まあ25年前の話やけどな。
- オペレータが設定間違ったんだろうな
- 完全故障は切り替わるけど
性能劣化では切り替わらんってことかｗ
システムの設計ミスだな - 作業ログは残ってなかったのかな？
設定値変更もプログラマブルにするのを標準にした方がいいね。ansibleとか？ - (´・ω・｀)頑張って擁護してきたけど、もぅむりぃ
- ケアレスミス一個で起きたってことでOK？
- >>107
設計ミスかもしれない - >>112
ケアレスミス一個で止まるシステムなら
当然、設計も欠陥品だろうな - >>107
そういう作り話しにしようとしてるってことでOK - 要するに形式的に設備は構築したけど
ストレステストはしてないってことだろ - 現場猫やったやつ顔面蒼白だろこれ
いやもう「消された」か
- 東証は賠償請求していいと思うんだけどなぁ。
- >>110
作り話しで賠償訴訟起こすの？
ムリっｗｗｗｗｗｗｗｗｗ
- アローヘッドのデータセンターて何処にあるのかな、まさか韓国じゃないだろうな
- >>111
関東 - トランプコロナの情報掴んで市場の混乱を回避するため
- >>1
ＦＡＸで確認しろよ - 設定値とか言ってるけど要はスイッチが入っていませんでしたｗ
- デフォルトの設置値が切り替わらない値だったのかな？
- レベル低い
こんなんだからデジタル庁とか
恥ずかしい仕切りされるんだよ - これで誰も責任取らないつもりなんやな
- >>124
富士通「引き渡し後に東証側がやると思った」
東証「そう設定されて設置してくれたと思った」 - >>129
東証側はこんなところ触らないでしょ
どう考えても富士通側のケアレスミス - >>140
って言う作り話しだよこれ - >>156
作り話だと思う理由は？ - >>166
なんで富士通に責任は無いって
「原因（？）」が分かる前に言ったの？
わざわざ記者会見開いてｗｗｗ - >>175
市場運営の責任の所在が東証にあるといっただけじゃん
作り話とする根拠がそれだけならガバガバすぎでしょ - >>129
あれ思い出したわ
現場猫のオアシス運動ｗ - >>160
富士通っぽくてﾜﾛﾀ - メンテ時に一時的に設定変えて戻し忘れたとかかな
- これもう富士通の責任だろ、下請けガーとか言っても仕方ないだろ
- 設定値（）
じゃあログにはディスクのメモリエラーはいたやつ残ってるはずだな - あまりも仕事が暇だったので
凍傷システムサービスの社員が設定をいじったと言う事なのか - あの日東証がやっていて、トランプコロナと発表されたら、東証はどうなってたかな
- [config]
auto-kirikae=false - スレタイ見て「はあぁ⁉︎」って声出ちゃっただろ
恥ずかしい - ちゃんとやれとかしっかりやれとか確認したのかとか自分で何一つやらずただやれと命令するだけ
そういう連中が現場の手を動かす人間の三倍の数いて妨害に等しい割り込み処理をずっとしてくる
日本は本当におしまい。老人が消え去る15年後ぐらいにやっと持ち直せるかどうか… - PCサーバーなんかで手工業的にシステムを組むから
トータルで高可用性設計のアーキテクチャの製品を使わないとｗ - 仕様です
- 特定できたってすごくない？日本の技術力の底力をみたわ
- バックアップシステムはあります。一応・・・。
- チャンコロ社員「国慶節のプレゼントｱﾙ」
- > 稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。
切り替え出来てた事を確認してるのに切り替えしない設定に変わってた
- >>145
死活監視の途絶なんて理想的条件
もっとハードよりの泥臭い条件のテストすべきだった - これ1日に故障したのはたまたまなん？
- >>146
壊れないハードは無いという大前提だしね - >>146
中国のイベントと思っちゃうよな - またARROWSか
- 東証ってそのうち「うちのお父さんが危篤なんです！」とか
「寝てないんですよ我々だって！」とか
「こんなに一生懸命やってるのにみんなボクらの気持ちを分かってくれない！」とか言って泣くとか
やり出すと思うｗ - 動作確認しないのか？
それか、設定確認とかしないのか？ - 冗長性を確保して、協議多数決システムを採用しないと
- >>151
上座に忖度する日本人には無理 - 日本はどの業界も新設には熱心だけど改修メンテは二流の仕事って意識があるからな
- >>152
2流とは失礼な。
3流ならまだマシ、現実はボッタクリや、詐欺師扱いだよ。 - 分からないでもないが
なぜ東証の人間と打ち合わせができてなかったんだろう - 設定を変更したログみたいなのはないのか
稼働前のテストも何か怪しいな - いやーよかったなバグじゃなくて。
日本の技術力を見せつけたわ。
設定どおりに動いたんだから。 - で、1日の売買代金2兆補填するの？
- 無能の極み
レベルが低すぎて怒りも湧かない、ただ笑うしかない - 本当ゴミみたいな会社だな
今後重要なシステムを富士通に作らせるのは禁止しろよ - 外資企業のシステムガーとか言ってたのは何だったのか
- 銀行システムはもっと作りが酷いんだぞ
タンス預金最強だぞ。 - >>167
やめろよ
銀行システムだって切り替わるとき全支店に保守員派遣して問題がないことを24時間監視してってやってんだぞ
関係ないのに予行演習やらされる支店もあるんだぞ！
東証よりましだろ - じゃあなんで手動で切り替えなかった
どうせウソなんだろう - 責任取れよ富士急
- 設定値ってどういう値でリリースするか設計書あるよね
- >>172
なんでこういう設定にしてあったか知らないけど、
デフォルトが自動切り替えしない設定で、
それを知らずにデフォルトで使ってたんじゃね。
ユーザーはデフォルトが自動切り替えするものだと勘違いとか。 - >>182
テスト時にはきちんと切り替えできてるからそれはない - >>218
なんかのバージョンアップ時に設定がデフォに変わったとかよ、
意図せずに設定が変わってたとかあるよ。 - それで１日止まる？
- とりあえず富士通が潰れるくらいの賠償をさせるべき
低品質なシステムを作り出す温床となっている会社は社員ごとシステム開発の仕事から追放したほうが良い - 再発防止にはデジタルエキスパートのデジタル庁しかないのであります
- >>177
USBがなんなのか説明できる庁ならいいな - なら手動で切り替えられたはずだな
作り話だろｗ
テストでうまくいって設定値戻すとかバカでもありえんわｗ - 受入検査していないからだろな
丸投げの代償は大きい - こういう金融系はparallel sysplexとかtandemとか
ハードソフト一体で高可用性の製品を使ってるかと思ってたよｗ - 絶対だれかイジってるやん
ログさぐれ - 阿 呆
- 東証ってそのうち
「うちのお父さんじゃ無くてお母さんが危篤なんです！」とか
「寝てないんですよ我々だって！」とか
「こんなに一生懸命やってるのにみんなボクらの気持ちを分かってくれない！」とか言って泣くとか
やり出すと思うｗ - まあ自分のPCの設定なんて定期的に見たりしないしな
- よくジョークで、スイッチ入れ忘れかといじるが、本当だったと、、
- ヒューマンエラーだな
どんなシステムを作っても
使う人間がバカなら無意味と言う好例 - どこの派遣社員がやらかしたのかな？
更新してもらえないなｗ - 設定ミスか？
よくある話だな - 東証はともかく
証券会社は富士通に損害賠償請求すべきだろ
この日売上ゼロなんだから - 普段から再現性の低いメモリエラーが出てたんだろ。
- 東証の会見を信じるならって前提だけど
午前中に手動フラグで場は再開できたが証券会社との協議で途中再開するリスクのが高いってことで終日閉鎖にした
むしろ場中に停止してたほうが当日再開できたかもね
寄り付き前の注文があって取り消し再発注で証券会社側でなにか起こったら大変だし - >>195
まぁわからないでもないけど、なら寄付またぎで故障したら次からも終日止めますよってことだよな
やっぱり途中からでも動かせよ。時間を区切って10時からとか後場からやりますでいいよな
まだ嘘ついてそう - >>1
原発レベルで絶対止まっちゃいけないシステムなのにあらゆる事態想定出来てなかったって事だよな
別の業者に変えろ - 工作の可能性は？
- いろいろ想定してそういうパラメータも用意するんだろうけど
自動切換出来ない設定値ってよほどの時にしか不要な気がするけど
なんでよりによってその設定にしてあったんだろうか - >>200
デフォルト値 - 人的災害
- 自動切り替えをせず確認後オペレーターが指示を出すは割と有る。東証の組織のどっかで仕様変更が出ていた可能性もある。
- 年収800万の富士通ならこんなもん。
現場で作業してる下請けは人月50万だろうw - テストはしたけど機器入れ替えやメンテのときに弄ったとかね
- 何のための丸投げなんだ！
- サムスン製のメモリとかじゃないよな
- 理系は完璧にできて当たり前、完璧にできないと0点
文系は完璧にできなくて当たり前、完璧にできて100点
だから評価や出世でどんどん差がついていくってのはあるよね - >>211
ねーよ
出来る奴は評価高いし出来ない奴は評価低い
文系理系とか関係ない - まともに評価出来ていないということ
- とりあえず売買できなかった日の信用金利分は補償しろよ。バカじゃねーのか東証の宮原。
- 本番環境と同じテスト環境作ろうとしたら莫大な費用がかかる
それをユーザーは負担したくないからこんな事が起きる - >自動切り替えできない設定値になっていたという。
あるある - 切り替えのテスト項目にこの事象での切り替えは入っていたかどうか？
- 本当か？
まあ、そう言うことにしておけば丸く収まるか - 馬鹿じゃねーの？
- 東証がわざと切り替え出来ない設定にするタイミングなんて無いでしょあんの？
- >>225
切り替わらなかったらどうなるか（まさに今回の事例）の試験をやるには、切り替わらないという設定が必要。 - >>239
稼働前にテストしてるって書いてあるんだけど - >>258
異常系のテストなんてとことん抜けるよ
テスト仕様書に書かなければやらんからよ - >>264
正常系以外は全部異常扱いにするシステムじゃないと駄目だわな
let it dieってやつ - >>258
稼働前に、「切り替えのテスト」と「切り替わらなかった時のテスト」でどちらを先にやったか次第。後者→前者がこういう事故が少ないのは確かなのだけど、
前者はシステム構築の終盤、後者はシステム完成後の運用マニュアル作成時に行うから、
設定戻し忘れで、という事態が起こる可能性は十分ある。 - >>225
外部設定できるって事は東証がイジった可能性もあるね
納品物のコピーがあれば富士通は助かるかもね - 完全にFのチョンボだなー
設定誤りの問題というより検出されてないことが問題。
定期的なBCPテストとかもやってないことが明確に分かった。
休日は取引無いから比較的テストしやすいはずなのに。 - 自動切り替えのテストを省きました
- ネットサービスとしては極めて短時間の運用で
いつでもメンテナスしまくれるくせに何やってんだよ - ドコモの空売り仕込んでた奴で自殺した奴いるだろこれw
- BCPテストしてないのは東証の問題だけど。
- ホットスタンバイが有って自動切り替えするとか贅沢運用なので待機系は通電しないは割とある。ホットスタンバイだと2個ライセンスが必要だが止めて有ればライセンスは一個で良い類い。だからiOのエラー割り込みとかデフォルトでパニックダンプ取っておしまいとか多い。
- >>232
東証レベルでそれやるかね？ - リカバリテストか何かして設定前のデータ戻したのかな
- 「自動切り替えできない設定値になっていた」という原因はなんだろう？
- 富士通のシステムは全てチェックし直しだな。
- 手動で再起動出来なかったのはその日の９時前に受け付けた取引が消える恐れがあったとか
約定は翌日になったら全部失効することになるから
後で面倒なことにならないように全日取引停止にした可能性あるぽいハード・ソフト面の問題もあるけどそれ以上に運用面のデメリットが大きかったと
- >>240
これもシステムの設計ミス
溜まった注文が副系に透過的に行ってない時点でおかしなシステム - 設計、設置、メンテナンスは富士通だとして、日常運用は何処がやってたんだ？
自火報で言うところの音響止めてました的な奴ではないのか？ - 新聞にはメモリーの故障テストはやらなかった書いてたぞ
- >>243
想定してないから対策もしてないんだな
原発の電源喪失と同じだな - >>243
○○テストはやらなかったのか？ってのは部下に責任擦り付けたい上司が使う常套手段だぞ。 - 凍傷システムサービスのオペミスかもしれんな
ただお得意様だとメーカーの責任にされる場合もある
原因不明が落としどころか - テストした後設定ファイル戻すの忘れたんだなwwww
- >>246
逆だろｗ
テストした後戻したんだよ - >>246
テスト時ってのは納入設定でのテストなんで普通設定値は触らんとです
例外として設定値はこれでと指定ある場合に限り設定値を変更してそれができることを確かめてから設定値を戻すと言う作業になります - 1度位リハーサルしろよｗ
- バックアップみたいなものがあるシステムって主と副を定期的に切り替えたりしないのかな
片方が更のまま次の更新時期が来たらもったいないのに - ハードの設計ミスや故障じゃなかったんだね？
整定値ミス？ - サーバー入れ替えたら初期値のままだったとか？
- まあ一番誰も責任取らずに終わるのがこれなんだろうな
- システムエンジニアが恐れているやつ！！
設定一行で、数字1文字の間違いで
こんなことになっちゃう！！ - 本番で動いてるシステム触ってテストとか戻し間違えても動かなくなるかもしれないから相応の金を貰えないならやらない
- >>261
普通に考えたら、本番機の設定値をわざわざ「自動切換不可」にして自動切換え出来ない事を確認するなんて怖い事しないからなｗ
東証が本番環境でそんなアホなことするとは到底思えない - >>297
機器のファームレベルの設定値をユーザーがいじるのかね？
個人で使ってるPCじゃあるまいし。
普通は納入時に自動切り替えONにしてそのままいじらんぞ。 - >>306
こういうとき記者会見に突っ込めるような専門家を臨時で雇えばいいのにねえ
なせマスコミはそういうことしないんだろう - シミュレーションぐらいしとけ
- まぁこんなもんだよ！
あんまり責めるとどこもやってくれなくなるよ！ - このシステムは偶然動いていました
- >>265
東洋の奇跡ってやつか - 何でこんなタイムボカンシリーズの自爆スイッチみたいな設定があるわけ？
- >>266
Windowsだっておせっかいな自動機能を56すような設定があるのと同じだ。
自動を嫌う客がいる。 - 東証「自動切り替えできない設定値」
東電「非常用電源も水没」
日本のトップ企業の危機管理はさすがだね
高給取りなだけあるわ - 本当にシステムに問題があると短時間に回復しないから
パラーメータなどの初歩的なミスかも
凍傷システムサービスのミスかも - そもそも客のシステムを勝手にテストなんて出来ないっての
- 東証レベルは贅沢設計だから自動切り替えじゃなかったのはシステムの目玉をミスったわけでまあF様も落穂拾いかな？
- こんなことあり得るの？
さすがにテストや訓練するだろ - >>274
原発みたいに
絶対大丈夫なはずの前提でテストしてたら無意味なんじゃない？ - ネトウヨ「中国のサイバー攻撃だ」
富士通「テストする時間も金もなかった」 - 普通に富士通がケアレスミスしてると思うわ
- アホーヘッド?
- 誰が設定をいじった？
深く追求するのは止めましょうかね - テストやるのが糞面倒で金かかるから適当にテスト環境作ってやった事にしたから起きた事
- 自動切り替えの条件を細かく設定しすぎていたんだな
Elseに行った場合に切り替えしない様になっていた 応答あるけど正常でない場合も切り替えないといけなかった - こういうの具体的に数値を示してほしいんだよな
そしたらリアルで信ぴょう性が増す - 安倍どーすんのこれ
- ４４４２の株が上がっている
地味だが重要な仕事だ - でもこういうことになるのって
再現性や何故かチェックしてもエラー無かったのに切り替わったとか頻繁にあったのかも知れん・・・
やっぱり怖いもんだよね - ケアレスミスではなく
切り替えテストのテスト項目にそもそも入れてないと推測
テスト仕様書の作成者は今頃・・・ - >>302
契約期間終了で別会社だろうな - 切替のテストやった後に、作業とかテストで、一時的に変更して戻し忘れたんじゃないかね
- これは富士通のミスだろ
まぁ、東証の責任もあるだろうけどさ - これだから富士通のスマホは素人判断で大丈夫？ってことになる。
例のなんとか「～たかた」が盛んに富士通スマホを取り上げて煽って
いるがどうもアヤシイ？。やっぱ、スマホはシャープに限るかね？
いま、ヤフオクで狙っているんだが・・。ｗ - >>305
そもそもスマホは国産がゴミなのでどっちでも同じよ - 金と命の関わるシステムはやりたくない
- 問題は、手動で切り替え出来なかったとこだろ
- もう富士通やめてIBMにやらせたほうがいいよ
- こんな設定にしたやつは誰？
- >>1
前回のテストはいつですか？
今は亡きワトソン博士はなにやっていたんですかね - テストは時給１５００円ぐらいの派遣にやらせてるからな
ドキュメントに名前書いてあるけどもう他行ってるだろうし - >>323
しかも東証だしな。何人ものSEが死んだ噂は業界にいたら一度は聞いたハズだ。 - >>323
派遣ってもグループ会社だろうから
辞めてさえいなければ追えるぞ
流石にこの辺のはガチ外部使わない、普通は！ - >>344
全然別の会社もざらに居るぜ
あと転職してるのも - 切り替えテストは行っていた
定期メンテナンスで誤って設定を入れ替えた模様
複数の業者に委託しており現在調査中 - >>324
切り替えテストが本当に切り替わるテストだったか？ - >>328
そのように報告を受けている - >>333
その報告が裏付けは無いわけね？ - >>324
怖すぎｗIT土方のファイルの管理クッソ汚いからな気を付けないとね - >>339
取引始まって以来のミゾユウの事故なので有ります - >>339
いくら案件単価は月80万でも、年収は残業込み額面300万円台だからな
そこはサービス外ですわ、請負元委託元で整理しろってこと - >>324
どこの情報? - >>1
パイロットみたいにチェックリストを作って毎回確認しろ - >>325
何しても無駄
結局、勝手な事する奴が一人でもいて、事が起きたらただの無駄
全員馬鹿だと思って対策取らないとこの先も同じ事起きる
SEではないが、トヨタ関連でいつまで経っても人死になくならないのと同じ - 何やねん意味ないじゃん これが通常運用か
- 設定した犯人は誰なの
- 澁澤榮一の紙幣は縁起が悪そうだ…。
- ハードの原因で切り替わらないという説明した人たちとは何だったのか
- >>330
いい加減なウソツキの責任逃れ - >>330
土下座決定かな - でも東証が止まってくれたおかげで
客に「あの巨額の費用をかけたシステムでも止まるくらいですから、この程度のシステムで文句いうのは・・・」って言えるからありがたいです。
- おっちょこちょいだなあw
- 死活監視で通信途絶の切り替えするけど、
死活監視は正常でメモリ故障っていうパターンが救えてなかったって話かね。 - 中国企業に定期メンテナンス依頼していたんじゃないか
- 誰が設定して誰が責任取るのかね
証券会社は東証に賠償請求しろよ - 俺も証券系のシステム関わったことあるが二度とやりたくない
金は渋い上に泊まったらどうするんですか？って詰めてくるからな
しらねーよw見合う金を出せw - なんという初歩的ミス。責任者は責任とれよ。
- 全て古河が悪い！
- >>1
で？ その切替用の設定数値ってのは手動なの？
それとも自動で変動するの？前者なら話は変わってくるぞ。
- あー本番機の設定漏れ？
テスト機の修正が、本番機に反映されて無かったとかかな
混乱してる時期だろうからなあ
まあ、プロジェクト管理に失敗したってことだな - >>352
それか、本体とサブが実際切り替わると
何か不都合があって設定を変えていたとかか？「危険度９９超えないと、私は出撃しないぞ！」みたいなｗ
- >>371
単純に後で追加されたとかで、設定漏れじゃないかなあ - しかしなんで日本はお金出さないのかね？
オーナー企業なら自分の金だけどこの手の企業って自分の金じゃないじゃん？
外資なんか他人の金だからとガバガバ金くれるのに - 中途半端に死んでるときってバッチが動いてる途中でも強制的に切り替わるの？
- >>354
バッチというかトランザクションをキャンセルして、
切り替えてから再実行。 - >>354
システム的に運用ができているなら切り替わらない
処理速度が一定値以下に落ちた場合切り替わる
この場合保守に連絡しろという話になっている、俺の知ってるとこは - 手動でできるという時点で答えは出ていたのかもしれない
- 原因追求に本来なら現場にこないエース級を投入したら、あっという間に設定違いを見つけたんだろうな。
こんなミスのためにオレを現場に呼ぶなて感じでｗｗｗ。 - ミスなわけないだろ
誰かが故意にやった
もう誰だか見当ついてるだろ
一般に公表されてないだけ
バカが大騒ぎするから - >>358
お前半沢見すぎな - さっぱり理解できない、、
ドラゴンボールに例えてくれ - >>360
スーパーサイヤ人になれない理由を散々説明された後
そもそもサイヤ人でないことが判明した。 - >>360
もチット続くんじゃよ？ - >>360
ブルマ「孫くんを地球に呼び戻してちょうだい」
神龍「ダメだ、拒否された」
ブルマ「予備の願い事 考えてなかったわ…」 - いやー案外こういうのはあるんだよな
ヒヤリハットだわ - >>1
完全に人災だな、パラメータ１個でこの惨状のパターンか - やはり富士通だな
- みずほと一蓮托生！
- うっかりオンにするのを忘れた
うっかり「オフになってる」と伝えるのを忘れた
うっかりオフにしたどれか知らないが、うっかり物の俺としては
「まさか俺みたいなやつに重要な仕事させてたのか…？」ってのが一番疑問 - いいですか皆さん
これはそーてーがいなのであります
これはミゾユウなのであります災害時の保障は致しかねます
- この流れでWindows10の更新批判をみんなでやりたい
- 重大な過失ってやつだ
- 外注先の定期メンテナンスした会社が犯人か
- 運用時に管理権限を持つ人が設定をかえたのだろう
その人を探し出さなきゃいけない - 東証の合言葉
NeverStop
- 故障じゃねーじゃん。人災じゃん。
- しょーもない原因だなぁ
- >>380
システムって完全なロジックだから、最終的な原因はそういうもんだよ。
ただ、表向きには簡略化するために「設定値」つってるだけで、単純な1/0のスイッチとは思えないけどね。 - > メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。
この文だと単なるケアレスミスだったのか、今回の事象に対応できない設定値だったのかがわからん
閾値設定って結局のところ経験則に基づくから難しいのよね - >>384
しっかりしたところだったら設定ファイルを配布するにしても
他の設定値が変わっていないことを示すエビを求められたりするよ
東証はそういう運用になってなかったということ
要はいい加減な現場だったってこと - >>384
どうせオンオフ程度の話っしょ、メンテ時にcfgファイルにbackup=falsって書いたけど戻し忘れたとかさ - 日本品質
- で真の原因は？
- 無能
道具も適切に扱えない猿 - 普通はデフォルトのママで使うのが一番で、設定なんていじらないはずなんだけどね。
設定をいじれば必ずミスが起こる。 - 少なくともシステム管理者権限が無いと数値変えられないだろ
ディスクのキャッシュメモリのエラー見て切り替えるんだから
そうとう上のやつだなこのポカやった責任者ｗ - 自動切り替えができない設定があるのは良い設計だな保守点検もあるあろうから
ただちゃんと確認するマニュアルや手順書注意喚起がないと仇になるな - >>391
保守点検で設定なんていじるのかよｗｗｗ。
どういう機械だよｗｗｗ。
設定なんていじらなくても保守点検できるようになってるものだぞ。 - やはりオペミスか
- この記事タイトル付けたやつはアホ
もしくは、担当者が責任逃れのため原因をすり替えたな。
- まぁ日本を潰すには
東証のサーバー１つで潰れそうってことがわかった。これはやばいなｗｗｗ
- IT業界って頭が悪い人が上の方にいると、やらかした時の重大さを考慮せずに適当に作業割り振るからな、
作業の難易度より重大な作業かどうかのさじ加減が分からんとすぐ集中力切らしてミスるよ - >>402
頭悪いとかじゃないな。
重大な作業ばかりする人に対して即時にその対価を払うことができるならそうすうだろうさ。 - いざというときの魔法の言葉「想定外」
- 指差し呼称しようぜ
- 古河三水会が諸悪の根源だ！
足尾銅山の鉱害がルーツ!!
- ザルすぎだろ
掃除のおばちゃんが電源コード抜いたくらい
おまぬけな結果だったな - 富士通が全部弁償でしょ
- 記事にある「稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。」をガン無視する奴等
- >>411
お、そうなのか失礼 - >>411
稼働前しかテストしてないんだからいざって時に動かない
いずれ起きた障害だね - これ損害賠償もんじゃね
テストやったのか - >>1
システムテストの手順が間違ってたんじゃないかな
何らかの理由で切り替えないパターンを追加でやっちゃったとか - 通常はオペレータ権限で変更できる設定が管理されてるからな 相当上の失態だろ
- 瑕疵じゃん
- パッチ当てて初期値に戻ってたりとか？
- >>416
あるあるだが、パッチ箇所以外は
変わってないことを確認するのが当たり前だから
やっぱり普通は起こらないだろう
低次元すぎる - >>430
おれもそれを疑ってるけど。
デフォルトが自動切り替えしないていうのもクソな仕様だけどな。 - >>416
フツーパッチ当てたら最初に見るものは設定だからネーナｗ - 検収では切り替えが動作していたが、今回は動作しない設定になっていたってことだね。
誰かが書き換えたのかな。。。
- 旧財閥の政治銘柄
- 金ケチったんじゃね？
- 原因が今まで分からなかったということが大問題だろ
福島原発の設計図がどこにあるかすら誰も知らず
協力会社に全て丸投げし
東電社員はただ運転ボタンを押すだけだったので
メルトダウンが起きたのと同じ構図だろ - >>422
中の設定値のどうこうなんて、
原因総当たりで調べていかない限り
そうわかるもんじゃないだろ。 - 切り替えのシミュレーションやんなかったのかやれなかったのか
- なにも言うことはない
- 面白いこと言うじゃねえか
ちゃんと動くかいま一回止めてみろ - ほれみい、メトリックの設計ミスやんw
- この件で外国人投資家が減ったら大問題だぞ
どうすんの？(´･ω･｀) - >>431
外国人投資家はジャパンナッシングで気にしてないそうだぞ - 言い訳ばかりしてた富士通工作員が酷かった
- 人工知能に仕事取られるんじゃね
- ドカタに図面だけ渡して作らせたらこんなもんだよ
- RAID障害の場合ならありうる設定だけど、RAIDのメモリーコントローラとRAMの障害ならフェイルオーバーしないとダメだろ
- だからよ設定あれほど
- ちゃんとしたシステム運用やってる会社なら
品質管理グループみたいな部署があって、設定ファイルなどを更新する際は
設定に間違いが無いかレビューで第三者チェックする体制が整ってる
東証＆富士通はそうではなかったのだね - ネトウヨ「工作員が設定を変えた！」
- つーか最初のメモリ云々の説明って何だったの？思い込み？
- >>441
ハードの故障原因とシステム停止の原因は別 - >>441
メモリ故障は起きてる。それが起因なのは変わらない。故障って厄介なんだよ。頭の隅に置きながら対処して、ロジックに問題ないことを確認しながら徐々に確信に変わるという
- まさかまさかの本番環境で変更してたのをサブ環境に反映させていなかった？
- このあと設定全チェックするんだろ
- 原因が特定出来ないから設定ミスにするパターンだろ
設定とか停止した時にすぐ確認するから東証のゴミが原因特定して報告書出せってうるさいからな
- ヽ(・ω・)/ｽﾞｺｰ
- NETFLIXを見習おうぜ
- ディスクシステムのメモリーエラーらしいけどディスクシステムはどんな状態だったんだろう? ディスクシステムからエラーが帰ればさすがにフェイルオーバーは作動するだろう
- プロマネだがこの手の話はよくある話で原因は予想通り
しかし事故ゼロは現実的に難しく、そんな会社があったら教えて欲しいぐらい
最終的には運、不運の問題ってのが私の結論 - >>455
原因が何であれ、何かがおかしいという判断は最終的にできるわけだから
監視の正しい閾値を設定すれば自動切り替え等はできてエラーを包括的にカバーできる - >>464
人間がやる作業に100%は無いって話目の前に押してはいけないボタンと認識してても押す人は押してしまうからね
- >>505
100%はないのはその通りだけど、富士通は2012年にも類似の障害引き起こしてんだよなあ
監視設計が正しくなかったんじゃないのかってこと - >>530
あれ類似か？違うだろ - >>505
それで人が死んだら人間のやることだから仕方ないは通用しないよ。今回はそのレベル。反対売買出来ずに追証払えず自殺した人がいてもおかしくないレベルよ。
- >>543
その理屈が通るなら
自動車も飛行機も全部止めないとな - >>553
まあじっさい737MAXは全部止まって大変なことになってるわな - >>455
ド素人の素朴な疑問だが、
こういう設定ってフールプルーフに出来ないものなのか？ - >>488
ある程度は出来るが100%は難しいね - >>515
サンクス - >>455
社長の話だと当日中に復旧は見込めたがホルダー含めて相談した結果、混乱させないように1日落としたらしいから、起因は明らかになってはいたと思う。
当日午後には復旧できることを確認済みだったろうさ。
リカバリーが出来ただけ良いと思うよ。 - >>455
あんた2流だな
1流は事故を予測して行動するんだぜ - >>576
自分の脈拍止まったら
昇天なう
ってツイするやつ思い出した。 - 下請けに丸投げ丸投げで
実際にコードを書いてるのは
専門学校卒の最底賃金の派遣奴隷だからなIT業界の闇よ
- テストシナリオが全然パターン網羅してないんだろう。
HPならありえないわな。日本は多重下請け構造だからテスト実行したのも外注だしな。
- 日本の会社は利益にならないところは限界まで削る悪い癖があるんだよ
レビュー体制の不備ってのは大概の日本の会社に言えること - 設定ミスが富士通にとって一番被害が小さいのかな
- >>462
個人的には、何か理由があって自動的な切り替えをしないようにしてた、
っていう可能性があるんじゃないかと思った。 - どこかで設定をいじったアホがいるか
自動切り替えが出来るか試験せずにこれまで運用してたかどちらかだ - ヨシ！案件
- それって原因じゃなくね？
少なくとも東証が欲しい回答じゃないね？ - その設定値が想定外だったという可能性は無いの？
単純に富士通側のケアレスミスならその部分に関わった担当者は病みそうだな - ほうほう。
つまり、設定値について、テストしないで本番に臨んでいるということだね？
他の設定は大丈夫かね？
- フェイルオーバー先が開発環境
- うんこ～
- 信頼できるシステムならそんな設定に絶対しねーよｗ
まともにテストしてないんだろ - おまえらがまず疑問に思った方が良いのは、なんでメモリ障害のときに切り替えをしないという設定があるの？ってことだ。
- >>479
単純に異常終了してくれってシステムも多いだろ
多重化だって東京のシステムが異常終了したら大阪のシステムに切り替えるとかある訳だし - どっかで引継ぎミスがあった感じやな
2019年の改良工事が怪しい - >>480
あー、そういうのはあるかもしんないね
2012年も類似のことやっておいてなんでだろうとは思ってた - もっと大きい問題でそうな予感。
試験時に自動的に切り替えるともっと大きい問題が出るとか見つかって、そういう設定にしてたんじゃないか？ - >>481
フェイルオーバーしても再びフェイルバックして延々繰り返すケースもあり得る - >>493
フェイルオーバーを延々繰り返すてのは両方の機器に問題があるてことだから、
それは正しい動きじゃないの。
フェイルオーバーを延々繰り返すのがダメだから自動切り替えしないてのは、設計思想が間違ってる。 - >>526
フェイルオーバーとは書いとらん、フェイルバック - >>481
俺も何となくそう思った。 - >>481
隠された手動切り替え手順がががが - ハードの設定は自動化されていて人災が起こらないようになっているところもあるんじゃないの
- 不治痛「テヘペロ」
- 今回これが初めての事象ならまだ許されるけど、'2012年も類似の事象発生して同じように停止するはめになってるからね
- 特定するのおっそ
- 誰だよ弱にしやがったヤツは
- エラー訂正できないレベルのメモリ故障って普通に致命的だと思うんだけど、多少故障しても通すぜみたいな閾値があるの？
- >>491
x86 だと CPU に割り込み発生して、そのあとの挙動は OS が決める - >>491
ハイエンドのUNIXサーバ系だと複数回のエラーを検出したらモジュールを切り捨てる - 過去にメモリモジュール交換した事があったりして
交換中にフェイルオーバさせたくないから設定弄る→そのままで運用とか - めんどくさいことは全て奴隷に丸投げ
東証の人間はボタンを押すだけで丸儲け
これじゃあいつか破綻するわなｗｗｗｗ
- メモリーが死ぬってあんまり聞かないから想定してなかったんだろな
- >>501
いや、サーバー用メモリにはみんなECCがついてるくらいには、故障して当たり前のモジュールなんだが…… - >>501
というか、メモリがしぬなんて利用者側（メーカーでないという意味）に想定させる必要ないだろ。
なんで製品の内部の部品のことまで考慮しないといかんの。
だから原因は別のことだよ。 - >>501
普通によくある話やろ - こういう東証レベルのシステムってメモリ何枚刺しなの？
- >>502
サーバーの話じゃない - >>502
メモリはメモリでもディスクのキャッシュメモリだろ今回ｗ - >>523
つまりＨＤＤが死んだのか？ - >>537
違う - 次やらかした時の言い訳がたのしみ
- つまり悪意のある誰かが設定値を弄ったということ？
それなら刑事事件だな。コナン呼べよ - メモリ3重ミラーしてるから大丈夫っしょ？という監視設計なのかもw
- >>1
「メモリ故障が起きたら切り替える？Yes/No」
みたいなそのものズバリな設定じゃなくて
「どんなイベントが起きたら切り替える？」
みたいな設定じゃねーかなと予想 - まあ予想通りだな
当日ハードじゃなくてソフトの可能性あるよと5chで書いたらなぜか叩かれたが
往々にしてシステム障害なんてハードじゃなくてソフトの問題なんだよ - 故障の通知が出ればいいので実際に壊さなくても試験はできるじゃんよ
社内に同じ規模のハードウェアくらいあるじゃろ - 前の配信みなおしたけど、フェールオーバーが何故出来ないかについては、さらに確認するって話になってるな
で、設定値が原因だったってことか - >>521
設定から原因は推測できていたけど再現テストに手間取ったのだろうね - 本当にそんな単純な原因だったのか？
実は原因が分からず誤魔化しているのではないのか？ - >>522
切り替え機の中にHuawei製の謎のチップがwww(´・ω・`) - >>528
ありそう - ハードウェアでも故障判定に失敗することがある
素子が短絡とかオープンなら簡単検出できるんだが
中途半端な抵抗値を持った故障モードに入ると
電源止まらずに発煙して大騒ぎになった - ディスクてETERNUSなん？
- >>531
東証が会見でETERNUSって言ったらしい - >>539
素直にEMCにしとけや。 - >>541
富士通にシステム発注するのに
「おたくのストレージ信用ならんからそこだけEMCでよろ」
なんて言えんやろw - >>545
NECは某携帯会社からストレージはEMCに使うことを前提にシステム発注されたぞ - >>551
そうなのか、無知ですまんかった
そういう事もあるんだな - >>551
コストカットと不良品対策が必要なんだろ
東証は富士通1000倍プッシュの事実上のマネー全額言い値ってこと - 皆富士通を悪く言ってるけれど富士通はちゃんと金だけ中抜きして下に仕事を丸投げしてるからね
だから悪いのは富士通じゃなくてこの仕事を投げられて実際に作業をしていた末端でしょ - >>532
末端がきちんと仕事しているかチェックする責任は富士通と東証にあるんだよ - >>546
富士通も東証も末端の会社のことは分からんと思うぞ
そもそも何次請けまであるかも分かってないと思う
俺がIT業界で働いてた時は偽造名刺を持たされて下請け会社の社員と偽って現場に入ってたりしてたからな
マジで中は無法地帯でグチャグチャの状態だったよ
もうIT業界を辞めて10年ぐらい経つから今はどうなってるかは知らんけれど - >>567
俺なら金に合わない仕事はやらない
ちな今回の出来事そのものは俺は予測済み - >>582
末端の小さな会社だと金に合わないからやらないとかはできないんだよね
それやると次から仕事が回ってこなくなる可能性があるから
だから営業が何でも持ってきて技術者が客先常駐として客先で作業をするんだよ
俺はそれが嫌になってIT業界を辞めたけれど - 取引停止の翌日普通に日経上げ始めて安心した
- フェールバック許さない設定する
今回はそれ以前の問題 - 切り替えとか要らんねん
普段から並行稼働
片方障害で能力80％になる - 最初、東証は富士通に責任を求めないって言ってたけど
どう考えてもそんな訳にはいかん状態だろ(´･ω･`) - >>549
裁判になると公に出来ないことがあるからだろ - もうなんか恒例イベントと化してて
富士通絶対なんかやらかすって信頼感出てるの不謹慎だけど草 - 設定してなかったってことはメモリ障害を想定してなかったってことだろ
設定したやつが悪い ってか上長ごとお叱りだな - なにをみてヨシって言ってたんですかね？
- ハードウェア部門「メモリエラーからの復旧テスト？ソフトウェア部門がやるだろ。」
ソフトウェア部門「ハードウェア部門がテスト後に納品したんじゃないの？」 - >>561
ストレージのメモリーエラーはストレージのドライバーソフトがやるからハードウェア部門がやるべきじゃね？
ソフトウェア部門なんて外部装置の面倒なんてみないぞ。 - >>561
どっちもやるだろ - >>561
これ、マジでこれだと思う - リダンダントなので大丈夫です、任せてください！
からの
障害で止まりました、さーせん - これあれだろ、しきい値低くするとエラー吐く頻度が上がるから都度呼ばれるの面倒でしきい値高くしたら切り替わらなくなったんだろ。
- >>563
あるあるw - >>563
誤検知の警報がうるさいからとブレーカー切ってた航空機事故があったな - 所詮は 機械のすること 人のすること だから誰も責任を負わない
そんなもんやわ
- 稼働前派ちゃんとできてたんだか優秀なシステムじゃん
- PC用windowsはメモリーエラー出たらどうなるの?
- about:configで設定してないから
- 人による初歩的なミスなん
余計信用できんわ - >>573
なんで他人のやること信用してるの？
誰なら信用するの？ - >>573
人間がやってることに絶対はないよ
夢見すぎなんだよな - こういう2重のシステムって監視部分が故障したかどうかチェックする監視は要らんのか
- >>575
ストレージも２重化してサーバーも２重化すればいい。
監視部分てのはサーバーだから。 - アホしかいないとこうなる
- 共有ストレージはクラスタのどれが現用になるかの調停に使われてたりする。なので共有ストレージの故障時は別の調停手段に切り替えるとか、その辺りの設定なのかな。
- 富士通製のサーバー使ってるとこは皆この設定確認した方がいいなｗ
- パラメーター設定をミスってたのか
- 監査とかやってないの？
設定値の確認とか基本の基だと思うけど - 本当に設定なのかね
別の問題なのに市場影響とか考えてそう言ってるような… - 富士通製のサーバーてソラリスで、ディスクの監視ソフトてVxVMかね？
- 富士通担当責任者の処遇が気になる アーメン
- >>592
ボーナス無しだけで済めばいいね - >>592
誰も責任取らないよ
そんな国になったよ日本は - どうせ必要になる事ないだろw
と思って設置業者が設置だけして設定せず
あい！作業終わりやしたー！
つってそのままなんだろ - >>1
じゃなんでリリースしたの？ - 不実ぅだな。
- どうせ何次受けかの下請けエンジニアだろうな
上層部文系幹部は逃げの一手 - 切り替えされないようになってますけど何ですか？
さぁ？俺が来たときにはそうなってた。
構築時に理由があってそうしたんだろうけど、
経緯知ってる人ももういないし、そのままにしておこうぜ！ - 設定が原因て
つまり事前に(設定時に)分かってたという事じゃんそしてテストしてねえじゃん
- そもそも「自動で切り替えない」っていう設定が必要なのかこのシステムに。
- >>603
単体環境や結合環境でいちいちサーバー複数台あるとは思えないので、おそらく設定切らないとテスト出来ないから設定値で処理させるか切替する必要があったんでしょ - >>603
開発中はそうなるのがウザイから、そうならないようにいじって後で戻しておこうと思うのはよくあること
そして後でしなければならないそのことを忘れてそのままってのもなバカなゴミグラマーがソースコードに設定値ベタベタ書いて訳が分からなくなっていたんだろう
よくあることだ - >>603
何もしなければ自動では切り替わらない自動で切り替えるようにするためにはソフトウェアが必要
そのソフトウェアを作っていない - テストでできてたのに本番でできなかってことは、設定値とやらが、いずれかの時点で変わってたってことだよね？
それはなぜ？
それを把握できてなかったのはなぜ？ - >>607
変わってないよ切り替えを行う設定にしたときのテストは合格していたというだけ
- >>613
本番に反映されないことをテストしてもしょうがないだろうw - ここに集まる奴等集めれば、盤石のシステムが出来上がるなw
- >>609
自信満々で正しいものを間違ってる方に修正するマヌケの役ならまかせろ！w - 富士通やたかしたんじゃ。。。
- 完全に死亡しなかったからクラスタあるあるで切り替わらなかったんだなーって思ってたら
まさかの設定ミスww
まぁこれもあるあるなんだが…悲しいな - 結局人が操作するものだから絶対はないんだよ。
アホがデジタル化は万全、原子力は万全安全とか簡単に言うやつがいるが
それも同じこと。ミスや予想外がおこること前提で制度設定しなければならない。
- まあf2のしたっぱ 管理職が詰め腹切らされて幕引きかねえ。
- ハードのトラブルちゃうやん
管理ミスやん、アカンやんしかし毎日しろとはいわんが、月一くらいで総合的なメンテしとるやろ。コレ見つからんのは勘弁して
- てことは、テロってこと？
- くっそ間抜けな原因じゃんか！
ただ、1年経たずに故障したハードも気になる
そんなに早く壊れるか？ - >>623
ハードなんてそんなもんだぞ？
部位問わなければ故障なんて一年で数回は起こる - >>623
確率的に100年に一度しか壊れない機械が100台あれば、毎年壊れる - 故障は起きない前提で仕事をする人ほど出世するよな
- 思うけど常に二重に稼働させて片方止まったら
切り替わるとかできないのか
事の重要度を考えたら三重でもいいよ - >>627
まさにそういうシステムだよこれ
正副2つが常時動いてる
ただ切り替わるべきところで切り替わらなかったから障害の内容を確定できない以上正副両方とも止めるしかなかった - もう下請けに優秀な人残ってないの？
指示しなくても勝手に忖度してハイクオリティな仕事を安くしてくれる理想の下請け - >>629
そんな人がやっすい金で下請けに甘んじてる理由はないしそうするべきでもない - >>629
上級の本音だな
居るわけないんだよ - 予備がまだ完成しないうちに納期が来て稼働始めて、完成後設定変更するの忘れたんだろう
- >>1
構築ミスというか検証ミスだろ。
誰が賠償に応じるんだコレ？ - 腕のいいSEは個人事業主の方が儲かる。
ServiceGuardとか、構築100万円。
そして、納品後は責任とらんでいい、こんな楽なことはない。 - よく現場でありがちなのが実務上、その設定を解除すること。指示を無視すること。
規定どおりだと現場がわずらわしくて仕事にならないからが理由。
しかし、結局それが重大事故のもとになったりする。
案外法律や規定をいいように無視するやつが出世したりする。
なせならそのほうが楽だから。 - 予備に切替わらない設定ってなにに使うの？
負荷テストとか？ - >>634
予備がないときに使う - その動かないサブシステムに何億かかってんだよｗｗｗ
- 怪しそうな設定値を報告するツール作ったら良いじゃん
ワザとそうしてるというパターンもあるだろうけど、自動切り替えが出来ない設定になってたら一目で分かるようにさ - 設定ミスだと賠償の可能性が出てくるな
仕様のミスだと東証側の責任だろうけど - そもそもテスト環境はケチってホットスタンバイ何か無かった。この手のテストは本番環境でしか出来ないが、まさか本番機のメモリは壊せないからテスト出来なかった。とか言う落ちかな？
- こんな初歩的な原因で市場が止まったのは
世界初ではないかな
さすがトンキン、低能すぎるよ - なんじゃそのイージーミスみたいな
- 月初ってのが引っかかるな
- これ再発するぞ
故障が最初の原因だったならそろそろ他も壊れるし、大丈夫なはずとその確認も他人に丸投げだからね - >>646
監視条件漏れなら再発するなあ
今回入れ込んだ条件以外のエラーが出ちゃったらまたアウト - やはりだからこそ訓練が必要なんだろうな。
それでも不測の事態に対処しきれるのか疑問だが。 - ＞設定値を変更すれば、自動切り替えできることが判明
故障か？これｗ
- >>648
間違ったんだろ。
責任を負わされるから絶対に認めない。 - まあミスは誰にでもあるが、そのミスをどれだけ事前に修正できるかってことで、皆頑張ってテストやレビューやってるわけだ
で、東証と富士通はどうなのかってことだな
如何に奴等がいい加減な仕事をしているか - >>1
どうせまたやる
想定外だろ - 富士通なら
- 日本金融の心臓部たるシステムで情けない事故
後進国と言われても仕方ない - まだメモリどうとか言ってる奴いるけど、そもそも設定値が切替出来ない設定値になってたって言ってんだから、サーバーが壊れた原因がメモリかどうかなんて関係ないんだよ
- 2000年頃はいたけどなあ、安くて優秀な下請け
バンバン使い捨てにしても次から次へと湧いてきてたのに
枯渇したのか - 本番でしかテストできんのか
これはまた繰り返すパターン - 設定間違ったんだったら間違ったで防止策とか色々議論できるが、
システムをよく理解せず運用して自滅して迷惑かけたってんなら
もう東証側ではなんもしてやれんよな。 - 別に珍しい事じゃないし 特にノードを追加した時に
クラスタ構成やフェイルオーバーの設定変更を見落としそうになる事には留意している - 俺のマイナスをゼロにしてくれよ
- 昭和の日時入力になったままなのかも
早く西暦にせーや - 上はプログラム書けない技術力がない、
技術部門は派遣非正規なんだから
プログラムがショボくて
ダメだったんだろうって
すぐ想像ついたわ。 - >>667
この手のシステムで派遣非正規はほぼ居ないよ
俺らみたいな下請け、別の何かと勘違いしてないか？ - 切り替えのプログラムをしていなかったってこと？
- 顧客である東証がそんなのわかるわけ無いやん
どうみてもどこからみても富士通が悪い - >>669
いや発注元は技術力持てよ
丸投げしてスポンサー役になるつもり無いなら技術つけろ - >>673
いやそのために外注頼むんだし
切り替えの有無まで精通してるならそもそも富士通いりません - >>675
だったら口挟むのやめて富士通の言う通りに従って金も満額だしてやれよ
知識ないやつらの言う通りに作るからおかしなことが起きるんだぞ - >>699
どこに満額出してないなんてかいてあるんだよ。ソースは? - スパイ防止法作らない限りどうにもならないだろうな
- 富士通に大丈夫ですって言われたら、東証はそうですかとしか言えない。
ここで富士通がテストをすべきですと言って、東証がそんな必要ありませんって言ったなら東証が悪いけど
どうみても富士通の責任のほうが重い - 円を基軸通貨にとか寝言だったな
消える日を数えるほうが早い - 富士通と仕事したことあるやつならわかるだろうけど
あいつらすぐに、後日でとか、それは聞いてません、とか
役人みたいなこと言うからな。平成の次は令和。切り替えしなければならないなんて
聞いてませんとかそんなのばっか。 - 「+1」を受け取ると「１加算」として動作していたのに、後任の担当者が｢+」記号があれば加算という処理を怠ってそのまま変数に引き渡した為、、
単なる正数の1として処理されて、いくら数が増えても「1個」として機械が動作して大騒ぎ。 - わかりやすく説明しようとして逆にわかりにくくなってる典型的なものになってるようだが、
これは要するにメモリエラーで落ちても応答するようなものを
ハートビートに使う設定になってたってことか？ - >>685
もっと単純に、切り替えシステムのスイッチがオフになってたという認識。切り替え試験のときはスイッチ入ってて切り替わったのにいつ誰がスイッチ切った？？？……という感じ。
- >>691
いくらなんでもフェイルオーバーするかどうかの設定ミスではなかろう。死活監視で死んだと認識できればフェイルオーバーはする設定にはなっていたが、
死活監視で使う手段の設定がメモリエラーでの停止時には生きてるように見える
手段を使っていた、ぐらいに考えてやりたいが。 - >>697
こういう１の記事もまともに理解出来ない人が口出してくるのが怖えんだわ - >>704
あんたHAクラスタの構築やった事無いだろ。 - >>697
OSは生きててアプリだけ落ちるパターンなんかかな。 - >>724
スマホとかでも画面は死んでるが
電話の着信はできちゃうみたいな故障
応答があるので相手は出るまで鳴らし続ける - >>691
詳しい人相手だと、スイッチの言い方のほうが分かりにくくなったか、ごめん。 - 自動でじゃなく手動でも出来ないんだろ
設定うんぬんより最初から破綻してんだろ - id被ってる
- 次がんばれよ(´・ω・`)
- これ技術的に詳しく書いてないだけで、fail-stopの試験はやってたけど、fail-slowの試験の閾値が甘かったってだけでは？
- 自動でやると言っても障害検知がコマンドを自動発行するだけだから
むしろ自動でフェイルオーバーしないんだから、手動でコマンド投入して切り替える手順すら
用意していなかったのかな 配下のノード多数だと困難かもだけど - >>695
手動は出来たけど、今日はやめとこうという東証の判断とのこと。だから事象そのものは明らかに富士通のやらかしなのに責任追及はしないってことなんだろう。
使えるバックアップを東証判断で使わなかったから。
（個人的にはその判断は正しいと思う） - >>705
停止は正しい判断だと俺も思う - 結局、問題は、ハードではなくて、ソフトだったわけだ。
- >>696
ソフト的な不良が潜在していて、
ハード故障がトリガーを引いた - 三流国だな
- もう話にならん。
アホか。
世界中から笑いモノ。 - めんどいから現場盤みたいに自動、手動のセレクタースイッチつけときゃ良いよ。
- 設定ミスで証券市場が終日停止w
- たしかメモリー故障時の試験は面倒な作業で
やらずにいたんだよな？
その顛末がこれだもんな～。 - もっと難しいタイミングで落ちてて、フェイルオーバーしたらデータ破壊の恐れがあるから
手動フェイルオーバーしたら危険で見送ったという話かと思っていたが、
こういうことなら、結果論だがメモリエラーを起こした側のノードを強制電源断したら
フェイルオーバーできてた可能性が高いな。 - 日経コンピュータの「動かないコンピュータ」の記事になるのはかなりあとだろうから
もうちょっと詳しい状況欲しいなあ - もう、AWSとazureで両建て良いじゃん。
サーバ障害はあっちの方がノウハウある。
こんな、バカな事に関わって、市場停止とかないわ。
MSとアマゾンのクラウドで構築しておけば、どっちか吹っ飛んでも、もう片方生きてる。 - >>715
どちらかが倒れたら切り替えができませんｗの未来がｗ - >>721
切り替えんでいいよ。
証券取引が継続すればいいだけだから、昔の東証、大証体制。
東証=azure で大証=aws
価格のさやとりするやつも出てくるだろうが、このやり方で、ブラックマンデーも震災も対応できた。
システムを密にしすぎ。 - 技術大国ニッポン！
- 言葉通り『そういう仕様』だったのかｗ
- 処理要求量に比べてｎ秒後の処理完了量がちっさすぎー
あー？よくわかんねーけど切り替え要求しれーを一所懸命考えた挙げ句の、
処理要求0の場合についてのお猿さん、なら許す - 故障の言い訳を後で『考えた』��
- システム基盤の詳細設計書はどうなってるんだろうな。
設計ミスか、設定ミスか。。。 - 技術者向けと割り切った説明を事例共有のために
富士通あたりから出してもらえんかな。あまりにひどすぎて言えないって類のものならしかたないが、
この説明ではいまひとつすっきりしない。 - 昔の場立ちとか手書きに戻したらええのに
- >>730
なんでこうクラウド知ってますアピールできるのかな
恥ずかしくないの？
東証のシステム要件(レイテンシなど)知ってたらとてもじゃないけどそんな発想にならないんだけど - これは被災・障害試験やってない証拠
やってもペーパー - >>731
やったから起こってる可能性もあるからなんとも……。今回の件がそうと言うわけではないけど、ぶっちゃけシステムが障害起こす原因の多くはアップデートと試験。
どちらも「通常では無い状態」を「ヒューマン」が触るから、おかしくなりやすい。 - もっと精密なスタンバイ起動機
つくってみたいなｗ - これは富士通の担当者が泣くまでなぜなぜ分析する流れ
- 本当は何の理由かわからないがｗ
- ようは単純な設定ミスが原因で、たまたま今回の起因がメモリ故障なだけなのに、メモリがどうたらこうたらと
余計な情報くっつけて情報を整理できずに自分で矛盾したようなこと言い出すのはちょっとな - 素人が考えるに、システムが死ぬにしても色んな段階があるって事？
- >>740
人だって、即死もすれば、脳死にもなり、半身不随にもなり、死んでも髪だけ伸びてたり。。。 - 下請けは地獄だな。
出入り禁止だ。
来期の業績悪化させたところが責任とらされたところ。 - バーローヘッドに改名
- なんつーかさ
サブシステムがうごかねぇんじゃ意味ねぇんだよ
- どんな状況が起こってもメインが止まったら自動的にサブに
メインが復帰したら自動で切り替わるようにしとけ
サブも後2組くらい用意して - マジかよ
メモリ故障では検出できずに切り替わらなかったのかと思ったらまさかの設定とはな
パラメタ定義は全て説明して承認を得てると思うがオプション項目で設定ファイルになかったんかな？
承認してたなら東証も富士通もアホだしオプションとかで漏れてたなら富士通がアホ - 設定ミスじゃ言い逃れ出来んな
- だから、
＞メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。
これをそのまま理解したらいいだけｗ理解できず変な理屈こねるから余計分らんくなるんだよな
- それにしてもストレージ装置自体を２重化するなんてよくある構成か？
オレEMCのストレージいじってたけど、EMCじゃストレージ装置自体を２重化なんて聞いたことないぞ。
オレの中の常識はストレージ装置は１個で、ストレージ装置内部でコンポーネントが２重化されていてストレージ装置が止まるてことはありえない。
富士通のストレージ装置て止まること前提にシステム構成するのか？ - >>752
これは、かなり高いレベルで動くプロトコルを処理する
データストアを富士通が自製してるとかじゃないですかね。もしくはファイルサーバのフロントエンド相当を富士通が作っているとか。
- >>752
んー自分は電話系やってたけど2重化してたよ - > メモリ故障による障害が起きた際、自動切り替えできない設定値
ｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
- まっしようがない
完璧なものはない - もうちょっと、気持ち少なめで調整してみ？
ほら、切り替わったやろ。この数字でええんや。
念の為保険でもうちょい下げとこっか。 - 株価が上がっちゃ困る空売りしてた機関がなんかやったんじゃないの？
- >>1
へえー 10/1にそれが偶然おきたんだー へえー へえー - >>1
切り替え設定が無効になってたのに当日気付かず、今の今まで誰も気がつかなかったん？ - >>763
あんただって毎日Windowsのコンパネやらスマホ設定なんてみないだろ。
このくらいのシステムの設定なんてインストール時に設定してほったらかしてのがほとんどだよ。 - >>769
いやいやいやいやいやいや、個人のPCと比べていいようなシロモノじゃあないない - >>769
障害出て切り替わらないなら何で切り替わらないなか真っ先に確認するでしょ
当日は原因不明って言ってたしさ - >>772
「当日は原因不明」てのはマスコミ発表にそう発表したてだけで、内部的には速攻分かっていたと思うよ。
数日調査して結論が設定ミスでしたなんてどんなアホが調査したんだよｗｗｗｗ。 - >>779
じゃなおさらそんな単純ミスで終日止めた理由にならんがな - 今のうちにバグ全部晒しとけ
- SE「自動で切り替わらない？手動でやれ！マニュアルあるだろ？」
OP「ありますけど書いてある内容がよく分かりません・・・」
SE「今日は休業しよか・・・」 - ほんとにそんな単純な理由なのかね
- ミスが起こるのは人の心が濁るから
職場環境の圧と休養の不充分
結局、どの上場会社も東証も「辞められない会社ごっこ」をやるしか脳が無い - だったら手動で切り替えればいいじゃん
なんで丸一日潰れたのよ - >>768
異常に気づくのが遅れたんだって
それで場明け直前に気づいてギブアップしたつまり結局監視の問題
- >>1
設定したのはどこのドイツよ - >>770
そーだったのか！ ドイツのせいね！
国際電話でメルケルに文句いわなきゃ！ - AWSとかだったらメモリ不良ならメーカー名公表するんだけどな
これは闇から闇だな
- >>774
闇でいいよ。
メモリ障害なんかどのシステムでも一定確率で発生する。
それをクリアできない運用を看過していた責任の方が圧倒的に大きい。 - >>778
この障害の確率は低いだろうだからある程度の定期的な予防訓練は必要だったんだろう
例えば火災に備えて消火器の消化液の効き目が無く、且つ新人運用者が消火器の位置さえ
認識してないように
今回のシステムにおいては殆どの運用者が自動バックアップ機能は無視状態だったんだろう - >>800
その消火器の話なら面白いものがある。
放置してれば10年使えるのに、法律で決まった点検をしたら毎年１割２割の確率で使えなくなる。最初の納入時のチェックが1番条件が良くて厳しく出来るのだから、下手に触らないほうが良いケースの1例。
- 半死でハートビート返してたとかいうヲチだろ。
ファームバグか？ - 当時のSE指詰めもんだなw
- >>777
指詰めどころか辞表書いているだろうな。
無論受理されず、
社内処分後の受理
(給料も処分後になるから退職金も下がるしかない) - >>782
とっくに辞めてる - ストレージ二重化とか普通だろ
筐体１つ＝シングル構成ぐらいの認識でないと障害には対応できんぞ - >>783
金かなんかケチったんでしょ
誰も責任取らなくて良いから誰も本気でやらないし - 去年から謎のディスクとメモリ廻りの不具合で止まるサーバーが多いよな
- そういうことにしといたほうが東証も安心するだろ
再現性がないため原因特定はできませんと言うより - くぁわしい人に聞きたいんだけど
未設定だとして上位の問題ではあるものの仮にこれだけなら単純な手動で午後には別のバックアップを
起動させて午後には復旧していたと結論付けたってことでいいよね？ - 自称先進国ジャップ
- ハッキングかな？
侵入されたとか口が裂けても言わんよね - nutsホルダーは訴えたら勝てるぞ 頑張れ
- 仕様云々の前にこれだと富士通が悪いじゃん
- 富士通のミスだろうが、そのミスを見つけられなかった東証にも問題ある
何もかも富士通に丸投げで殿様商売やってたのなら糞 - ＞ストレージ内でメモリ故障
家庭用PCに当てはめるとどの部分？
SSDのDRAMキャッシュとか？ - >>801
SSDがRAID1になっていて、パラレルで書き込む部分の
キャッシュメモリーが壊れたが一番イメージが近い。
パソコンだと一部品で動作設定は既定値だけだけど、
今回だと19インチ2Uぐらいあって、動作設定も
マニュアルが50ページぐらいある機器になる。 - メモリエラーだったらストレージ関係ないんじゃないの
- これ、原因特定が早かったら、手動で立ち上げて早い時間に再開できてたじゃん
バックアップが動かない・動かせないってのは人災じゃん
- たぶんEFIとかBIOSに相当するところの設定。
- ＞＞障害が起きた際、自動切り替えできない設定値になっていた
実にすばらしい
- ゴキ一匹見たら～じゃないけど、このようなヘボミスの裏には危険なインシデントが何十個もあるのが普通
こいつらはまたやらかすだろう - >>813
全世界的に見れば、MicrosoftもGoogleも
年に一回はやらかしている。 - IT業界のあるあるなんだけど兆単位の機会損失をどうするかだねぇ
- こういうのは１００％マンエラーなんだよな
何故なら検証するのが人間だから - 予想シナリオ
運用が指さし確認で二人で手入力になっていた
コピペダメ ぜったい みたいな
値切られてワンオペになってミス or
ベテランと新人ペアでザルチェック - >>1
そのテストは実稼働舞絵にやっておくべきだろう？
東証だぞ？子供の仕事じゃねーか
システム担当は全部総取っ替えせんとあかん基本姿勢がなってない
これは検証の担当部署分課に通ずるはずだ他の大手金融じゃあり得んミスだ - なんじゃそりゃ
意味不明すぎだろ - 優れたシステムもアホには扱えないと言う好例
- 日経xtech がちょっとだけ詳しい記事出してる。
これ、active-active 構成の２ノードクラスターのNASらしい。
NASの設定ミスと言ってるが、どういう設定かは無料範囲内では読めないけど、
もともとの設定項目にはあるもので即日変更適用したようだ。 - 従来の方式や認識じゃもうダメなんだよ結局はできる人に頼ってきたツケ
この手の人材不足からくる問題想定してるの2025年問題だっけ？ - 意外と海外ではこういう内的要因でのダウンは聞かないよね。台風とか外的要因は聞くけど
- もう富士通切れよ
- 急にHDDがお亡くなりになったワシとしては他人事に思えんで～
【arrowhead】東証、システム障害の原因を特定「自動切り替えできない設定値になっていた」
コメント