このブログの趣旨

データを保護するためにどのような方針を練るか。

HDDの物理的な破損に対してはRAIDを。
ユーザ操作ミスによるファイル削除にはスナップショットを。
論理的、または人為的な大規模なファイル破損にはテープでのバックアップを。

とさまざまな対策をデータの重要度や予算に応じて皆様も考えていると思います。


ここで下記のブログを参照させていただき、今までは考えなかった現象に初めて気がつかされました。

あなたのデータは既に壊れているかもしれない（Silent Data Corruption）
http://raven.air-nifty.com/night/2009/07/silent-data-cor.html


ハードディスクに書き込まれたデータが人知れず壊れている可能性があるという内容の記事です。実に怖い。
ただ思い返してみると、久々に読もうと思ったファイルが開けない、という事が何回かあった気がします。
全てがこの現象によって引き起こされているとは思わないですが、もしかすると該当するものもあったかも知れません。

実家で父が大量にため込んだFDD(5インチ)をようやく処分しようとして、
事前にデータをHDDに移そうと、どこで買ってきたのか、
USB－シリアルの変換ケーブルを使って、5インチFDをつなげてデータをサルベージしていた事がありました。

使わなくなって15年？ほど経過し、その間押入れの奥にしまわれていた
約300枚のFDを1週間ほどかけて順に読み取っていましたが実に半分のFDDが壊れていたとのこと。
（逆に半分も読めたことが脅威なのでしょうか？）

今とは精度が比べ物にならないにせよ、磁気データのもろさを実感させられます。


前置きが長くなりましたが、Silent Data Corruption とは、
保存したはずの磁気データがいつの間にか消えてしまうことを指します。
全部が突然消失するわけではなく、

00001000000000011111111101010001001001010

といったデータの1つまたは複数のビットがOSの指示なく突然反転してしてしまう現象を指します。
当然、ファイルフォーマットとの一部が破損することで、アプリケーションからはファイルが開けなくなり、「ファイルが壊れた」状態になってしまいます。

＊ビット列の壊れ方にも何パターンかあるようです。
＊詳細については上記紹介ブログでリンクされているpdfドキュメントをご参照ください。
＊http://fuji.web.cern.ch/fuji/talk/2007/kelemen-2007-C5-Silent_Corruptions.pdf

上記リンク先では保存したデータが「人知れず、前触れもなく」破損するという事実を実験的に証明しています。

恐らくこの現象は磁気ディスク装置が世の中に出回ったことから在る現象なのでしょうが、それほど大きな問題にはなっていませんでした。
そもそも壊れたのが、ディスクビット列の反転なのか、保存する際の予期せぬ動作によるものなのか、ファイルシステムのバグなのか、それともディスク装置の不良なのかを後から判別することがきわめて困難だからです。
また磁気ディスク装置というものがそれほど信用されていなかったという背景もあるかもしれません。

しかし最近はありとあらゆるデータが電子化され、磁気ディスクへ保存されるようになり、取り扱われるデータの量は1企業内でも簡単に100TBを超え、入出力の過程で一時的に書き込まれるファイルの量を加味すればPBオーダーでのデータが日々磁気ディスクに書き込まれていることになります。

このブログではこれらのコンピュータを使って生み出されたデータを如何に安全に保存していくか、という内容を中心にソフトやハードについて紹介していく予定です。