RAIDに思わぬ落とし穴、データ復旧のポイントを日本データテクノロジーに聞く

左から西原世栄氏、趙暁豪氏、岩谷謙太氏

　複数のHDDを組み合わせて1台のHDDとして管理することで、故障時のデータ復旧を可能にするRAID。最近ではRAID対応のNAS製品が市場で普及しているほか、RAID構成のサーバーが企業や個人などでも使われることが多くなってきた。

　RAID5などにより冗長構成を組むと、データの安全性が高くなる反面、構造が複雑になることで障害時に思わぬトラブルが起こることもある。RAIDの障害と復旧について、データ復旧サービス「日本データテクノロジー」（サイト名は「データ復旧.com」）を提供するOGID株式会社にて、エンジニアの趙暁豪氏、岩谷謙太氏、西原世栄氏の3人に話を聞いた。

●とにかく触らないこと、リビルドは危険

　RAIDスペシャリストである西原氏がまず主張するのは「障害が起きたら、とにかく触らないこと」。同社に持ち込まれるRAIDのトラブルでよくあるのが、おかしくなった時点で自分でディスクの順番を入れかえたり、RAIDカードを交換したりして、データを壊してしまうケースだという。

　RAID5などでは多くの場合、ディスクを入れ換えると自動的にリビルド（再構築）が実行される。リビルドは、正常なディスクのデータを元に新しいディスクの内容を復元する機能だ。しかし、順番を入れ換えたりRAIDカードを交換した場合、構成がすべて変わったとみなされ、それを修復するつもりで全体が間違った内容で書き換えられてしまうという。

　また、故障している1台のHDDだけを交換する場合でも危険はあるという。同じNASで使われるディスクは製造時期が近いため、故障時期も近くなる可能性がある。そこにリビルドのために激しいアクセスが起こることで、別のHDDが壊れてしまうこともあるのだそうだ。

リビルド中に別のディスクが故障するケースも少なくないという

　NASの機種によっては、RAID5をリビルドしたら、なぜかRAID0としてリビルドしようとしてしまう、というケースまであるという。こうなるとデータが全面的に書き換えられてしまう。

　「リビルドはフォーマットのようなもの。機器をまた使用できるような状態に戻すためのものであって、データが戻ることは期待しないほうがいい」と西原氏は言う。岩谷氏も、「RAID5でも、ディスクが1台壊れたら直して使うのは考えないほうがいい。データを読めるようならその時点でデータをバックアップして、読めないようなら何もせずに弊社に持ち込んで欲しい」と説明する。

NASの機種によってはRAID5をリビルドしたら、なぜかRAID0としてリビルドされてしまうケースもあるという

●ディスクの順番、分割サイズ、割り振りがわかれば単体と同じ

西原氏

趙氏

　同社のRAIDの復旧率は「95％以上」（趙氏）。同社に持ち込まれる復旧依頼のうち、RAIDの障害の特徴としては、7～8割が論理障害だという。これは、RAID5ではHDD1台の物理障害であれば残りのHDDでデータを復元できるため物理障害に強いこと、また、1台のときよりも書き込みのときに複雑な計算をして複数台に書いているので急の電源断に弱いということの両面がある。

　件数としては、コンシューマー向けのRAID構成のNASが多く、そのためLinuxによるソフトウェアRAIDが中心となる。よりハイエンドなNASではベンダーの保守が付くためだが、そうしたケースでも同社に相談が来ることもある。

　特に夏の時期には、落雷による事故が多いという。これには、落雷による停電によりディスクの整合性が壊れるケースや、基板のショートによるケースなどがある。対策としては、UPS（無停電電源）を使って停電時に安全にシャットダウンすること。また、雷が鳴りはじめたら先にサーバーをシャットダウンするという企業も多いそうだ。

　RAID5が単体のディスクと違う点は3つある。それは、ディスクの順番の情報、データを各ディスクに分割するサイズ（ストライプサイズ）、分割したデータを各ディスクに割り振るアルゴリズムだ。「この3点のデータがわかれば、RAID5でも単体のディスクの修復と同じ」（西原氏）。

　とはいうものの、「社内でもRAID担当者は多くないので、プレッシャーは大きい」とも西原氏は語る。

　同社に届いたRAIDのディスクは、まずクローンのディスクを作成したあと、ディスクエディターでバイナリデータの16進ダンプを見て、ディスクの順序を探りあてる。そこでRAIDを組んでみて、データの読み出しを試みる。

　各ファイルシステムごとに、データの構成が頭に入っているため、ストライプサイズの情報が失われていても16進ダンプを見て区切りの見当がつくという。話を聞いた3人とも「ファイルシステムの知識は修復の基礎」と断言する。同社のエンジニアは、単体のディスクでファイルシステムを壊したものを直させるテストを受け、それに合格してから初めてRAIDに触れる。ファイルシステムの修復は経験によるところが大きい世界で、西原氏も「初めてやったときは2日かかったが、今では5分程度でできるようになった」とのことだった。

　RAIDに限らず、データ復旧は経験がものを言う世界だという。「いろいろな症例を見ることで、壊れ方のパターンの知識の引き出しがどんどん増える。経験を積むことで、バイナリを見たらどういうことが起こっているかがだいたいわかるようになる」（西原氏）。「詳細な分析をする前に、勘でひらめく」（趙氏）こともあるそうで、「作業時間が短いからといって簡単というわけではない」と語る。

　同社には、他社で復旧を試みて断念したディスクが持ち込まれることもしばしばあるという。しかし、「お客さんが隠していても、人為的にいじってしまったものは見ればわかる」と3人は口を揃えて言う。データが、自然に壊れたのとは違う不自然なものになっているのだそうだ。

●技術投資でエンタープライズサーバーも購入

岩谷氏

　今まで最も“苦戦”したという事例は、24台のディスクを使ってZFSを組んだサーバーの案件だという。ZFSは、サンマイクロシステムズが開発した新しいファイルシステムで、RAID相当の機能も持つ。この案件はディスク24台という構成からわかるように、システムやデータも大がかりなもので、依頼もかなり大きな企業からのものだった。

　当時はまだZFSが登場して間もない頃で、まずは研究から始めた。ディスクのクローンを取っておき、そのクローンを使ってわざと壊して、どういう症状が出るか何度も実験。それである程度挙動がつかめてから修復に取りかかった。実験を含めて2週間ぐらいを費した。

　実験の労力もさることながら、元のシステムと同じ構成で試すために、エンタープライズ向けサーバーの購入までした。しかも、「先方の稟議が通る前から買って準備した」（岩谷氏）。

　「積極的に技術投資をするのが弊社の強みのひとつ」と語るように、通常の案件でも社内になければ顧客と同じモデルのディスクを揃えるという。海外から各分野のスペシャリストを講師に呼んで技術研究などを積極的に行なっているということも、技術投資のひとつとして語られた。

●スピードが求められるRAIDの復旧

　RAIDの案件は、「顧客が切羽つまっている」ことも特徴だ。RAIDを組んで保存しているような重要なデータのため、「明日までにデータが復旧できないと会社が危ない」というような切実なリクエストもしばしば。

　それに応えて、復旧時間もたいてい24時間以内という。そのため、同社にHDDが届く前からモデルや症状を電話などでヒアリングして、エンジニアが可能性を考えたり実験したりといったことも先行して行なう。案外時間がかかるのはデータ保全のためのクローン作成で、ディスクの容量が大きくなるほど作成時間も長くかかる。復旧の最短記録は30分で、これは「特定のディレクトリの特定のファイルだけ緊急で先に。全体はその後で」というものだった。

　顧客側でも、日本全国から時間を惜しんで新幹線や車でハンドキャリーでハードディスクを持ち込むケースも多い。海外からも郵送での依頼が数あるというが、中には、マレーシアから部長がハンドキャリーでNASを運んできたケースもあったそうだ。

　同社では、そうした顧客の要望に対して、外注したりせずにすべて自社工場で解析し復旧する技術力が売りだという。「重要なデータは信頼のおける会社でないと怖い」（岩谷氏）と自信のほどを見せた。