前回は、「バッチ処理」を、超安価に高速化するHadoop(ハドゥープ)というテクノロジーに関して書きました。Hadoopは、大量データを細切れに切り刻んで、多くのコンピュータに処理を分担させ、結果をもとに復元するという技術です。このことにより、大型コンピュータを使わなくても、大量データのバッチ処理が、これまでとは比較にならないほど、安価に高速で処理することが可能になっています。
でも、Hadoopはしょせん、「バッチ処理を超安価に高速化する」技術であり、「バッチ処理を無くす」技術ではありません。
今回は、Fusion-io(フュージョン・アイ・オー)という「バッチ処理を無くす」可能性のある技術(Fusion-io そのものは会社名ですがここではその技術の総称とします)と、それが本当の威力を大爆発させるまでの間の現実解について、書いてみたいと思います。
Fusion-ioって何だ?
「ムーアの法則」はご存じでしょうか。インテル社の共同創設者、ゴードン・ムーアさんが、50年くらい前に、「半導体の集積の進化は18ヵ月ごとに2倍のスピードになる」と言って、こういう法則名になっています。
この「ムーアの法則」に長い間取り残されてきたのが、「ディスク・アクセスの進化」です。半導体の集積の進化に伴って、CPUのスピードとメモリーの大きさは、考えられない勢いで進化を遂げてきました。ところが、ディスクのアクセス速度は、10年かけて10倍くらいしか早くなっていないので(下図)、これだと、いくら頭脳が早く回っても体がついてこない、「年寄りの50mダッシュ」みたいになっちゃってるわけです。
「ディスク・アクセス」が、シーラカンスみたいに進化に取り残された主な理由は、大きくは「ディスクがメカである」ことによると思います。ご存知なように「ディスク」は、基本、磁気ですし、昔のレコード盤と変わらず、「回転」します。CPUやメモリーは「半導体」チップなので、集積度があがれば、どんどん進化できる、でも、回転するディスクは、「メカ」なので、そこに制約を受け、思うような進化が出来ませんでした。
そこに登場したのがFusion-ioです。これは、ものすごくでかいチップで作られた「ディスク」と考えていただければよろしいかと思います。