PC、スマートフォンやソーシャルメディア、センサーなどを通じ、日々、大量のデータがやりとりされている。ビッグデータ時代には、このような非構造化データを活用し、処理するための仕組みが求められる。

しかも、これだけデータが膨大になるにもかかわらず、IT投資予算は削減の方向にあり、IT管理者の人数を増やすことができないのが実態だ。

こうした状況の救世主となっているのが、Hadoopと呼ばれるソフトウエアだ。これは、大規模データを分散して処理するオープン技術。一台のコンピュータで大量のデータを処理する場合、高度な性能と膨大な時間が求められる。しかし、Hadoopの登場で複数のコンピュータに処理を分散させ、大幅に時間を削減することができるようになった。