Hadoopとビッグデータ

Apache Hadoopは、企業がデータを格納・分析する新しい手段です

Hadoopを1日で学ぶ

Clouderaのチーフアーキテクトであるダグ・カッティングは、Webからのデータが爆発的に増大して、従来のシステムで処理できる量を遥かに上回って成長したので、それに対応するためにHadoopを開発しました。Hadoopは当初、Googleが巨大なデータをどう取り扱うかについての概説を書いた論文に触発され開発が始まり、以来、数百テラバイト、あるいは数ペタバイトものデータを蓄積、処理、そして分析するためのデファクトスタンダードとなっています。

 

Apache Hadoopは100%オープンソースであり、データの保存及び処理についての考え方を根本的に変えるものとなりました。というのも、データの保存と処理に高価でプロプライエタリなソフトウェアと複数の異なるシステムに依存する代わりに、Hadoopはどこでも売っているようなサーバ間で大量のデータを分散並列処理することで、データの保存と処理を行い、それにより無制限に拡張することができます。Hadoopを使えば、データが大きすぎて困るなどということはないのです。そして今日、世界中がつながり、毎日大量のデータが生成され続ける世界では、Hadoopを利用することで、企業などの組織が今まで役に立たないと考えていたデータから価値を引き出すことができることを意味しています。


 

hadoop-and-big-data-1

あらゆる形式のシステム、あらゆる種類のデータから洞察を明らかにする

Hadoopは多様なシステムのあらゆる形式のデータを扱うことができます。構造化データ、非構造化データ、ログファイル、画像、音声ファイル、通信記録、電子メールなど、ネイティブフォーマットに関係なく、思いつく限りの全ての形式を扱うことができるのです。無関係のシステムに異なる種類のデータが保存されている場合でも、事前にスキーマを作成することなくHadoopにそのデータを取り込むことができます。つまり、そのデータを保存する前にどのようなクエリを実行するか、決める必要がないということです。スキーマは後から決めることができますし、時間をかけて、今まで考えもしなかった事実を導き出すことができるようになります。

Hadoopを使えば、集めた全てのデータが利用可能になるので、データベースの中に何があるかだけでなく、データ間の隠されていた関係を見ることができますし、今まででは決して手の届かなかったような事実や答えを明らかにすることができるのです。これにより、勘の代わりにハードデータに基づいて意思決定することができ、サンプルではなく完全なデータセットを見ることが可能となります。

ユーザ事例はこちら


 

データの経済学の再定義: 全てを永遠にオンラインに

hadoop-and-big-data-2

また、レガシーシステムにはないHadoopのコストアドバンテージは、データの経済性を再定義します。特定のワークロードに特化しているレガシーシステムは、ビッグデータのニーズを考慮して設計されていなかったため、今日の最も大きなデータセットに対する汎用の用途としてはあまりに高価です。

Hadoopのコストアドバンテージの一つは、システム内に冗長なデータ構造を持ち、高価で特殊なデータストレージシステムではなく業界標準のサーバ上に構築されているため、以前はコスト的に不可能だったほどの量のデータを保存する余裕が出てきたことです。これまでのシステムでは、一旦テープに保存されると、ほぼ削除されたといっても過言ではなく、よほどのことがない限りそのデータにアクセスできませんでした。

Clouderaと共にビッグデータを構築する企業は、文字通り自組織内のすべてのデータを格納し、全てのデータをオンラインにしてリアルタイムインタラクティブクエリやBI、分析や可視化に使っているのです。


 

hadoop-and-big-data-3

あなたの思考を再構築する: ビッグデータを企業の血液に

データが急速に増加し、90%のデータが非構造データになっている今日、企業はデータの保存、管理、分析に対するアプローチを考えなおすときが来ているのではないでしょうか。レガシーシステムは、価値が高く量の少ない特定のワークロードには引き続き必要でしょう。一方で、ビッグデータのワークロードはそれに最適化された正しいシステム、つまりHadoopに格納することで、企業のデータ管理を補完すればよいのです。Hadoopの費用対効果、スケーラビリティ、および合理化されたアーキテクチャはますます不可欠なものになってきています。Hadoopが必要かどうかを問う時期はもう過ぎているのです。今は、最も効率よくHadoopを活用するにはどうすればいいかということが問題であり、世界中の企業様において実績のある「Cloudera」が、その答えなのです。

世界中のデータドリブンの企業がClouderaを利用している理由はこちら

 


Contact us

製品やサービス、サポート、トレーニングについてのより詳しい情報は、下記までお問い合わせください。

Cloudera全般(日本語)
info-jp@cloudera.com
二ユースレター購読 (日本語)
Clouderaからの日本語での二ユースレター購読希望の方は
info-jp@cloudera.com
件名: ML_SUBSCRIBE
でメールをお送りください