機械学習におけるHadoopの利用
従来のデータ処理
- WEBサーバで収集したデータをDBへ集積
- DBのデータを元に分析サーバ上でプログラムが解析処理
- 分析結果を保持
- クライアントへ表示
高速化、機械学習、データ精度を加味した処理
- WEBサーバで集積したデータをクラウドストレージのKVSへ集積
- 解析、分析プログラムをHADOOPで分散処理
- 分析結果をクラウドストレージで保持
- WEBサーバでクラウドのKVSから結果を取得
- クライアントへ表示
ビッグデータになった場合、従来のRDBSでは処理完了までの時間が長くかかってしまう。
分散処理をしない場合
昨今のCPUの進化により処理速度は速くなっているが、 結局、RDBSのI/Oで時間がかかってしまうため、 従来のRDBSではCPUの処理性能を十分に発揮できない。
HADOOPなら
複数台のマシンに処理を分散させることができるため、 I/Oの時間のボトルネックは解消される。。。とのことだが、 正直どういうことかがまだわからない。。。
