平均、分散、標準偏差

データの特徴を1つの値から判断する方法(平均、分散、標準偏差)

データから度数分布表やヒストグラムを毎回作成するのは面倒なので、そんなことをしなくていいように、平均、分散、標準偏差がある。

1. 平均
   

   平均は簡単だ。データの和をデータ数で割ればよい。

2. 分散
   

   分散は各データが平均からどれくらい離れているか、散らばりやばらつきという数値である。

分散=(対象データ - 平均)の2乗の合計/データ数

1. 標準偏差

分散=((対象データ - 平均)の2乗の合計/データ数)の平方根

度数分布表

度数分布表のつくり方

1. 最大値と最小値を見つける
   

   データ群のなかでの最大値と最小値を見つける。

2. 階級を決める
   

   最大値と最小値がわかれば、その範囲をいくつに区切るかを考えます。この区切りのことを階級という。

3. 階級に入るデータの数を数える
   

   階級に入るデータの数を数えます。 階級に含まれるデータの個数を、度数という。
   階級の真ん中の値を階級値というらしい。

データサイエンティストを目指す

データサイエンティストについて

1. データサイエンティストのイメージ

   企業に所属してのデータサイエンティストのイメージは、 マーケティング知識を有しているITエンジニアだろうか。 マーケティング知識による予測を大量のデータで、 裏づけをとるといったことを生業にし、 経営判断の指標を作る人だとおもう。

2. データサイエンティストの素養

   ビックデータを駆使し、データマイニングすることができ、 また、そのデータを活かすための統計指標の知識が必要であり、 その作業が苦にならない人だと思おう。 データベースや大量のログを扱うITエンジニアには その素養があるだろう。

3. データサイエンティストに必要なスキル

   サーバの知識、Hadoopの知識、データベースの知識、 そういったデータをさばくためにプログラミングの知識は必要だろう。 どのようなプログラミング言語でもよさそうだが、 R言語やpythonが向いているようである。 (R言語は統計用の言語のようだし、pythonには統計ライブラリがあるらしい。)

4. データサイエンティストのメリット

   • 企業内でシステム開発以外で、エンジニアリング力が活かせる。
   • 企業の利益に直接的に貢献することが可能である。
   • データ解析力は、自分の副業としても活かすことができる。

5. データサイエンティストとして

   これからデータサイエンティストとしてやっていくと決めた上で、 現状足りないと思われる能力。

   • マーケティング知識
   • ビックデータの知識
   • 統計学の知識