機械学習に必要な数学を学ぶ「人工知能プログラミングのための数学がわかる本」

こんにちは、たくろー(@takuro_data )です！

ニュースなどで人口知能（AI）という言葉を聞かない日はありません。人工知能は広い概念で、人工知能を学ぶとしたら機械学習（ディープラーニング含む）ではないでしょうか。

機械学習を学んでいて、数学を復習したくなり、本書を購入しました。

概要

本書は、機械学習に特化した数学書です。機械学習のアルゴリズムを理解するのに、大学の基礎科目で習う「微積分」「線形代数」が必要ですが、頻繁に使うものには偏りがあります。ですので、本書では「微分」は扱われますが「積分」が扱われなかったりします。

本書に記載がありますが、以下の目的・対象者を想定しています。

目的

対象者

読んでみて、ある程度の数学知識があり効率的に復習するのに適していると感じました。章立ては以下の通り。

本書は、基礎編（１〜４章）と実践編（５〜７章）に分かれています。基礎編で、機械学習で使われる数学理論を学び、実践編で「回帰モデル」「自然言語処理」「ディープラーニング」に基礎編で学んだことを応用します。基礎編のそれぞれの項目について「人口知能ではこう使われる！」があることが本書の特徴です。

各章の項目ごとに「人工知能ではこう使われる！」を紹介します。

対数：尤もらしさを表す度合いとして尤度が使われ、尤度を示す関数を尤度関数という。計算するのに対数尤度関数が用いられることが多い。
シグモイド関数：活性化関数として、利用されることが多い。
三角関数：音声認識を行うときに、音の波を解析するために、フーリエ変換が行われることがある。フーリエ変換は、複雑な波形を持つ関数を三角関数の足し算で表現する。
絶対値とユークリッド距離：ユーグリッド距離は例えばk近傍法で使われる。訓練フェーズで訓練データをベクトル空間上にプロット。推論フェーズで、未知データがどのカテゴリに属するか判別するのに利用される。
数列：ニューラルネットワークの入力される値は、「入力値」に「重み」をかけ全て足し合わせたものになる。数列の和で使われるΣで表現される。

微分基礎：損失関数の最小値を求める手法を勾配降下法と呼び、微分が使われる。
常微分と偏微分：人工知能に関する書籍や論文に「d」や「∂」の記号が頻出。
グラフの最大値・最小値：線形回帰で使われる最小２乗法で、誤差の２乗和が最小値を求める。
初等関数・合成関数の微分法・積の微分法：ニューラルネットワークの重みの調整量は、誤差の値を重みで偏微分した値を考慮したもの。誤差逆伝播法という手法で計算され、合成関数の微分法が使われる。
特殊な関数の微分：ニューラルネットワークの重みの調整する際、活性化関数も微分される。

ベクトル：コンピューターが言語を扱うために、単語をベクトル化するWord2Vecという概念がある。
ベクトルのノルム（移動距離）：L１ノルム（マンハッタン距離、総移動距離）とL2ノルム（ユークリッド距離、直線距離）は、線形回帰モデルで過学習を避けるため正則化項として使われる。
コサイン類似度：ベクトル化された単語または文章同士の関係性の近さを計算するために使われる。
線形変換：ニューラルネットワークの、パラメータと重みによる掛け算は、線形変換とみなすことができる。
固有値と固有ベクトル：主成分分析で、データが最もバラツキを持つような軸を考えるとき、式変換を行うと固有値、固有ベクトル問題に帰着される。

確率とは？：人工知能の状況判断の一つの方法として、最も正解に至る確率が高い選択肢を正解として選ぶ。
確率変数と確率分布：観測結果を離散型確率変数として捉え、離散確率分布を得ることで、次に起きる事象の確率を過去のデータから推測。適切な連続確率分布を与えることで、少ない試行回数から、将来起こる事象を推測。
結合確率と条件付き確率：予測モデルの精度や正確性を表す方法はさまざまあり、目的によって指標を選択する必要がある。
平均・分散・共分散：過去のデータから特徴や傾向を明らかにする最も基本的な方法で、人工知能モデルを組む前に、データの特徴を把握するために用いられる。
相関係数：無数にあるパラメータの組み合わせの相関係数を計算し、大きな相関関係を持つ組み合わせを洗い出すことで、直感的に理解しにくく見つけにくい関係性を探索。
最尤推定：得られたデータから、背後に隠れた確率モデルのパラメータを推定する統計手法。