機械学習 のバックアップ(No.10)

大分類

強化学習

  • TD学習
  • Q学習
  • 深層強化学習 (Deep Q-Network)

教師なし学習

  • 主成分分析
  • K平均法 (k-means)
  • 混合ガウス分布

教師あり学習

回帰と分類

回帰 (Regression)：推定したい結果が連続値
分類 (Classification)：推定したい結果が離散値
回帰を使って分類器を作ることもできるため、両方に渡って使われるモデルも多い。

モデル・アルゴリズムによる分類

(R)は回帰、(C)は分類。

  • 線形モデル
    (R)線形回帰、(R)リッジ回帰、(R)ラッソ、(R)Elastic Net回帰
    (R)最小角度回帰、最小角度回帰Lasso(R)
    • マルチタスク
      (R)マルチタスクLasso、(R)マルチタスクElastic Net
  • サポートベクタ
    (C)サポートベクタマシン (SVM)、(R)サポートベクタ回帰
  • 決定木
    (C)分類木、(R)回帰木
    • ランダムフォレスト
      (C)ランダムフォレスト分類器、(R)ランダムフォレスト回帰
  • 一般化線形モデル (general linear model : GLM)
    (C)ロジスティック回帰
    (C)ソフトマックス回帰（多クラスロジスティック回帰）
  • (C)単純ベイズ (Naive Bayes)
  • (C)線形識別関数
  • (C)部分空間法
  • (C)ベイズ識別関数
  • (C)k近傍法
  • ニューラルネットワーク (NN) （深層学を含む）
    単純パーセプトロン
    多層パーセプトロン
    畳み込みニューラルネットワーク (CNN)
    敵対的生成ネットワーク (GAN / GANs)
    再帰型ニューラルネットワーク (RNN)

各論

線形モデル

線形回帰
sklearn.linear_model.LinearRegression
リッジ回帰
線形回帰にL2正則化項を加えたもの
sklearn.linear_model.Ridge
sklearn.linear_model.RidgeCV
ラッソ
線形回帰にL1正則化項を加えたもの
sklearn.linear_model.Lasso
sklearn.linear_model.LassoCV
Elastic Net回帰
sklearn.linear_model.ElasticNet
マルチタスクLasso
sklearn.linear_model.MultiTaskLasso
マルチタスクElastic Net
sklearn.linear_model.MultiTaskElasticNet
最小角度回帰 (Least Angle Regression / LARS)
sklearn.linear_model.Lars
最小角度回帰Lasso
sklearn.linear_model.LassoLars

単純ベイズ (Naive Bayes)

正規分布単純ベイズ
sklearn.naive_bayes.GaussianNB
多項分布単純ベイズ
sklearn.naive_bayes.MultinomialNB
補集合単純ベイズ
sklearn.naive_bayes.ComplementNB
ベルヌーイ分布単純ベイズ
sklearn.naive_bayes.BernoulliNB

決定木

回帰木
sklearn.tree.DecisionTreeRegressor
分類木
sklearn.tree.DecisionTreeClassifier
ランダムフォレスト回帰
sklearn.ensemble.RandomForestRegressor
ランダムフォレスト分類器
sklearn.ensemble.RandomForestClassifier