機械学習 のバックアップの現在との差分(No.1)


強化学習

大分類

強化学習 (reinforcement learning / RL)

  • TD学習
  • Q学習
  • 深層強化学習 (Deep Q-Network)

教師なし学習

  • 主成分分析
  • k-means
  • K平均法 (k-means)
  • 混合ガウス分布

教師あり学習

  • 回帰
    • 回帰:sklearn.linear_model.LinearRegression
    • リッジ回帰:sklearn.linear_model.Ridge
    • ラッソ:sklearn.linear_model.Lasso
    • Elastic Net回帰:sklearn.linear_model.ElasticNet
  • 確率的
    • ロジスティック回帰
    • ソフトマックス回帰
  • 決定的
    • サポートベクタマシン (SVM):カーネル

回帰と分類


回帰 (Regression):推定したい結果が連続値

分類 (Classification):推定したい結果が離散値

回帰を使って分類器を作ることもできるため、両方に渡って使われるモデルも多い。

モデル・アルゴリズムによる分類


(R)は回帰、(C)は分類。
  • 線形モデル
    (R)線形回帰、(R)リッジ回帰、(R)ラッソ、(R)Elastic Net回帰

    (R)最小角度回帰、最小角度回帰Lasso(R)
    • マルチタスク
      (R)マルチタスクLasso、(R)マルチタスクElastic Net
  • サポートベクタ
    (C)サポートベクタマシン (SVM)、(R)サポートベクタ回帰
  • 決定木
    (C)分類木、(R)回帰木
    • ランダムフォレスト
      (C)ランダムフォレスト分類器、(R)ランダムフォレスト回帰
  • 一般化線形モデル (general linear model : GLM)
    (C)ロジスティック回帰

    (C)ソフトマックス回帰(多クラスロジスティック回帰)
  • (C)単純ベイズ (Naive Bayes)
  • (C)線形識別関数
  • (C)部分空間法
  • (C)ベイズ識別関数
  • (C)k近傍法
  • ニューラルネットワーク (NN) (深層学を含む)
    単純パーセプトロン

    多層パーセプトロン

    畳み込みニューラルネットワーク (CNN)

    敵対的生成ネットワーク (GAN / GANs)

    再帰型ニューラルネットワーク (RNN)

各論

線形モデル

線形回帰
sklearn.linear_model.LinearRegression
リッジ回帰
線形回帰にL2正則化項を加えたもの
sklearn.linear_model.Ridge

sklearn.linear_model.RidgeCV
ラッソ
線形回帰にL1正則化項を加えたもの
sklearn.linear_model.Lasso

sklearn.linear_model.LassoCV
Elastic Net回帰
sklearn.linear_model.ElasticNet
マルチタスクLasso
sklearn.linear_model.MultiTaskLasso
マルチタスクElastic Net
sklearn.linear_model.MultiTaskElasticNet
最小角度回帰 (Least Angle Regression / LARS)
sklearn.linear_model.Lars
最小角度回帰Lasso
sklearn.linear_model.LassoLars

単純ベイズ (Naive Bayes)

正規分布単純ベイズ
sklearn.naive_bayes.GaussianNB
多項分布単純ベイズ
sklearn.naive_bayes.MultinomialNB
補集合単純ベイズ
sklearn.naive_bayes.ComplementNB
ベルヌーイ分布単純ベイズ
sklearn.naive_bayes.BernoulliNB

決定木

回帰木
sklearn.tree.DecisionTreeRegressor
分類木
sklearn.tree.DecisionTreeClassifier
ランダムフォレスト回帰
sklearn.ensemble.RandomForestRegressor
ランダムフォレスト分類器
sklearn.ensemble.RandomForestClassifier

Deep Learning 深層学習

学習器

層・機構