機械学習 のバックアップの現在との差分(No.6)


強化学習

大分類

強化学習 (reinforcement learning / RL)

  • TD学習
  • Q学習

教師なし学習

  • 深層強化学習 (Deep Q-Network)

教師なし学習

  • 主成分分析
  • k-means

教師あり学習

  • 線形モデル
    • 線形回帰、リッジ回帰、ラッソ、Elastic Net回帰
    • マルチタスク:マルチタスクLasso、マルチタスクElastic Net
    • 最小角度回帰、最小角度回帰Lasso
  • ロジスティック回帰
  • ソフトマックス回帰
  • サポートベクタマシン (SVM):カーネル
  • 単純ベイズ (Naive Bayes)
  • 決定木
    • 回帰木:sklearn.tree.DecisionTreeRegressor
    • 分類木:sklearn.tree.DecisionTreeClassifier

回帰と分類

  • K平均法 (k-means)
  • 混合ガウス分布

教師あり学習

回帰と分類


回帰 (Regression):推定したい結果が連続値
分類 (Classification):推定したい結果が離散値
回帰を使って分類器を作ることもできるため、両方に渡って使われるモデルも多い。

モデル・アルゴリズムによる分類


(R)は回帰、(C)は分類。
  • 線形モデル
    (R)線形回帰、(R)リッジ回帰、(R)ラッソ、(R)Elastic Net回帰

    (R)最小角度回帰、最小角度回帰Lasso(R)
    • マルチタスク
      (R)マルチタスクLasso、(R)マルチタスクElastic Net
  • サポートベクタ
    (C)サポートベクタマシン (SVM)、(R)サポートベクタ回帰
  • 決定木
    (C)分類木、(R)回帰木
    • ランダムフォレスト
      (C)ランダムフォレスト分類器、(R)ランダムフォレスト回帰
  • 一般化線形モデル (general linear model : GLM)
    (C)ロジスティック回帰

    (C)ソフトマックス回帰(多クラスロジスティック回帰)
  • (C)単純ベイズ (Naive Bayes)
  • (C)線形識別関数
  • (C)部分空間法
  • (C)ベイズ識別関数
  • (C)k近傍法
  • ニューラルネットワーク (NN) (深層学を含む)
    単純パーセプトロン

    多層パーセプトロン

    畳み込みニューラルネットワーク (CNN)

    敵対的生成ネットワーク (GAN / GANs)

    再帰型ニューラルネットワーク (RNN)

各論

線形モデル

線形回帰
sklearn.linear_model.LinearRegression
リッジ回帰
sklearn.linear_model.Ridge
リッジ回帰
線形回帰にL2正則化項を加えたもの
sklearn.linear_model.Ridge
sklearn.linear_model.RidgeCV
ラッソ
sklearn.linear_model.Lasso
ラッソ
線形回帰にL1正則化項を加えたもの
sklearn.linear_model.Lasso
sklearn.linear_model.LassoCV
Elastic Net回帰
sklearn.linear_model.ElasticNet
マルチタスクLasso
sklearn.linear_model.MultiTaskLasso
マルチタスクElastic Net
sklearn.linear_model.MultiTaskElasticNet
最小角度回帰 (Least Angle Regression / LARS)
sklearn.linear_model.Lars
最小角度回帰Lasso
sklearn.linear_model.LassoLars

単純ベイズ (Naive Bayes)

  • 正規分布単純ベイズ:sklearn.naive_bayes.GaussianNB
  • 多項分布単純ベイズ:sklearn.naive_bayes.MultinomialNB
  • 補集合単純ベイズ:sklearn.naive_bayes.ComplementNB
  • ベルヌーイ分布単純ベイズ:sklearn.naive_bayes.BernoulliNB
正規分布単純ベイズ
sklearn.naive_bayes.GaussianNB
多項分布単純ベイズ
sklearn.naive_bayes.MultinomialNB
補集合単純ベイズ
sklearn.naive_bayes.ComplementNB
ベルヌーイ分布単純ベイズ
sklearn.naive_bayes.BernoulliNB

決定木

回帰木
sklearn.tree.DecisionTreeRegressor
分類木
sklearn.tree.DecisionTreeClassifier
ランダムフォレスト回帰
sklearn.ensemble.RandomForestRegressor
ランダムフォレスト分類器
sklearn.ensemble.RandomForestClassifier

Deep Learning 深層学習

学習器

層・機構