機械学習 のバックアップの現在との差分(No.9)
contents
大分類
強化学習
強化学習 (reinforcement learning / RL)
- TD学習
- Q学習
- 深層強化学習 (Deep Q-Network)
教師なし学習
- 主成分分析
- K平均法 (k-means)
- 混合ガウス分布
教師あり学習
回帰と分類
回帰 (Regression):推定したい結果が連続値
分類 (Classification):推定したい結果が離散値
回帰を使って分類器を作ることもできるため、両方に渡って使われるモデルも多い。
回帰
- 線形モデル
- 線形回帰、リッジ回帰、ラッソ、Elastic Net回帰
- マルチタスク:マルチタスクLasso、マルチタスクElastic Net
- 最小角度回帰、最小角度回帰Lasso
- サポートベクタ回帰
- 決定木:回帰木、ランダムフォレスト回帰
分類(識別)
- ロジスティック回帰
- ソフトマックス回帰
- サポートベクタマシン (SVM)
- 単純ベイズ (Naive Bayes)
- 決定木:分類木、ランダムフォレスト分類器
- 線形識別関数
- 部分空間法
- ベイズ識別関数
モデル・アルゴリズムによる分類
(R)は回帰、(C)は分類。
- 線形モデル
(R)線形回帰、(R)リッジ回帰、(R)ラッソ、(R)Elastic Net回帰
(R)最小角度回帰、最小角度回帰Lasso(R)- マルチタスク
(R)マルチタスクLasso、(R)マルチタスクElastic Net
- マルチタスク
- サポートベクタ
(C)サポートベクタマシン (SVM)、(R)サポートベクタ回帰 - 決定木
(C)分類木、(R)回帰木- ランダムフォレスト
(C)ランダムフォレスト分類器、(R)ランダムフォレスト回帰
- ランダムフォレスト
- 一般化線形モデル (general linear model : GLM)
(C)ロジスティック回帰
(C)ソフトマックス回帰(多クラスロジスティック回帰) - (C)単純ベイズ (Naive Bayes)
- (C)線形識別関数
- (C)部分空間法
- (C)ベイズ識別関数
- (C)k近傍法
- ニューラルネットワーク (NN) (深層学を含む)
単純パーセプトロン
多層パーセプトロン
畳み込みニューラルネットワーク (CNN)
敵対的生成ネットワーク (GAN / GANs)
再帰型ニューラルネットワーク (RNN)
各論
線形モデル
- 線形回帰
- sklearn.linear_model.LinearRegression
- リッジ回帰
- 線形回帰にL2正則化項を加えたもの
sklearn.linear_model.Ridge
sklearn.linear_model.RidgeCV
- ラッソ
- 線形回帰にL1正則化項を加えたもの
sklearn.linear_model.Lasso
sklearn.linear_model.LassoCV
- Elastic Net回帰
- sklearn.linear_model.ElasticNet
- マルチタスクLasso
- sklearn.linear_model.MultiTaskLasso
- マルチタスクElastic Net
- sklearn.linear_model.MultiTaskElasticNet
- 最小角度回帰 (Least Angle Regression / LARS)
- sklearn.linear_model.Lars
- 最小角度回帰Lasso
- sklearn.linear_model.LassoLars
単純ベイズ (Naive Bayes)
- 正規分布単純ベイズ
- sklearn.naive_bayes.GaussianNB
- 多項分布単純ベイズ
- sklearn.naive_bayes.MultinomialNB
- 補集合単純ベイズ
- sklearn.naive_bayes.ComplementNB
- ベルヌーイ分布単純ベイズ
- sklearn.naive_bayes.BernoulliNB
決定木
- 回帰木
- sklearn.tree.DecisionTreeRegressor
- 分類木
- sklearn.tree.DecisionTreeClassifier
- ランダムフォレスト回帰
- sklearn.ensemble.RandomForestRegressor
- ランダムフォレスト分類器
- sklearn.ensemble.RandomForestClassifier
Deep Learning 深層学習
学習器
- FFN:Feed Forward Network
- CNN:Convolutional Neural Network:畳み込みニューラルネットワーク
- RNN:Recurrent Neural Network:回帰型ニューラルネットワーク
- GAN:RGenerative adversarial networks:敵対的生成ネットワーク
- Transformer
層・機構
- Affine 全結合層
- 畳み込み層
- プーリング層
- Attention Mechanism(注意機構)