Transformer

Transformerから派生した学習ツール

• 自然言語
  • BERT
  • GPT-2
  • GPT-3
• 画像分類
  • Vision Transformer

リンク

• Attention Is All You Need
  (Vaswani et al, 2017)
• 機械翻訳のための係り受け構造に基づくトランスフォーマーモデルの研究
  Japio
• 論文解説 Attention Is All You Need (Transformer)
  ディープラーニングブログ｜2017-12-21
• 深層学習界の大前提Transformerの論文解説！
  @omiita｜2020年08月03日に更新
• DL輪読会 Attention Is All You Need
  Published on Jul 14, 2017

Vision Transformer

• 画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！
  Qiita｜@omiita｜2020年10月14日に更新