Attention Mechanism のバックアップ(No.6)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• 現在との差分 - Visual を表示
• ソース を表示
• Attention Mechanism へ行く。
  • 1 (2020-05-21 (木) 02:09:18)
  • 2 (2020-05-22 (金) 22:13:10)
  • 3 (2020-05-22 (金) 23:56:43)
  • 4 (2020-05-25 (月) 02:50:17)
  • 5 (2020-05-25 (月) 15:42:21)
  • 6 (2020-05-25 (月) 17:07:05)
  • 7 (2020-05-25 (月) 19:56:32)
  • 8 (2020-05-25 (月) 20:56:46)
  • 9 (2020-05-25 (月) 23:17:22)
  • 10 (2020-05-26 (火) 00:21:59)
  • 11 (2020-05-26 (火) 01:24:01)
  • 12 (2020-05-26 (火) 02:27:50)
  • 13 (2020-05-26 (火) 16:31:30)
  • 14 (2020-05-27 (水) 00:21:37)
  • 15 (2020-05-27 (水) 03:06:06)
  • 16 (2020-05-27 (水) 04:16:08)
  • 17 (2020-05-27 (水) 05:52:17)
  • 18 (2020-05-27 (水) 12:56:46)
  • 19 (2020-05-27 (水) 14:16:54)
  • 20 (2020-05-28 (木) 04:05:08)
  • 21 (2020-05-28 (木) 13:46:26)
  • 22 (2020-05-28 (木) 14:59:22)
  • 23 (2020-05-29 (金) 15:01:07)
  • 24 (2020-05-29 (金) 17:51:35)
  • 25 (2020-05-29 (金) 19:39:06)
  • 26 (2020-06-22 (月) 22:54:25)
  • 27 (2020-06-24 (水) 18:18:32)

概要

　Attention Mechanism （注意機構）は、データのどこに注目するかを利用したモデル。RNNの離れた位置の情報が反映されにくいという弱点を解決するために、RNNに付け加えられる形で登場した。

　注意点を示すという性質から、自然言語処理だけでなく画像処理などにも使われる。また、Attention Mechanism を主とし（RNNをあまり利用しない）機械学習モデル (Transformer) が発明され、高性能な自然言語処理(BEAT等)の基礎となった。

リンク

• Neural Machine Translation by Jointly Learning to Align and Translate
  Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
  Submitted on 1 Sep 2014 (v1), last revised 19 May 2016 (this version, v7)
• Attention Is All You Need
  (Vaswani et al, 2017)
• 論文解説 Attention Is All You Need (Transformer)
  ディープラーニングブログ｜ 2017-12-21
• 自然言語処理における、Attentionの耐えられない短さ
  Qiita
• 深層学習界の大前提Transformerの論文解説！
  Qiita
• ざっくり理解する分散表現, Attention, Self Attention, Transformer
  Qiita
• 作って理解する Transformer / Attention
  Qiita｜@halhorn｜2018年12月05日に更新
• Attentionで拡張されたRecurrent Neural Networks
  DeepAge