Deep Learning入門：Attention（注意）
75,031
Published 2020-01-22
前回の動画：「量子化によるニューラルネットワークのコンパクト化」
• 量子化によるニューラルネットワークのコンパクト化
Deep Learning入門：ニューラルネットワーク設計の基礎
• Deep Learning入門：ニューラルネットワーク設計の基礎
Deep Learning入門：Recurrent Neural Networksとは
• Deep Learning入門：Recurrent Neural Netw...
Deep Learning入門：数式なしで理解するLSTM（Long short-term memory）
• Deep Learning入門：数式なしで理解するLSTM (Long s...
再生リスト「Deep Learning入門」
• Deep Learning入門
再生リスト「実践Deep Learning」
• 実践Deep Learning
再生リスト「Deep Learning 精度向上テクニック」
• Deep Learning精度向上テクニック
Neural Network Console
dl.sony.com/ja/
Neural Network Libraries
nnabla.org/ja/
Squeeze-and-Excitation Networks
Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu
arxiv.org/abs/1709.01507
Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
arxiv.org/abs/1706.03762
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
arxiv.org/abs/1810.04805
All Comments (21)
-
Attentionをここまでわかりやすく言語化できる方がいらっしゃるとは！！神！
-
最高な解説動画ありがとうございます。
-
分かりやすい動画をありがとうございます！
-
むつかしい内容をすごいコンパクトにまとめましたね。単純にすごい
-
すっごいわかりやすい
-
わかりやす杉！
-
わかりやすい解説で助かります
-
なんて素晴らしい動画
-
素晴らしい！ニューラル機械翻訳で、特にイメージがつかみにくいが、非常に重要そうな"attention"というもの。それを人間が翻訳する場合になぞらえて解説されています。それに続けて、少し具体的な計算に入っていきます。はじめて見ました、こんなすばらしいattentionの機械翻訳への適用！
-
試してみようかな。
-
声がめっちゃ好き
-
ありがとう
-
@Neural Network Console, can you have these videos in English??
-
「あなたの動画はとても良いですし、メッセージがた
-
こりゃすげえや
-
とてもわかりやすいです！ 7:27 猫の鳴き声みたいな音が入ってるw
-
2:10 画像のattentionの解説について質問があります。 注目する領域を推定するネットワーク部分は、どのように学習していますか？一見すると注目する部分を推定するように直接lossが用意されているようにみえません。 途中で分岐して元の特徴マップと掛け算して、最後のクラス分類のロスだけで、注目する部分を推定するように学習できるものですか？ もし良かったら教えていただければ幸いです。
-
「内容を明確にする必要があります」、
-
早口で疲れる
-
画像の注意機構は、関係ないと思う！！説明間違いだと思う！こんな説明してる例、他にありますか？これを真似したもの以外で。みなさん。
