ゼロから作るDeep Learning ❷ ―自然言語処理編
- オライリージャパン (2018年7月21日発売)
本棚登録 : 802人
感想 : 37件
- Amazon.co.jp ・本 (432ページ)
- / ISBN・EAN: 9784873118369
作品紹介・あらすじ
大ベストセラーの続編。さらに作る、さらに深くDeep Learningに迫る！
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編。第二弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。word2vecやRNN（リカレントニューラルネットワーク）、LSTMやGRU、seq2seqやAttention……ディープラーニングを支えるこれら最先端の技術を実装レベルでマスターできます。前作同様、平坦な言葉で分かりやすくをモットーに、高度に見える技術の裏側をじっくり説明し、実際に作ることで理解を深めます。最後までコンセプトは変わらない。ゼロから作る！
感想・レビュー・書評
-
Attentionの解説章のみ読了。Transformer登場して間もない頃の本なので今の生成系AIの文脈とは使われ方が若干異なるが、基礎的な部分を理解するにはよかった。
1
詳細をみるコメント0件をすべて表示 -
自然言語や時系列なデータをディープラーニングでどうやって処理するのか教えてくれる本。
1つ1つの仕組みはシンプルだがそれを一定以上に重ねることで複雑さが現れる。これが一種の創発なんだなと思えた。
1
-
ゼロから作るDeep Learningの続編。Pythonやニューラルネットワークの解説はあっさりしているので、前著を読んでいないと理解は難しい。
本書は、ニューラルネットワークを用いないカウントベース手法に始まり、word2vec、RNN、Attentionと順に学習していく。また、単語ベクトルの作成、RNNによる言語モデル作成、テキストベースの足し算、日付フォーマットの変換等の実装を行う。
RNNが出てきて以降は、なかなか難しいところも多く、正直あまり理解できていない。本書を読んで直ぐに翻訳プログラムが書けるようになるわけではないが、Google翻訳で使われている考えは同じということなので、少し自信になった。
0
-
【社会基盤学科】ベストリーダー2024
第4位
【システム創成学科】ベストリーダー2024
第7位
東京大学にある本はこちら
https://opac.dl.itc.u-tokyo.ac.jp/opac/opac_details/?bibid=2003429863
0
-
# 1周目 読み終えた
適性が低いためなのかどうか、読んでいてあまり楽しいと思えなかった。4章の途中から、このまま読み進めるのが苦痛になってきて、サラッと流してどんな感じのことが書いてあるか把握する程度で終えておいた。またいずれ再挑戦するつもりでいる。そのためには、この分野への関心を高めることで、楽しいと思えるような状態まで持っていく必要がある。いくつも本があるので、色々試してみる。その後でまた戻ってくるようにする。
## 5〜8章を読んだ
➤ 5章 リカレントニューラルネットワーク (RNN)
➤ 6章 ゲート付きRNN
➤ 7章 RNNによる文章生成
➤ 8章 Attention
流し読み。もう少し別のとこで経験を積んでからにする。
## 4章を読んだ ➤ word2vecの高速化
さっと流した。前章の続きとなる。3週間程度間が空いたため、あまり前の内容を覚えていない。むしろ、何も覚えていない。そのときはしっかり読んで理解したつもりでいた。3週間程度でこれほど記憶が風化してしまうのなら、この本を読み終えても、全体に渡ってやはり風化していくことになるのだろう。そうすると、ここの章を時間をかけてじっくり学ぶ必要があるのか、という疑問が湧いた。この章は前章を発展させた内容であるため、それを理解していないと理解が難しいところがある。一度さっと前の章を見直すべきだが、どうも意欲がわかない。こうもあっさり前の内容を忘れてしまうのなら、もう適当に進めてしまおうという気になった。これは悪い兆候だ。たとえ記憶が風化してしまうとしても、それを繰り返していけば、いつかは定着していくことが期待できるので、無駄な学習ではない。もし、ここで適当に流してしまうと、それも難しくなる。今のところ、ディープラーニングに面白さを見いだせていない。面白くないこと、興味がわかないことの学習は効率が著しく悪い。まずはいろんな情報に触れてそこをクリアしたい。つまり、楽しいと思えるようになるまでは軽く流しながらやっていく。楽しみ方が分かったあとでしっかりと学び直すことにする。
## 3章を読んだ ➤ word2vec
前章のものはカウントベースの手法と呼ばれるものらしい。そして、この章で扱うword2vecは推論ベースの手法と呼ばれるらしい。次章以降に本格的なものを示すとして、この章ではわかりやすくシンプルなものを扱われる。そのおかげもあるのだろう、前章のものに比べて特別に難しくなっているということはなかった。また、カウントベースの手法と推論ベースの手法は、現在ではどちらが優れているかは決められないということはないらしい。word2vecは与えられたコンテキスト(文として意味のある単語の並び)を入力としてモデルに与えて、そこから次に出現するであろう単語の出現確率を出力として得る。そのモデルの一つに、この章で取り上げられているCBOWと呼ばれるものがある。もうひとつ有力なものに、skip-gramというものがある。一概にどちらが優れているかとは言いづらいものの、skip-gramを使ったほうが良い結果が得られるらしい。
## 2章を読んだ ➤ 自然言語の単語と分散表現
自然言語処理というものがどのように行われるのか、まったく前知識がなかった。結局の所、数量的な表現に置き換えることで推論可能なデータを獲得する処理であることが分かってきた。おそらく、今後はこの処理を洗練させていくことで精度を上げていくことになるのだろう。自然言語であろうと、コンピューターで扱う以上は計算可能な問題でなければいけない。一見、普通の人にとっては困難そうな問題も、その手法が確立してしまえば、それを学ぶだけで実現可能となる。まだ先は長いがゴールは少し見えてきた。
## 1章を読んだ ➤ ニューラルネットワークの復習
前巻のダイジェストのようなもの。かなり時間が空いてしまったので、すっかり記憶から消え去ってしまったものかと思っていた。読んでいると不思議と思い出されてきた。十分にわかりやすい内容だが、この章だけでは十分な前知識を得ることは難しいだろう。1巻から通して読むことが想定されているものと思われる。
0
-
word2vec、RNN、seq2seqという基本的な技術について詳しく解説されており、自然言語処理に入門するのに最適な構成である。前作と同じく、逆伝播の計算グラフを通して実装を理解していくことができる。
0
-
ディープラーニングによる自然言語処理について、Python による実装コードをもとに理解を深めるための本。
・word2vec: 単語の分散表現による意味
・seq2seq: RNN による自然言語処理
・そこに attention を加えた改良
・self-attention により大規模並列化を可能にした Transformer の出現・期待
こういったことを学べる。
言語の意味をベクトルとして表現する分散表現、要するに CNN における重みのベクトルで、単語や文章の意味が表されることは、大きな発明だと思う。
そして Transformer はその出現以降、自然言語処理を大きく進歩させた。その代表的なモデルが BERT であり、GPT であり、ChatGPT の公開で、その強力さが広く伝わることとなった。
0
-
【貸出状況・配架場所はこちらから確認できます】
https://lib-opac.bunri-u.ac.jp/opac/volume/728494
0
斎藤康毅の作品
