大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー)
- 岩波書店 (2023年6月20日発売)
本棚登録 : 636人
感想 : 59件
- Amazon.co.jp ・本 (136ページ)
- / ISBN・EAN: 9784000297196
作品紹介・あらすじ
対話型サービスChatGPTは驚きをもって迎えられ、IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。
感想・レビュー・書評
-
ChatGPTのベースになるLLM (大規模言語モデル)についてとても簡潔に解説された本。著者はPreferred Networksの創業者の方で、同社のエンジニアからも多くフィードバックをもらったとのことで、その点でも安心できる。
LLMの成功の鍵となる各要素、自己教師あり学習、汎化、言語モデルのべき乗則、創発、宝くじ仮説、目標駆動学習(RLHF)、自己注意機構、本文中学習、メタ学習、などの説明は簡潔でわかりやすい。
幻覚の課題は大きいが、実際にはChatGPTなどプロンプト事例を引きながら使い倒していくのが、まずは個人的観点からは最初の第一歩になるだろう。実社会では、特定用途への最適化、学習のローカライズ、プライバシーの課題のためにいったんは多くのLLM対応のSI事業が出てくるのではなるのかもしれない。インターネットの黎明期にWebサイト構築業者が出てきて、そして集約されていったのと似たようなことが起きるのだろうなと思う。
予測モデルのフィードバックがLLMでも有効であることなどは、フリストンらが提唱する自由エネルギー原理などの脳や意識の仕組みとの類似性がこの本でも色濃く感じられた。著者も指摘するように、大規模言語モデルがこれだけうまく働くことから、大規模言語モデルを研究することで、人が言語をどのように理解し、それを用いて世界をどのように認識をしているのかを理解できることを期待している。驚くほどの類似が、意外に正解に近づいているのではないかと思わせるのだ。
ひとまず、大規模言語モデルを短期間で理解するには最適な本のひとつ。
8
詳細をみるコメント0件をすべて表示 -
岡野原大輔「大規模言語モデルは新たな知能か」読了。Google検索よりもChatGPTを利用する頻度が増えた。本書を読んで大規模言語モデルが構築されるまでの経緯や原理の面白さ以上にモデルを大きくすると非線形に問題が解けるようになる汎化の謎や普遍文法との関係性に新しい知性の萌芽を感じた。良書。
4
-
この先世界を変える「生成系AI」。まず知りたいのは、6章の「大規模言語モデルはどのように動いているのか」ってこと。テキスト生成AIの仕組みを理解したい
#大規模言語モデルは新たな知能か
#岡野原大輔
23/6/20出版
#読書好きな人と繋がりたい
#読書
#本好き
#読みたい本
https://amzn.to/3qYcbmY
4
-
大規模言語モデル(LLM)のことを数式を使わずに説明してくれている。
LLMとは、次の単語を予測する予測マシーンとのこと。連続で次の単語を予測していって文章になると。
6章を読めば、LLMがどう動いているのかがザックリと理解できる。
この本を読んで、人間がどうやって言語を習得していくのか、興味を持った。
3
-
話題のChatGPTに使われるLLMをわかりやすく説明した良書．私にとっては第6章が一番興味深い内容であった．MLPと注意機構の役割が説明されているのを見るのは，本書が初めてである．数式がないので，文系の人を含めて多くの人にお勧めできるが，内容はかなり高度である．
3
-
【星:3.5】
本書のテーマに対する私の知識不足が原因と思われるが、色々分からないところがあった。
本書は一般向けとの事であるが、多分AIとかに一定レベルの知識を持った一般の方向けというこだと思う。
ただ、理解出来た部分については色々と参考になり、今後AIについての一定程度の知識が必須となることは肌身で感じることができた。
2
-
大規模言語モデルの登場によって、AIによる自動化が進むと多くの人が仕事にあぶれるようになると危惧されているが、著者は逆だと考える。
自動化できない分野の仕事は残るし、何より効率化によって、こなせる仕事が増えれば増えるほど、全体としての総量は増えていくわけだがら、仮に全体の1割だけが人の仕事として残った場合でも、量は以前の数十倍に増えているわけだから、結局は同じ規模の分だけ仕事が残ることになり、あぶれないだろうと。
本書を読んで面白いと思ったのはこの部分だけで、この分野の解説書としては、スティーヴン・ウルフラムの『ChatGPTの頭の中』の方がわかりやすかった。
大規模言語モデルはこれまでになく膨大な量の知識をもっているが、例えばすでにデータとして取り込み済みの本も、本それ自体の形でデータが存在しているわけではない。
人間の中でいろんな記憶が混ざり合い、新しい事実を作り出してしまうように、大規模言語モデルも、この本の内容を出力しようとして、まったく新しい、言ってみればデタラメの情報を生成することがある。
この「幻覚」と呼ばれる現象を解決する方法は簡単ではない。
学習の仕組み上、内部では頻度や確率を拾っているだけで、意味を理解したり吟味しているわけではないため、新しく取り込まれた学習データで上書きされたり破壊されたりしてしまう。
この幻覚を抑制する手法がないかというと1つだけある。
それは、記憶容量を大きくすることだ。
データを増やし、モデルも大きくするなどスケールをデカくしていけばいい。
そうすれば生成できるデータの品質は驚くほど上がると語る。
それはそうだろう。
内部のサンプル数が少ないより大きい方が、確率の頻度を正しく反映できる。
だけど、「意味がある」ことを「高頻度」と紐付けしている事実は変わらないわけで、AI自身が人間のように意味を理解することが出来ない限り、不断のデータ参照と学習し直しが欠かせない。
その証拠に人が学習するより機械学習の方が圧倒的に物覚えが悪く、人間のそれよりも数百万倍近くのデータを食わせてやらないとまとも動いてくれない。
わずかでも自分で考えるとか、理解するということがないと、ここまで学習効率が悪いのだ。
一応、内部に注意機構を設けて、集めるデータの選別は行なっている。
出ないと大量のデータに埋もれてしまうからだ。
著者の説明では、ディープラーニングにとってとりわけ重要だったのはこの部分で、データを多層的に処理し、注意対象も前層で途中処理中のものも含めて、人間のような短期・長期記憶に似た方法で、内部でフィードバック処理することで、より精度の高い結果を得ることができたとしている。
しかもこうしたフィードバックにより、通常は固定であるはずのパラメーターも適宜改変して、全く新たな事象の解決も可能になったのだとか。
最終的には、ラベラーという人間によるフィードバックが待っている。
出力された結果に、偏見や攻撃性が含まれていないかを評価し、改善を促すのだ。
先日、グーグル新しい対話型AIであるGeminiが起こした事故も想起して考え合わせるとなかなか香ばしい。
ナチス時代のドイツ軍兵士として、黒人やアジア人の画像が大量に生成されたというアレである。
機械学習の基本はテスト前の一夜漬けの丸暗記と同じで、問題と正解の答えのペアだけを「過学習」で詰め込んだ状態から、まだ学習していない新しいデータにも対応できるよう「汎化」能力を高めてはいる。
しかし、こうやって予測して生成された言語や文が仮に正しかったとしても、その意味を本当に理解しているかは結局のところわからないし、多分してないだろう。
人間の言語理解の仕組みもよくわかっていないのだから、AIの方からもアプローチしていけば、言語処理の理解が進むと著者は考えるが、どうか。
さらに著者は、実験の結果を現象学的に解釈すれば、言語モデルは意味や構造を理解しているという立場。
最初は思い切って言語の意味を捨て、確率を使っての処理に特化して突き進んでいたら、いまや文章の中から予測に役立つ情報も扱えるようになって、結果として文も生成し理解できるようになったとする。
つまりは、大規模言語モデルは新たな知能だと言える、というのが結論のようだ。
そうかなぁ。
言語モデルを大規模化させることで、言語理解が進み、やがては人のように話せるようになると信じているが、錯覚にすぎない。
最新の音声合成技術によって、AIによる驚くほど自然な読み上げを、まるで声優が実際に喋っているように感じてしまう感覚に近い。
あたかも分かっているんじゃないかと、AIの脳の中を調べてみれば、そこにあるのは皺一つないツルツルの計算機に過ぎない。
データが増え過ぎても困らないが、パラメータ数つまりモデルの数を増やし過ぎたら、混乱しないか?
最適な組み合わせを見つけるのに苦労し、学習効率が落ちそうではないか?
当初は、専門家も疑っていたが、モデルサイズを大きくすればするほど学習効率も上がることがわかった。
なぜなのかは不明。
一応、もっともらしい仮説として提起されているのが、宝くじ仮説だ。
簡単に言ってしまうと、問題を解くのに、学習前に公式を詰め込めるだけ詰め込んでおくと、どれか正解できる公式に行き当たるから、あとはそれを掘り出していくだけということ。
ある意味当たり前と言えば当たり前のような話だが、だけどこの法則を信じた企業は前のめりになって、いまやスケールを大きくし続け、ディープラーニングは飛ぶ鳥を落とす勢いになっている。
札束で殴り合う世界だが、内部で行なわれているのは、寒々しい道化の所行に他ならない。
1
-
大規模言語モデル（LLM）について、またいわゆる（人口）知能とは、どのような理屈で動作しているのか？、について、その大まかな歴史、また正確な理論の解説と、わかりやすい（ただ決して万人向けではないが…）、技術的な興味を惹かれる記述を含む形で書かれた、優れた技術書であると思う。
私はかつて、学卒後約8年、いわゆるIT業界に身を置き、またその後業界こそ異なれどITに関わる仕事に長年従事してきた。ただ数年前にセミリタイアのような形でかの業界からは身を引き、ちょうど時を同じくしてChatGPTに代表されるような人工知能（AI）（LLM）が世間の耳目を集める時代になったように思う。そのような「自分の仕事とは関わりのない」「仕事を通じて触れる事のできない」LLMという概念をその基礎から知ることができず、ずっともやもやとした気分でいた。余談だが1995年のいわゆるウィンドウズショック、インターネット元年、その後の一連のIT革命（と勝手に私が呼んでいる）をまさに公私に渡って体験してきた身ではある。
そのようなLLM、について、学ぶ資料、書籍、になかなか出会うことが出来なかった。尤も、いわゆる親切な絵柄や過剰な色彩、それこそ「万人向け」の「ムック本」ならば、いくらでも書店に並んでいるだろう。ただ私は決してそのような形で（AIについて）学びたいとは思わなかった。実際、もしそのような形で触れていれば、下記のような発見はなかっただろう。
私が本書を通じて得た「発見」とは、「AIについてその技術を進化させようとする研究、行為、開発作業、は、人間の脳について、より深くその動作原理を知ろうとすることではないか？」という事である。私が冒頭で、「（人口）知能」とあえてカッコで括った事はそれを意味している。当たり前の事だが、私たちは常に考え、行動し、反省し、よりよく行動しようと、という日常を意識する事なく繰り返しているはずである。それは全く文字通り「無意識」の行動であり、その「命令」は殆ど「脳」がやはり無意識に「発信」していると思う。ではその無意識な行動は具体的にどうやって、どういう理屈で、どういう経験則に従って命令が発せられたのか？、もっとわかりやすい（と私が勝手に考えだした）例を挙げれば、テレビ番組に出てくるお笑い漫才師の演芸、その間合いとセリフが、なぜ我々はまさにその瞬間に面白いと感じるのか？、そこにAI、或いは人間の脳、というものの動作を理解するヒントがあるのではないかと、本書を読むことを通じて、私は発見させられたように思う。すなわち、AIの研究とは人間の脳の研究では無いかと。
最後に、本書の終末あたりの一文をそのまま引用する。まさにこの事がAIと人間の未来を表しているのでは無いかとも思う。
「結局のところ、人は異なる知能をもった存在によって、初めて自分たち自身を理解できるのかもしれない。人工知能が人間の自己理解に貢献していくと考えられる。」
1
-
大規模言語モデルを「数式を使わず」に(つまり、数学分からない人間に)解説するもの。
その意味でわかり良い本の最高のものとおもいました。
二回、読みました。
数ヶ月したら「続編」(この分野は激しく変わっていくので)を出して欲しい。この内容をより充実させ、新しい状況に対応したものを期待したい。
1
著者プロフィール
岡野原大輔の作品
![ディープラーニングを支える技術 ——「正解」を導くメカニズム[技術基礎] (Tech × Books plus)](https://m.media-amazon.com/images/I/51X6SjeXgVL._SL160_.jpg)
