今の第3次AIブームの火付け役となった画像認識系AIでの第一人者であるヤン・ルカンさんが書いた本。CNNの基礎知識を持った人が読めば間違いなく楽しめる良書です☆
冒頭、「私は直観にしたがって研究を進めるタイプで、数学的な裏付けはいつも後回しだ」という記載がありますが、この本を読めば、何故CNNが上手くいくのかが直観的に理解出来る気がします。
「畳み込みニューラルネットワークはジョークのネタにされた。あんなややこしいものを動かせるのは、ヤン・ルカンくらいのものだ、と言われていたのだ。アホ抜かせ!」と言った感じで、一部、感情的な表現も出てきますが(笑)、冷静に何故当時は流行らなかったのか、またなぜ当時はサポートベクターマシン(SVM)やカーネル法が流行っていたのかを分析出来ている点も素晴らしいなと思いました☆
※ちなみにSVMの考案者とルカンさんはベル研時代に同僚だったらしいです
ちなみに、ヤン・ルカンさんが立ち上げたFacebook人工知能研究所(FAIR)では、特に最近、自己教師あり学習に関する論文が多数投稿されていますが、その辺りに関する記載も、専門家では無い人が理解出来る程度に軽く紹介されていました。強化学習に対してはかなり否定的な感じなので強化学習派の人がどう思うかは分かりませんが、自己教師あり学習に興味がある人は、いきなりSimCLRやMoCo、SimSiamの論文を読むと挫折する気がするので、まずはこの本を読んでイメージを掴んでおくと良いかも知れません。
プライム無料体験をお試しいただけます
プライム無料体験で、この注文から無料配送特典をご利用いただけます。
非会員 | プライム会員 | |
---|---|---|
通常配送 | ¥410 - ¥450* | 無料 |
お急ぎ便 | ¥510 - ¥550 | |
お届け日時指定便 | ¥510 - ¥650 |
*Amazon.co.jp発送商品の注文額 ¥3,500以上は非会員も無料
無料体験はいつでもキャンセルできます。30日のプライム無料体験をぜひお試しください。
無料のKindleアプリをダウンロードして、スマートフォン、タブレット、またはコンピューターで今すぐKindle本を読むことができます。Kindleデバイスは必要ありません。
ウェブ版Kindleなら、お使いのブラウザですぐにお読みいただけます。
携帯電話のカメラを使用する - 以下のコードをスキャンし、Kindleアプリをダウンロードしてください。
ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る (KS科学一般書) 単行本(ソフトカバー) – 2021/10/25
{"desktop_buybox_group_1":[{"displayPrice":"¥2,750","priceAmount":2750.00,"currencySymbol":"¥","integerValue":"2,750","decimalSeparator":null,"fractionalValue":null,"symbolPosition":"left","hasSpace":false,"showFractionalPartIfEmpty":true,"offerListingId":"SscSsdTUD%2B9KDmNqfSmX0jSX9vOPLgsmU%2BvLeTMchRVckhINCC1MA%2F5AFg5ycs2D67kynzApTj2QnXv765H0ePIT8PCX%2BenN%2FwC3%2FTObwJ4KImkaZvcK5VdhGIYjf%2BWzkTcohH64MdA%3D","locale":"ja-JP","buyingOptionType":"NEW","aapiBuyingOptionIndex":0}, {"displayPrice":"¥1,580","priceAmount":1580.00,"currencySymbol":"¥","integerValue":"1,580","decimalSeparator":null,"fractionalValue":null,"symbolPosition":"left","hasSpace":false,"showFractionalPartIfEmpty":true,"offerListingId":"SscSsdTUD%2B9KDmNqfSmX0jSX9vOPLgsmP5UDA%2BVtNN3SS0AdfUn9%2BcX2vYj%2BJ%2F0zB75WM3b4q0dQx3eNSTJ%2B57NFP9xyMHr2mRRf029krvLH5szSJmhbU27XqJ6bd5ud8YgoWmNpnPfqlbIE4Otx9PKLFtoTxa6xkn71JXUMKgBPxRVGVtZNtQ%3D%3D","locale":"ja-JP","buyingOptionType":"USED","aapiBuyingOptionIndex":1}]}
購入オプションとあわせ買い
フランスで10万部発行! 2018年度チューリング賞受賞、ヤン・ルカン氏(Facebook副社長)の「ベストセラー」がいち早く日本上陸!
AIとその中核をなす「ディープラーニング」の過去と現在、そして未来像とは?
ディープラーニングの父であるヤン・ルカン氏がエキサイティングに綴る。
・ヤン・ルカンは、なぜあきらめなかったのか?
・AI革命の恩恵を受けるのは、誰か?
・ディープラーニングは、論理的思考ができない?
・AIが、人間の「常識」を持つ日はくるのか?
【成毛 眞氏 絶賛!!】
一気に読める面白さ! AI時代の基本図書になるだろう。
【本書「監訳者あとがき」より抜粋】
本書は、ディープラーニングに関する書籍のなかでも、最も俯瞰的な視点で書かれた本のひとつであろう。技術に忠実であり、平易でありながら難解な説明を避けることなく、また、歴史や未来、社会的なインパクトにも言及している。
【本書「序章」より抜粋】
本書では、コンピュータ科学と神経科学が交差する領域で現在進められている科学的アプローチの実際を、安易な比喩に頼ることなく、一歩一歩解き明かしていきたい。
人工知能の本質に迫るべく、本書は2通りの読み方ができるようにしてある。ひとつ目は一般読者向けに、一読して理解できる平易な文章で、物語り、説明し、分析している。2つ目は詳しく知りたい人向けに、ところどころ数式やプログラムを使って、高度な数学的考察を行っている。
【主な内容】
序 章
第1章 AI革命
第2章 AIならびに私の小史
第3章 単純な学習機械
第4章 最小化学習、学習理論
第5章 深層ニューラルネットワークと誤差逆伝播法
第6章 AIの支柱、ニューラルネットワーク
第7章 ディープラーニングの現在
第8章 Facebook時代
第9章 そして明日は? AIの今後と課題
第10章 AIの問題点
終 章
AIとその中核をなす「ディープラーニング」の過去と現在、そして未来像とは?
ディープラーニングの父であるヤン・ルカン氏がエキサイティングに綴る。
・ヤン・ルカンは、なぜあきらめなかったのか?
・AI革命の恩恵を受けるのは、誰か?
・ディープラーニングは、論理的思考ができない?
・AIが、人間の「常識」を持つ日はくるのか?
【成毛 眞氏 絶賛!!】
一気に読める面白さ! AI時代の基本図書になるだろう。
【本書「監訳者あとがき」より抜粋】
本書は、ディープラーニングに関する書籍のなかでも、最も俯瞰的な視点で書かれた本のひとつであろう。技術に忠実であり、平易でありながら難解な説明を避けることなく、また、歴史や未来、社会的なインパクトにも言及している。
【本書「序章」より抜粋】
本書では、コンピュータ科学と神経科学が交差する領域で現在進められている科学的アプローチの実際を、安易な比喩に頼ることなく、一歩一歩解き明かしていきたい。
人工知能の本質に迫るべく、本書は2通りの読み方ができるようにしてある。ひとつ目は一般読者向けに、一読して理解できる平易な文章で、物語り、説明し、分析している。2つ目は詳しく知りたい人向けに、ところどころ数式やプログラムを使って、高度な数学的考察を行っている。
【主な内容】
序 章
第1章 AI革命
第2章 AIならびに私の小史
第3章 単純な学習機械
第4章 最小化学習、学習理論
第5章 深層ニューラルネットワークと誤差逆伝播法
第6章 AIの支柱、ニューラルネットワーク
第7章 ディープラーニングの現在
第8章 Facebook時代
第9章 そして明日は? AIの今後と課題
第10章 AIの問題点
終 章
- 本の長さ384ページ
- 言語日本語
- 出版社講談社
- 発売日2021/10/25
- 寸法15 x 2 x 21 cm
- ISBN-104065238080
- ISBN-13978-4065238080
よく一緒に購入されている商品
対象商品: ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る (KS科学一般書)
¥2,750¥2,750
最短で6月3日 月曜日のお届け予定です
残り5点(入荷予定あり)
¥1,400¥1,400
最短で6月3日 月曜日のお届け予定です
残り1点 ご注文はお早めに
¥990¥990
最短で6月3日 月曜日のお届け予定です
残り11点(入荷予定あり)
総額:
当社の価格を見るには、これら商品をカートに追加してください。
ポイントの合計:
pt
もう一度お試しください
追加されました
一緒に購入する商品を選択してください。
この商品をチェックした人はこんな商品もチェックしています
ページ 1 以下のうち 1 最初から観るページ 1 以下のうち 1
商品の説明
著者について
ヤン・ルカン
ニューヨーク大学教授およびFacebook副社長
1960年フランス生まれ。1987年パリ第6大学にて計算機科学のPhDを取得。AT&Tベル研究所、AT&T研究所などを経て、2003年からニューヨーク大学教授。2013年には兼業でFacebookに入社し、Facebook人工知能研究所を創設。機械学習、コンピュータビジョン、計算論的神経科学などに関心を持つ。
2018年に、コンピュータ科学分野における最高の栄誉とされるACMチューリング賞を、ジェフリー・ヒントン、ヨシュア・ベンジオとともに受賞。
松尾 豊
東京大学大学院工学系研究科 教授/日本ディープラーニング協会 理事長
1975年香川県生まれ。1997年東京大学工学部電子情報工学科卒業。2002年同大学院博士課程修了。博士(工学)。産業技術総合研究所、スタンフォード大学などを経て、現職。人工知能学会理事、編集委員長、倫理委員長などを務める。
2016年に、『人工知能は人間を超えるか ディープラーニングの先にあるもの』で大川出版賞、ビジネス本大賞特別賞など受賞。
小川 浩一
翻訳家
1964年京都府生まれ。東京大学大学院総合文化研究科修士課程修了。英語とフランス語の翻訳を児童書から専門書まで幅広く手掛ける。主な訳書に、『できる研究者のプレゼン術』『アーティストのための形態学ノート』『GRAPHIC DESIGN THEORY』『ティラノサウルス とびだす解剖学ガイド』などがある。
ニューヨーク大学教授およびFacebook副社長
1960年フランス生まれ。1987年パリ第6大学にて計算機科学のPhDを取得。AT&Tベル研究所、AT&T研究所などを経て、2003年からニューヨーク大学教授。2013年には兼業でFacebookに入社し、Facebook人工知能研究所を創設。機械学習、コンピュータビジョン、計算論的神経科学などに関心を持つ。
2018年に、コンピュータ科学分野における最高の栄誉とされるACMチューリング賞を、ジェフリー・ヒントン、ヨシュア・ベンジオとともに受賞。
松尾 豊
東京大学大学院工学系研究科 教授/日本ディープラーニング協会 理事長
1975年香川県生まれ。1997年東京大学工学部電子情報工学科卒業。2002年同大学院博士課程修了。博士(工学)。産業技術総合研究所、スタンフォード大学などを経て、現職。人工知能学会理事、編集委員長、倫理委員長などを務める。
2016年に、『人工知能は人間を超えるか ディープラーニングの先にあるもの』で大川出版賞、ビジネス本大賞特別賞など受賞。
小川 浩一
翻訳家
1964年京都府生まれ。東京大学大学院総合文化研究科修士課程修了。英語とフランス語の翻訳を児童書から専門書まで幅広く手掛ける。主な訳書に、『できる研究者のプレゼン術』『アーティストのための形態学ノート』『GRAPHIC DESIGN THEORY』『ティラノサウルス とびだす解剖学ガイド』などがある。
登録情報
- 出版社 : 講談社 (2021/10/25)
- 発売日 : 2021/10/25
- 言語 : 日本語
- 単行本(ソフトカバー) : 384ページ
- ISBN-10 : 4065238080
- ISBN-13 : 978-4065238080
- 寸法 : 15 x 2 x 21 cm
- Amazon 売れ筋ランキング: - 124,866位本 (本の売れ筋ランキングを見る)
- - 35位言語研究・記号学
- - 57位科学・テクノロジーの一般参考図書・白書
- - 102位情報・コンピュータ産業
- カスタマーレビュー:
著者について
著者をフォローして、新作のアップデートや改善されたおすすめを入手してください。
1975年 生まれ。香川県坂出市出身。東京大学大学院工学系研究科 教授。
1997年 東京大学工学部電子情報工学科卒業。2002年 同大学院博士課程修了。博士(工学)。産業技術総合研究所、スタンフォード大学等を経て、現職。人工知能学会 理事、編集委員長、倫理委員長等を務める。日本ディープラーニング協会会長。
2016年「人工知能は人間を超えるか ディープラーニングの先にあるもの」で大川出版賞、ビジネス本大賞特別賞など受賞。2018年スーツ・オブ・ザ・イヤー受賞。ほか、情報処理学会論文賞・長尾真記念特別賞、人工知能学会論文賞・功労賞など。
-
トップレビュー
上位レビュー、対象国: 日本
レビューのフィルタリング中に問題が発生しました。後でもう一度試してください。
2022年3月11日に日本でレビュー済み
Amazonで購入
2024年4月6日に日本でレビュー済み
Amazonで購入
理論的には第2期でほぼ完成していたと思っていますが、現在は溢れかえるコンピューティングリソース、いい時代ですよ
この40年を振り返れて懐かしい
この40年を振り返れて懐かしい
2022年3月21日に日本でレビュー済み
Amazonで購入
ヤン・ルカン「ディープラーニング 学習する機械」読了。Dxや機械学習の事は何かと耳にする機会が増えたように思う。しかしながら、そもそも何が本質なのかわからない。そこでその中心人物の1人である著者の書を読んでみた。その起点は2012年の畳み込みニューラルネットワークにあるとの事。ヒトの神経回路を模倣し各レイヤーで抽出する事で小負荷で認知するメカニズムは生物の点からも興味深い。また、本質を区別する指標を得た。
2022年5月18日に日本でレビュー済み
前半は初期のニューラルネットワーク試みと失敗の事例を具体的にルカンさんの研究歴に沿う形で説明しています。確かにニューラルネットやその学習の仕組みを知らないと難しく感じますが雰囲気だけは感じ取れます。後半のFacebookに関する記述や最近の話題は特に興味深く読めました。
ただ一つ残念なのは翻訳のせいで非常に読むのに疲れます。直訳調で、いわゆる受験で長文を読むときの前から訳していきましょう的な翻訳の仕方なので、日本語としては読みにくくて理解しにくくなってしまっています。
ただ一つ残念なのは翻訳のせいで非常に読むのに疲れます。直訳調で、いわゆる受験で長文を読むときの前から訳していきましょう的な翻訳の仕方なので、日本語としては読みにくくて理解しにくくなってしまっています。
2022年4月1日に日本でレビュー済み
Amazonで購入
難しかったです。
2023年1月2日に日本でレビュー済み
Amazonで購入
ディープラーニングの基礎を築いた1人であるLeCun氏による著書。氏がどの様にディープラーニングと関わってきたのか、また、どの様なアルゴリズムを考えたのかを知ることができる。ただし、一般向け書籍であるが、テクニカルな話も盛り込まれているので、読み進めるのは結構難しい。
2021年10月26日に日本でレビュー済み
Amazonで購入
世界トップクラスの人工知能研究者が書いた本。
全体的に学びが多く、良書だなと思いました。
個人的には特にFacebook関係の話(研究所やアルゴリズム)や、常識と自己教師あり学習あたりの話が面白かったです。
全体的に学びが多く、良書だなと思いました。
個人的には特にFacebook関係の話(研究所やアルゴリズム)や、常識と自己教師あり学習あたりの話が面白かったです。
2023年2月8日に日本でレビュー済み
本書は、ディープラーニングが冬の時代を乗り越えて注目を浴びるまでのルカン氏の研究に関する自叙伝のようなものだと思っていたが、ディープラーニングの現状や今後の課題など、想定以上の濃い内容だった。
1)ニューラルネットワーク技術の萌芽
1943年、サイバネティクスと神経科学の研究をしていたアメリカ人、ウォーレン・マカロックとウォルター・ピッツがニューロンの数理モデルを発表した。さらに、心理学者のフランク・ローゼンブラットは、このモデルにおいて、各信号の重みを修正していくことにより、誤差を調整して適応していくパーセプトロンを提案した。1969年のマーヴィン・ミンスキーらによる「パーセプトロンは排他的論理和が表現できない」という指摘に対しては、多層化もしくは多次元化によって対応できたが、非線形な境界を学習することは依然としてできなかった。
一方、視覚に関しては、ハーバード大学のヒューベルとウィーゼルは、猫の視覚神経の研究を通して、網膜からの情報が入力される初期視覚野において、「視野内で明暗の境界がどこにあり、それがどのような傾きを持っているかを検出する」単純細胞(simple cell)と「検出されるべき特徴的構造(線分やエッジ)が受容野の中に入ってさえいれば、それらの位置に関わらずニューロンが反応」する複雑細胞(complex cell)が存在していることを発見し、1981年にノーベル賞を受賞した。
さらに、NHK放送技術研究所の福島邦彦は、この単純細胞、複雑細胞を模倣した機構とパーセプトロンに相当する分類層から構成されるネオコグニトロンを1980年に発表した。
2)ヤン・ルカンのディープラーニング研究の軌跡
ルカンは、ESIEEパリ(1983年工学修士取得)の4年生のとき、すでにニューラルネットワークを逆伝播によって学習させるアイデアを持っていた。ただし、これは、現在の誤差逆伝播法とは異なり、各ニューロンに対する所望状態を伝搬させるもので、HLM(Hierarchical Learning Machine)と名付けた。
同じ頃、1982年のカリフォルニア大のデイヴィッド・ラメルハートの着想をもとにカーネギーメロン大学のジェフリー・ヒントンも参画して、誤差逆伝播法を動作させることに成功し、1985年には共同で技術報告書を発表した。さらに1986年には、共同研究者のジョンズ・ホプキンス大学のテレンス・セイノフスキーは、誤差逆伝播法で訓練することにより、テキストから音声を合成する装置(NetTalk)を発表した。
ルカンは、PhD取得後の1987年に、トロント大学に移っていたヒントンの研究室に加わり、福島のネオコグニトロンのアイデアをもとに、エンドツーエンド(誤差逆伝播法)で訓練できる機能を織り込んだ畳み込みニューラルネットワークを開発した。
1988年には、ベル研究所に移り、多層の畳み込みニューラルネットワークにより銀行小切手の金額読み取り装置の開発および商品化に成功した。しかし、1995年にAT&Tの構造改革の影響を受けて、読み取り自動装置のプロジェクトは中止となり、研究開発対象を機械学習とは関係のない画像圧縮に移した。さらに、多層ニューラルネットワークは、計算に時間がかかり、多くの訓練データを必要とすることもあり、世間のニューラルネットワークへの関心は低くなっていった。また、AT&Tは、2001年に会社を分割して研究者の半分を解雇したため、ルカン氏は、2002年にNEC北米研究所に移った後、2003年にニューヨーク大学の教授に就任した。
ルカンは、2005年に、ニューヨーク大学においてこの畳み込みニューラルネットワークがセマンティックセグメンテーションにも利用できることを明らかにした。
一方、ヒントンは、2010年ごろ、博士課程の学生をGoogle, Microsoft, IBMに送り込んでディープラーニングをベースにした音声認識システムを開発させた。
さらに、ヒントンは、2012年のILSVRCという画像認識のコンテストにおいて、ルカン氏が開発した畳み込みニューラルネットワークのアイデアをもとに、GPU上で動作するようにプログラムしたシステムで参加し、好成績を収めてディープラーニングを飛躍させるきっかけをつくった。
ルカンは、2013年に、ザッカーバーグからFacebookへの入社を打診され、AIの充実した研究を進めていくために、「社外の有識者とオープンな意見交換ができること、短期間での開発を要求しないこと、ニューヨーク大学での教職の兼任する」などを条件に申し出を受け入れ、FAIR(Facebook AI Research)の所長に就任した。その後、2018年にはそのポストを離れてChief AI scientistとなり、2019年にはチューリング賞を受賞した。
3)人間・脳とAI・深層学習の比較
a)ハードウェア性能
脳には860億個の神経細胞があり(猫は7億6千万個、犬は22億個)、約150兆個のシナプスでつながり合っている。各シナプスは、毎秒100回の「乗算・加算相当の計算」を実行でき、脳全体では毎秒150京回の計算に相当する。一方、GPUは毎秒10兆回の計算ができるので、数万個のGPUが搭載されているスーパーコンピューターは、ハードウェアの性能上ではかなり脳に近づいている。
b)地球モデル
人は常識や日常の生活に必要な能力を得るためには、自分の環境に関する多くのことを学ぶ必要があり、その多くは自力で知識を学ぶ「自己教師あり学習」によって得ている。具体的には、自分の内部に外部環境をシミュレートした内部モデル(地球モデル)を構築し、快楽・痛み・満足度などに関する目的関数を最大化(または最小化)するために行動を起こしたときに、その環境(の目的関数)がどのように変化するかを不確定要素も含めて予測した結果と、その環境が実際に変化した状態を感知した結果の差分である予測誤差を最小化するために、内部モデルのパラメータを修正する(「微分可能」)自己教師あり学習を行っている。現在、AIもそれと同等なことが遂行できるための研究が行われている。
c)帰納的推論
観測データからそこに存在する法則を発見し、さらに、まだ観測されていない現象を予測する帰納的推論は、科学の基本的な方法であるが、それはディープラーニングの得意とするところである。
また、化学、気候学、生物学、神経科学、認知科学、経済学、社会科学のように多次元で複雑な現象に対しても、ディープラーニングは、その複雑さなりの帰納的推論を行うことができる。
一方で、そのようにして推論された法則の因果関係を明らかにするための因果推論に関して、AIはまだ未成熟であり、現在多くの研究がなされている。
d)効率性
脳は、各瞬間において、ごく一部のニューロンしか活性化していない。また、脳(人間)は、観察した結果から素早く抽象的表現を構築し、ほとんどサンプルに頼らずに抽象的推論を繰り返しながら学習する。
4)AIの現状と未来と課題
①音声の認識と合成
人間の話し言葉は、音素の連なりとみなし、さらのその音素は3000個の単音から構成されるベクトルとして表される。話し言葉を畳み込みネットワークを用いて訓練することにより、音素の配列として表される単語モデルと単語の配列として表される言語モデルの中から、最も可能性の高いものを選択することによって認識される。
一方、音声を合成する場合には、認識とは逆のプロセスである逆畳み込みニューラルネットワークが用いられる。入力に特定した話者の単音ベクトルを使用すれば、その人の音声でテキストを読み上げる「音声クローニング」も可能となる。
②言語モデル
現在では言語モデルに欠かすことのできないAttentionのアイデアは、2015年にモントリオール大学のヨシュア・ベンジオの研究室に在籍していた韓国人の若手ポスドク研究員チョ・キョンヒョンとドイツ出身の若手実習生ドズミトリー・バーダナウの発想から生まれた。
③ニュースフィード
広告へのできるだけ多くのクリック数を得るために、広告数を増やすと訪れるユーザー数が減少して、かえってクリック総数を減らすことになる。そこで、むしろユーザーが永続的に満足感を持ち、かつその友人からも勧められるコンテンツの充実を行うようになった。
④AIの有望市場
医療、自律走行車、仮想アシスタント(常識が必要)、家庭用・産業用ロボット
⑤倫理性
投稿されたポルノや暴力的な画像やフェイクニュースなどの検出は、教師データが少ない上、それが悪意を持たず別の意図によって投稿されたものとの区別が困難なため、全世界で3万人のモデレータが、通報されたコンテンツのチェックを行っている。
⑥説明可能性
AIを使用していないシステム同様、AIを使用するすべてのシステムに説明性を求める必要はない。ただし、安全性が要求されるシステムでは、医薬品や航空機同様、説明性よりはむしろオープンな認証手続きが必要となる。一方、司法、医療、金融、行政などにおいて、その判断がAIのアウトプットに依存する場合には、感度分析などによりその理由を説明する義務がある。
⑦アルゴリズムの論理的説明
深層学習には、その理由が説明されていない多くの機能が発見されている(例えば、「層を深くすると精度が向上する」など)。しかし、これは深層学習に限ったことではなく、科学史において多くの発明は、理論に先行していた。)
1)ニューラルネットワーク技術の萌芽
1943年、サイバネティクスと神経科学の研究をしていたアメリカ人、ウォーレン・マカロックとウォルター・ピッツがニューロンの数理モデルを発表した。さらに、心理学者のフランク・ローゼンブラットは、このモデルにおいて、各信号の重みを修正していくことにより、誤差を調整して適応していくパーセプトロンを提案した。1969年のマーヴィン・ミンスキーらによる「パーセプトロンは排他的論理和が表現できない」という指摘に対しては、多層化もしくは多次元化によって対応できたが、非線形な境界を学習することは依然としてできなかった。
一方、視覚に関しては、ハーバード大学のヒューベルとウィーゼルは、猫の視覚神経の研究を通して、網膜からの情報が入力される初期視覚野において、「視野内で明暗の境界がどこにあり、それがどのような傾きを持っているかを検出する」単純細胞(simple cell)と「検出されるべき特徴的構造(線分やエッジ)が受容野の中に入ってさえいれば、それらの位置に関わらずニューロンが反応」する複雑細胞(complex cell)が存在していることを発見し、1981年にノーベル賞を受賞した。
さらに、NHK放送技術研究所の福島邦彦は、この単純細胞、複雑細胞を模倣した機構とパーセプトロンに相当する分類層から構成されるネオコグニトロンを1980年に発表した。
2)ヤン・ルカンのディープラーニング研究の軌跡
ルカンは、ESIEEパリ(1983年工学修士取得)の4年生のとき、すでにニューラルネットワークを逆伝播によって学習させるアイデアを持っていた。ただし、これは、現在の誤差逆伝播法とは異なり、各ニューロンに対する所望状態を伝搬させるもので、HLM(Hierarchical Learning Machine)と名付けた。
同じ頃、1982年のカリフォルニア大のデイヴィッド・ラメルハートの着想をもとにカーネギーメロン大学のジェフリー・ヒントンも参画して、誤差逆伝播法を動作させることに成功し、1985年には共同で技術報告書を発表した。さらに1986年には、共同研究者のジョンズ・ホプキンス大学のテレンス・セイノフスキーは、誤差逆伝播法で訓練することにより、テキストから音声を合成する装置(NetTalk)を発表した。
ルカンは、PhD取得後の1987年に、トロント大学に移っていたヒントンの研究室に加わり、福島のネオコグニトロンのアイデアをもとに、エンドツーエンド(誤差逆伝播法)で訓練できる機能を織り込んだ畳み込みニューラルネットワークを開発した。
1988年には、ベル研究所に移り、多層の畳み込みニューラルネットワークにより銀行小切手の金額読み取り装置の開発および商品化に成功した。しかし、1995年にAT&Tの構造改革の影響を受けて、読み取り自動装置のプロジェクトは中止となり、研究開発対象を機械学習とは関係のない画像圧縮に移した。さらに、多層ニューラルネットワークは、計算に時間がかかり、多くの訓練データを必要とすることもあり、世間のニューラルネットワークへの関心は低くなっていった。また、AT&Tは、2001年に会社を分割して研究者の半分を解雇したため、ルカン氏は、2002年にNEC北米研究所に移った後、2003年にニューヨーク大学の教授に就任した。
ルカンは、2005年に、ニューヨーク大学においてこの畳み込みニューラルネットワークがセマンティックセグメンテーションにも利用できることを明らかにした。
一方、ヒントンは、2010年ごろ、博士課程の学生をGoogle, Microsoft, IBMに送り込んでディープラーニングをベースにした音声認識システムを開発させた。
さらに、ヒントンは、2012年のILSVRCという画像認識のコンテストにおいて、ルカン氏が開発した畳み込みニューラルネットワークのアイデアをもとに、GPU上で動作するようにプログラムしたシステムで参加し、好成績を収めてディープラーニングを飛躍させるきっかけをつくった。
ルカンは、2013年に、ザッカーバーグからFacebookへの入社を打診され、AIの充実した研究を進めていくために、「社外の有識者とオープンな意見交換ができること、短期間での開発を要求しないこと、ニューヨーク大学での教職の兼任する」などを条件に申し出を受け入れ、FAIR(Facebook AI Research)の所長に就任した。その後、2018年にはそのポストを離れてChief AI scientistとなり、2019年にはチューリング賞を受賞した。
3)人間・脳とAI・深層学習の比較
a)ハードウェア性能
脳には860億個の神経細胞があり(猫は7億6千万個、犬は22億個)、約150兆個のシナプスでつながり合っている。各シナプスは、毎秒100回の「乗算・加算相当の計算」を実行でき、脳全体では毎秒150京回の計算に相当する。一方、GPUは毎秒10兆回の計算ができるので、数万個のGPUが搭載されているスーパーコンピューターは、ハードウェアの性能上ではかなり脳に近づいている。
b)地球モデル
人は常識や日常の生活に必要な能力を得るためには、自分の環境に関する多くのことを学ぶ必要があり、その多くは自力で知識を学ぶ「自己教師あり学習」によって得ている。具体的には、自分の内部に外部環境をシミュレートした内部モデル(地球モデル)を構築し、快楽・痛み・満足度などに関する目的関数を最大化(または最小化)するために行動を起こしたときに、その環境(の目的関数)がどのように変化するかを不確定要素も含めて予測した結果と、その環境が実際に変化した状態を感知した結果の差分である予測誤差を最小化するために、内部モデルのパラメータを修正する(「微分可能」)自己教師あり学習を行っている。現在、AIもそれと同等なことが遂行できるための研究が行われている。
c)帰納的推論
観測データからそこに存在する法則を発見し、さらに、まだ観測されていない現象を予測する帰納的推論は、科学の基本的な方法であるが、それはディープラーニングの得意とするところである。
また、化学、気候学、生物学、神経科学、認知科学、経済学、社会科学のように多次元で複雑な現象に対しても、ディープラーニングは、その複雑さなりの帰納的推論を行うことができる。
一方で、そのようにして推論された法則の因果関係を明らかにするための因果推論に関して、AIはまだ未成熟であり、現在多くの研究がなされている。
d)効率性
脳は、各瞬間において、ごく一部のニューロンしか活性化していない。また、脳(人間)は、観察した結果から素早く抽象的表現を構築し、ほとんどサンプルに頼らずに抽象的推論を繰り返しながら学習する。
4)AIの現状と未来と課題
①音声の認識と合成
人間の話し言葉は、音素の連なりとみなし、さらのその音素は3000個の単音から構成されるベクトルとして表される。話し言葉を畳み込みネットワークを用いて訓練することにより、音素の配列として表される単語モデルと単語の配列として表される言語モデルの中から、最も可能性の高いものを選択することによって認識される。
一方、音声を合成する場合には、認識とは逆のプロセスである逆畳み込みニューラルネットワークが用いられる。入力に特定した話者の単音ベクトルを使用すれば、その人の音声でテキストを読み上げる「音声クローニング」も可能となる。
②言語モデル
現在では言語モデルに欠かすことのできないAttentionのアイデアは、2015年にモントリオール大学のヨシュア・ベンジオの研究室に在籍していた韓国人の若手ポスドク研究員チョ・キョンヒョンとドイツ出身の若手実習生ドズミトリー・バーダナウの発想から生まれた。
③ニュースフィード
広告へのできるだけ多くのクリック数を得るために、広告数を増やすと訪れるユーザー数が減少して、かえってクリック総数を減らすことになる。そこで、むしろユーザーが永続的に満足感を持ち、かつその友人からも勧められるコンテンツの充実を行うようになった。
④AIの有望市場
医療、自律走行車、仮想アシスタント(常識が必要)、家庭用・産業用ロボット
⑤倫理性
投稿されたポルノや暴力的な画像やフェイクニュースなどの検出は、教師データが少ない上、それが悪意を持たず別の意図によって投稿されたものとの区別が困難なため、全世界で3万人のモデレータが、通報されたコンテンツのチェックを行っている。
⑥説明可能性
AIを使用していないシステム同様、AIを使用するすべてのシステムに説明性を求める必要はない。ただし、安全性が要求されるシステムでは、医薬品や航空機同様、説明性よりはむしろオープンな認証手続きが必要となる。一方、司法、医療、金融、行政などにおいて、その判断がAIのアウトプットに依存する場合には、感度分析などによりその理由を説明する義務がある。
⑦アルゴリズムの論理的説明
深層学習には、その理由が説明されていない多くの機能が発見されている(例えば、「層を深くすると精度が向上する」など)。しかし、これは深層学習に限ったことではなく、科学史において多くの発明は、理論に先行していた。)