本書は、世界最先端のAI研究所の一つであるDeepMindが発表した論文を軸に、 現代的なAIがどのように作られているのかをまとめた技術解説書です。 「汎用AI」「ゲームをプレイするAI」をテーマとし、 おもに深層強化学習の技術を取り上げます。 深層強化学習は、いまの世の中で広く使われているディープラーニングを ゲームなどの領域に応用した技術です。 深層強化学習には高性能なシミュレータが必要であり、 ゲームをはじめとした架空の世界を舞台として最先端の研究が進められています。 本書ではこれまでに発表されてきた論文を通して、 「いま技術的に何ができて、何が難しいのか」を紐解きながら、 一つ一つの技術を積み上げた先に来る、次の時代のAIについて考えていきます。 # 1章 ゲームAIの歴史　ボードゲーム、汎用ビデオゲーム、深層強化学習、RTS ## 1.1 ボードゲームとゲームAI　チェス、将棋、囲碁 ## 1.2 汎用ビデオゲームプレイ　ALE、Atari-57 ## 1.3 深層強化学習とゲーム環境　Malmo、OpenAI Gym、DeepMind Lab ## 1.4 リアルタイムストラテジーゲーム　StarCraft II、Dota 2 ## 1.5 まとめ # 2章 機械学習の基礎知識　深層学習、RNN、自然言語処理、強化学習 ## 2.1 深層学習の基礎知識 ## 2.2 RNNの基礎知識 ## 2.3 自然言語処理の基礎知識 ## 2.4 強化学習の基礎知識 ## 2.5 まとめ # 3章 囲碁を学ぶAI　AlphaGo、AlphaGo Zero、AlphaZero、MuZero ## 3.1 「囲碁を学ぶ」とはどういうことか ## 3.2 AlphaGo ## 3.3 AlphaGo Zero ## 3.4 AlphaZero ## 3.5 MuZero ## 3.6 まとめ # 4章 Atari-57を学ぶAI　DQN、Rainbow、Ape-X、R2D2、NGU、Agent57 ## 4.1 「Atari-57を学ぶ」とはどういうことか ## 4.2 DQN ## 4.3 Rainbow ## 4.4 Ape-X ## 4.5 R2D2 ## 4.6 NGU ## 4.7 Agent57 ## 4.8 まとめ # 5章 StarCraft IIを学ぶAI　SC2LE、AlphaStar ## 5.1 「StarCraft IIを学ぶ」とはどういうことか ## 5.2 SC2LE ## 5.3 AlphaStarの基礎知識 ## 5.4 AlphaStarのアーキテクチャ ## 5.5 AlphaStarの模倣学習 ## 5.6 AlphaStarのマルチエージェント学習 ## 5.7 まとめ # 6章 Minecraftを学ぶAI　Malmo、MineRL、今後の展望 ## 6.1 「Minecraftを学ぶ」とはどういうことか ## 6.2 MineRL Diamondコンペティション2021 ## 6.3 MineRL BASALTコンペティション2021 ## 6.4 今後の展望 ## 6.5 まとめ