【無料で読める】Excelで作る強化学習: 動的最適化からDQN・AlphaZeroまで

■ 本書で扱う内容
・本書で扱う内容は，強化学習の導入から始まり，強化学習をディープラーニングと組み合わせた深層強化学習までです．具体的なアルゴリズムとしては，動的最適化・モンテカルロ法・Q学習・SARSA・ActorCritic・関数近似Q学習・関数近似ActorCritic・nステップSARSA・DQN・AlphaZero（アルファ碁の後継）を扱います．
・これら全てのアルゴリズムについて，理論及びExcelでの実装を扱います．
・深層強化学習を扱いますが，ディープラーニングについては詳しくは扱いません．ディープラーニングに関しては既に良い書籍が多く刊行されていますし，前書もありますので内容がダブるためです．但し，ディープラーニングについて知らなくても理解できるようにしてあります（少なくとも第16章まではディープラーニングは出てきません）．尚，本書ではディープラーニングの学習部分は全てExcelのソルバーで行います．前書のように誤差逆伝播法・確率的勾配降下法まで実装することはありません．

■ 本書の対象者
・前作と同じく高校生レベルの数学が分かっており，Excelの操作がある程度分かる方向けです．機械学習・ディープラーニングの知識は不要です．
・数学に関しては，特に前半，確率論を使うところがかなりあります．但し，これらはあくまで数学の得意な読者のために設けたものであって，分からない場合は適当に飛ばしてしまって構いません．完全に理解しようとするなら大学初年度前期レベルの確率の理解が必要ですが，アルゴリズムを理解し実装するだけならばその必要はありません．但し，微分とベクトルに関しては，理解していないとアルゴリズムを解釈・実装できなくなるため，第3章で簡単に説明しています．
・Excelに関してはある程度使いこなせることを前提としますが，第4章で，本書で用いるExcelの関数・機能について簡単な説明を行います．尚，後半ではマクロ（本書ではVBAも併せてマクロの表記で統一します）も用いますが，簡単なループものがほとんどです．そうでない場合は別途説明しています．但し，前書よりも読者のスキルが高いことを想定し，マクロの基本的な構文の説明は割愛させて頂きました．極めて基本的な構文しか使っていないため，事実上問題無いでしょう．

■ 本書の特徴
・Excelによる実装を通じた理解を重視しています．特に第5章以降はExcelの使えるパソコンを側に置いた状態で読まれることを想定しています．恐らくExcelによる実装の説明だけで全体の半分程度を占めています．第16章まではブラックボックになるようなソルバーやライブラリの類は一切用いていません．第17章の深層強化学習以降では部分的にソルバーを用いますが単純な最小化のみです．
・前書と同じく，あくまで基本的な理論と実装に特化しています．最新の技術の潮流だとかビジネスへの応用だとかには一切触れていません．但し，本書の内容を消化できれば技術的な記事にもある程度ついていくことができるようになると思います．

■ 前提とする環境
Excelに関してはExcel2007以降を前提とします（Mac・Windows問わず）．これはRANDBETWEEN関数とSUMIFS関数とIFERROR関数を多用するためです．また，本書のExcelファイルはMac版でも一応動きますが，処理が非常に重いため，Windows版を推奨します．

■ 注意
・本書の最終章でAlphaZeroを実装しますが，このAlphaZeroのディープラーニング部分は規模が小さすぎるためほとんど機能しません．アルゴリズムを理解するだけだと割り切って下さい．
・本書では強化学習・深層強化学習を扱いますが，実用不可能なレベルの極めて単純な問題しか扱いません．これは単純にExcelの制限と計算量を常識的な範囲内に抑えたことから来る問題です．本書は「作る」本ですが「作って理解する」のが主眼であり，作ったものを何かに使うことは想定していません．特に，後半の深層強化学習ではディープラーニングと強化学習を合体させますが，ディープラーニングを使うことの効果はまず感じられないでしょう．
・ホビーユーザーを対象にしているため，言葉の使い方をあえてあまり厳密にしていません．VBAなどをまとめてマクロと呼んだりします．また，イメージし易いように，かなりフワッとした例え話を使ったところも多々ありますがご了承下さい．