最近なぜか部分強化スケジュールの勉強をしています。具体的には、スケジュールでのそれぞれのスケジュール固有の動物の挙動を表現する強化学習モデルの式を探しています。今回は、そんな式を理解するために記事にします。誰かのためというよりも、自分が理解をするために書いていきます。
一個の記事で終わるかなと思っていたけど、覚醒だけでかなりの文字数になったので３つの大きな要素をそれぞれ分けて記事にしました。
MPR: Mathmatical Principles of Reinforcement
日本語にするなら、強化の数学的原理（以下MPR）でしょうか。行動が増える強化という現象ですが、その現象を数式で表現したものになります。
元の論文はこの二つです(Killeen 1994; Killeen and Sitomer 2003)。オープンアクセスでもないです。また、内容もなかなかにややこしいのでまだ全文通して読んでの理解が僕もできていないです。なので、今回はWikipediaの英語版ページの和訳をしてきます。
さて、このMPRというのは、重要な要素が３つに分かれているそうです。arousal:覚醒、association:結合、constraint:抑制、です。それぞれの内容について３個の記事に分けて書きました。ここでは、簡単にそれぞれの内容に触れておきます。
Arousal：覚醒
覚醒とは、強化子が提示されることによって引き起こされる自発的な活動の増加を指します。ここでの活動というのは、レバーを押すというような実験的に強化したいオペラント行動というよりも、飼育小屋ん中を徘徊したりというような一般的な活動性の増加を指します。
この一般的な活動は、強化子の出現頻度が上がると線形に増加するそうです。
詳しくはMathmatical Principles of Reinforcement 強化の数学的原理におけるarousal興奮の意味を説明するをどうぞ。