Reinforement Learning
基本概论 符号 含义 state $s$ 状态 Action $a$ 动作 Policy $\pi$ 决策函数，根据状态做出决策到控制 Agent 的动作（马里奥上下左右） reward $R$ 奖励，最影响强化学习的结果 state transition 状态转移 $\text{old-state} \rightarrow \text{new-state}$,一般是随机的，随机性从环境来 Return $U(t)$ 回报，把t时刻以后的奖励加起来 $U_t = R_t+R_{t+1}+R_{t+2}+\dots$ Discounted Return $U(t)$ 带有衰减 $U_t=R_t+\gamma R_{t+1} + \gamma ^2 R_{t+2} + \gamma ^3 R_{t+3}+\dots$ Action-value Function $Q_\pi(s,a)$ 动作价值函数，评判动作好坏 $Q_\pi(s_t,a_t) = \mathbb{E}[U_t \mid S_t = s_t,A_t = a_t]$ State-value Function $V_\pi(s)$ 状态价值函数，来评价策略函数的好坏 $V_\pi(s_t) = \mathbb{E}_A[Q_\pi(s_t,A)] = \sum_{a} \pi(a \mid s_t) \cdot Q_\pi(s_t, a)$ 决策函数 Policy function $\pi: (s, a) \in [0, 1]$,就是一个 PDF : ...