Deep Learning

策略梯度 回顾一下，使用策略网络 $\pi(a|s; \boldsymbol{\theta})$ 来控制 Agent。 状态价值函数 $$ \begin{aligned} V_\pi(s) &= \mathbb{E}_{A \sim \pi}\big[Q_\pi(s, A)\big] \\ &= \sum_a \pi(a|s; \boldsymbol{\theta}) \cdot Q_\pi(s, a) \end{aligned} $$策略梯度 $$ \frac{\partial V_\pi(s)}{\partial \boldsymbol{\theta}} = \mathbb{E}_{A \sim \pi}\left[ \frac{\partial \ln \pi(A | s; \boldsymbol{\theta})}{\partial \boldsymbol{\theta}} \cdot \underline{Q_\pi(s, A)} \right] $$Baseline 在策略梯度强化学习中，baseline $b(s)$ 是一个仅由当前状态 $s$ 决定、和采样动作 $A$ 无关的标量值。Baseline 的核心就是降低梯度方差，避免参数更新抖动，加快训练收敛。baseline 有以下性质： ...

基本概论 符号 含义 state $s$ 状态 Action $a$ 动作 Policy $\pi$ 决策函数，根据状态做出决策到控制 Agent 的动作（马里奥上下左右） reward $R$ 奖励，最影响强化学习的结果 state transition 状态转移 $\text{old-state} \rightarrow \text{new-state}$,一般是随机的，随机性从环境来 Return $U(t)$ 回报，把t时刻以后的奖励加起来 $U_t = R_t+R_{t+1}+R_{t+2}+\dots$ Discounted Return $U(t)$ 带有衰减 $U_t=R_t+\gamma R_{t+1} + \gamma ^2 R_{t+2} + \gamma ^3 R_{t+3}+\dots$ Action-value Function $Q_\pi(s,a)$ 动作价值函数，评判动作好坏 $Q_\pi(s_t,a_t) = \mathbb{E}[U_t \mid S_t = s_t,A_t = a_t]$ State-value Function $V_\pi(s)$ 状态价值函数，来评价策略函数的好坏 $V_\pi(s_t) = \mathbb{E}_A[Q_\pi(s_t,A)] = \sum_{a} \pi(a \mid s_t) \cdot Q_\pi(s_t, a)$ 决策函数 Policy function $\pi: (s, a) \in [0, 1]$,就是一个 PDF : ...

Transformer 的核心贡献是把序列建模从循环结构中解放出来：每个 token 不再只能沿着时间步逐个传递信息，而是可以通过 attention 直接和上下文中的其他 token 建立联系。今天的 GPT、LLaMA、Qwen、Mistral 等 Decoder-only LLM，本质上都是在反复堆叠 Transformer Decoder Block。 ...