技术博客

参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）讨论的是一个很现实的问题：当基础模型已经足够大、训练足够贵时，如何只引入很小的任务特定状态，就让同一个模型适配不同任务、领域、用户偏好或输出协议。 ...

Transformer 的核心贡献是把序列建模从循环结构中解放出来：每个 token 不再只能沿着时间步逐个传递信息，而是可以通过 attention 直接和上下文中的其他 token 建立联系。今天的 GPT、LLaMA、Qwen、Mistral 等 Decoder-only LLM，本质上都是在反复堆叠 Transformer Decoder Block。 ...