反向传播与计算图

大语言模型微调及其应用的探索 跟踪前沿的技术

反向传播与计算图

  1. 前向传播与激活函数告诉你如何构建深度视觉网络
  2. 反向传播则用于计算价值函数关于网络中每个参数的梯度
  3. 有了每个参数的梯度就可以子啊训练的过程中更新每个参数
  4. 计算图则是反向传播技术梯度的高效工具