逻辑回归

大语言模型微调及其应用的探索 跟踪前沿的技术

逻辑回归

  1. 线性回归是预测一个连续的值,而逻辑回归是预测二分类
  2. 即线性回归的结果是一条线, 逻辑回归输出的是0或1
  3. 逻辑回归通过激活函数(sigmoid)将线性结构转换为0到1的概率

1、 激活函数

  1. 激活函数

    在每个神经元中引入了非线性

  2. 如果没有激活函数, 物流多深的网络都是线性的
  3. 线性网络, 无论多深, 都无法处理复杂的问题
  4. 激活函数有很多: 如sigmoid、ReLU、softmax等