Lecture 13 – Gradient Descent, Feature Engineering

Recording
Slides
Type
Lecture
随机梯度下降和特征工程。在特征工程这一节,讲了随着模型复杂度的上升,准确率逐渐提高,但是在未知的数据上的准确率却逐渐下降,即过拟合。
整体而言,讲的满基础的

随机梯度下降

notion imagenotion image
notion imagenotion image
这里讲的随机梯度下降是用一个样本来训练的,感觉有点奇怪
顺便讲了一下凸函数,MSE作为损失函数必然是凸函数。
梯度下降只能找到局部最优,随机梯度引入了随机性,使得有机会跳出局部最优

特征工程

  • 获取领域知识
  • 编码非数值特征,onehot
notion imagenotion image