一、过（欠）拟合问题
回归问题中的过（欠）拟合
分类问题中的过（欠）拟合
很容易看出，x的次数越高，拟合程度越好，但也有可能造成预测能力变差
解决方法：
1.丢弃一些特征
2.正则化：保留所有的特征，但是减少参数的大小
二、代价函数
假设回归问题中模型为：
如果能让高次项系数接近于0，就能很好的拟合了
正则化要做的就是在一定程度上减小θ的值。如要减小和的值，可以通过修改代价函数，在和做一些惩罚
修改后的代价函数
正则化线性回归的代价函数
不对 进行惩罚
所以梯度下降算法要分成两种情况
如果利用正规方程来求解线性回归：
三、正则化的逻辑回归
正则化后的代价函数：
看起来与线性回归相同，但要注意，所以与线性回归不同