1.5 正则化与交叉验证范数是一个数学概念用来度量一个向量或矩阵的“大小”或“长度”。你可以把它直观地理解为从原点到该点向量的距离。范数将向量映射成一个非负的数值这个数值越大表示向量“越长”或“越大”。所以正则化项一般就是模型参数向量所有参数作为分量构成的一个向量的一个范数。它可以指示参数的“大小”进而体现模型的复杂度。奥卡姆剃刀原意是“如无必要勿增实体”——简单的解释往往比复杂的更好。应用到模型选择上就是在能正确拟合数据的前提下选那个结构更简单的模型。比如一条直线能大致拟合数据就不要用弯弯曲曲的高次曲线否则可能只是“死记硬背”了训练数据过拟合。从贝叶斯角度看模型参数不是一个固定值而是一个随机变量有自己的先验分布训练前我们对参数的已有信念。我们可以假设简单的参数值比如接近0或很多为0出现概率大复杂的参数非常大或很多非零出现概率小。这正好对应复杂模型 ↔ 较小的先验概率。贝叶斯定理告诉我们后验概率 ∝ 似然数据拟合度× 先验概率。最大化后验概率 ≈ 同时最大化拟合度 最大化先验概率。参考数学基础复习那一篇取负对数后最大化后验就变成了最小化损失函数 先验项的负对数。这个先验项的负对数恰好就是正则化项。1.6 泛化能力定理解读1.7 生成模型和判别模型1.8 监督学习应用分类主要考虑二分类将所求的类主要关注的类称为“正类”其他所有类称为“负类”True Positive False PositiveFalse Negative True Negative精确率P在预测为正类的数据之中 正确预测的数据召回率R在实际的正类数据之中 有哪些是预测正确的希望精确率和召回率都是越高越好调和值F1P和R的调和平均值标注回归