正则化与优化算法

正则化的来源可以从两个角度考虑: 带约束条件的优化求解(拉格朗日乘子法) 贝叶斯学派的:最大后验概率 L1 正则可以通过假设权重 w 的先验为 Laplace 分布,由 MAP 导出。 L2 正则可以通过假设权重 w 的先验为 Gaussian 分布,由 MAP 导出。 总的来讲,L1 比 L2 更容易获得 sparse 的 w,L2 比 L1 更容易获得 smo ...