随机梯度下降法步长的选择

以前网上有看到过,说是最好按3倍来调整,也就是0.00001、0.00003、0.0001、0.0003、0.001、0.003、0.01、0.03、0.1、0.3……然后确定范围之后再微调。

如果α取值过大,可能会导致迭代不收敛,从而发散。所以,一开始α的取值也要比较小心才行。

随着迭代次数的增加,一般需要慢慢减小α,因为这样能得到一个更好的结果。至于怎么减小α,也是有很多种策略,可以每次迭代都更新α的值,如α *= 0.96, 也可以 α*=α, 也可以每迭代几次更新一次α的值,方法很多,什么方式更好呢?实验吧……这跟数据有很大关系。

关于正则化参数λ的取值,因为才疏学浅,了解得不多,所以不便多说。不过一般来说λ不会取太小,我的感觉是0.001和1之间吧,也可以每次迭代都更新λ的值。比如一开始取比较小的值,然后随着迭代次数的增加,慢慢增加λ。

总结下,学习速率α越大,收敛越快,正则化参数λ越大,收敛越慢。收敛速度太快,可能一下子就越过极值点,导致发散;太慢则可能需要迭代非常多次,导致时间成本非常高。所以,α和λ取到一个合适的值,还是非常重要的。

***********2013年5月26日13:58:07*************

刚看到一种调整α的方法,就是\alpha_{k} = \alpha_{0} \frac{\tau}{\tau+k}, 当然,α的初始值也不能太大,不然还是会发散。

这个策略一个不好的地方就是\tau的取值问题,糟糕的取值可能会导致收敛非常慢。

转载请注明: 转载自http://jyd.me/

本文链接地址: 随机梯度下降法步长的选择

7 thoughts on “随机梯度下降法步长的选择

      1. = =

        明白了~谢谢。想再请教一下,如果一个objective里面有多个需要求的variable,那每个variable的步长比例应该怎么调,有什么可以分享的心得吗?

发表评论

电子邮件地址不会被公开。 必填项已用*标注