时间:2023-05-21|浏览:220
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI
你还在苦恼如何给优化器调整更好的参数吗?现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数,直接用就行。
与其他人工设计的算法如Adam、AdaGrad等不同,VeLO完全基于AI构造,能够很好地适应各种不同的任务。并且,效果也更好。论文作者之一Lucas Beyer将VeLO与其他“重度”调参的优化器进行了对比,性能不相上下。
VeLO是如何打造的?在训练神经网络的过程中,优化器(optimizer)是必不可少的一部分。但AI模型应用已经很广泛了,训练AI模型用的优化器却仍然是人工设计的,这听起来多少有点不合理。
于是谷歌大脑的研究人员灵机一动:为什么不用AI来做一个优化器呢?
VeLO的原理基于元学习的思路,即从相关任务上学习经验,来帮助学习目标任务。相比迁移学习,元学习更强调获取元知识,它是一类任务上的通用知识,可以被泛化到更多任务上去。
基于这一思想,VeLO也会吸收梯度并自动输出参数更新,无需任何超参数调优,并自适应需要优化的各种任务。
在架构上,AI优化器整体由LSTM(长短期记忆网络)和超网络MLP(多层感知机)构成。其中每个LSTM负责设置多个MLP的参数,各个LSTM之间则通过全局上下文信息进行相互协作。
训练上,AI优化器采用元训练的方式,以参数值和梯度输出需要更新的参数。经过4000个TPU月(一块TPU运行4000个月的计算量)的训练,集各种优化任务之所长后,VeLO终于横空出世。结果表明,VeLO在83个任务上的加速效果超过了一系列当前已有的优化器。
值得一提的是,这次VeLO也被部署在JAX中,谷歌是真的很大力推广这个新框架了。
目前VeLO已经开源,有兴趣的朋友可以去试试这个新的AI优化器。
参考链接: [1]https://twitter.com/jmes_harrison/status/1593422054971174912 [2]https://medium.com/huggingface/from-zero-to-research-an-introduction-to-meta-learning-8e16e677f78a#afeb [3]https://mp.weixin.qq.com/s/QLzdW6CMkcXWQbGjtOBNwg
用戶喜愛的交易所
已有账号登陆后会弹出下载