谷歌大脑新优化器自适应调参，在不同任务中表现出色

萧箫 发自 凹非寺 量子位 | 公众号 QbitAI

你还在苦恼如何给优化器调整更好的参数吗？现在，谷歌大脑搞出了一个新的优化器VeLO，无需手动调整任何超参数，直接用就行。

与其他人工设计的算法如Adam、AdaGrad等不同，VeLO完全基于AI构造，能够很好地适应各种不同的任务。并且，效果也更好。论文作者之一Lucas Beyer将VeLO与其他“重度”调参的优化器进行了对比，性能不相上下。

VeLO是如何打造的？在训练神经网络的过程中，优化器（optimizer）是必不可少的一部分。但AI模型应用已经很广泛了，训练AI模型用的优化器却仍然是人工设计的，这听起来多少有点不合理。

于是谷歌大脑的研究人员灵机一动：为什么不用AI来做一个优化器呢？

VeLO的原理基于元学习的思路，即从相关任务上学习经验，来帮助学习目标任务。相比迁移学习，元学习更强调获取元知识，它是一类任务上的通用知识，可以被泛化到更多任务上去。

基于这一思想，VeLO也会吸收梯度并自动输出参数更新，无需任何超参数调优，并自适应需要优化的各种任务。

在架构上，AI优化器整体由LSTM（长短期记忆网络）和超网络MLP（多层感知机）构成。其中每个LSTM负责设置多个MLP的参数，各个LSTM之间则通过全局上下文信息进行相互协作。

训练上，AI优化器采用元训练的方式，以参数值和梯度输出需要更新的参数。经过4000个TPU月（一块TPU运行4000个月的计算量）的训练，集各种优化任务之所长后，VeLO终于横空出世。结果表明，VeLO在83个任务上的加速效果超过了一系列当前已有的优化器。

值得一提的是，这次VeLO也被部署在JAX中，谷歌是真的很大力推广这个新框架了。

目前VeLO已经开源，有兴趣的朋友可以去试试这个新的AI优化器。

参考链接： [1]https://twitter.com/jmes_harrison/status/1593422054971174912 [2]https://medium.com/huggingface/from-zero-to-research-an-introduction-to-meta-learning-8e16e677f78a#afeb [3]https://mp.weixin.qq.com/s/QLzdW6CMkcXWQbGjtOBNwg

热点：元宇宙大脑 币圈孵化器 比特币谷歌 谷歌nft 谷歌百度