运维开发网

【NLP】ALBERT粗读

运维开发网 https://www.qedev.com 2021-04-08 15:57 出处:51CTO 作者:mb5fdb0a4002420
前几天看没事看了眼GLUE榜单就发现了ALBERT这个模型,去arxiv搜了下没搜到,还在想什么时候放出来,没想到在Openreview上。。论文地址:https://openreview.net/pdf?id=H1eA7AEtvSGoogle一出手就是不一样,不再是BERT+的模式,而是做了个大改动。先来感受一下刷榜的乐趣,GLUE:SQuAD:RACE:目前github上已经放出的开源版本:非

前几天看没事看了眼GLUE榜单就发现了ALBERT这个模型,去arxiv搜了下没搜到,还在想什么时候放出来,没想到在Openreview上。。

论文地址:https://openreview.net/pdf?id=H1eA7AEtvS

Google一出手就是不一样,不再是BERT+的模式,而是做了个大改动。

先来感受一下刷榜的乐趣,GLUE:

【NLP】ALBERT粗读

SQuAD:

【NLP】ALBERT粗读

RACE:

【NLP】ALBERT粗读

目前github上已经放出的开源版本:

非官方中文预训练ALBERT(感谢 kaiyuan):

https://github.com/brightmart/albert_zh

1. 模型简介

ALBERT主要对BERT做了3点改进,缩小了整体的参数量,加快了训练速度,增加了模型效果。

接下来介绍这三点改进。

1.1 Factorized embedding parameterization

在BERT、XLNet、RoBERTa中,词表的embedding size(E)和transformer层的hidden size(H)都是相等的,这个选择有两方面缺点:

  1. 从建模角度来讲,wordpiece向量应该是不依赖于当前内容的(context-independent),而transformer所学习到的表示应该是依赖内容的。所以把E和H分开可以更高效地利用参数,因为理论上存储了context信息的H要远大于E。

  2. 从实践角度来讲,NLP任务中的vocab size本来就很大,如果E=H的话,模型参数量就容易很大,而且embedding在实际的训练中更新地也比较稀疏。

因此作者使用了小一些的E(64、128、256、768),训练一个独立于上下文的embedding(VxE),之后计算时再投影到隐层的空间(乘上一个ExH的矩阵),相当于做了一个因式分解。

【NLP】ALBERT粗读

从后续的实验中来看,E的大小与实验效果也不是完全正相关,因此其他实验中E都取的128。

1.2 Cross-layer parameter sharing

跨层参数共享,就是不管12层还是24层都只用一个transformer。这在之前读过Universal Transformer就有了,当时以为会火,因为做语言模型的效果比标准Transformer好。结果没什么人用,这次被提起来了。

【NLP】ALBERT粗读

作者对比了每层输入输出的L2距离和相似度,发现了BERT的结果比较震荡,而ALBERT就很稳定,可见ALBERT有稳定网络参数的作用。

【NLP】ALBERT粗读

1.3 Inter-sentence coherence loss

后BERT时代很多研究(XLNet、RoBERTa)都发现next sentence prediction没什么用处,所以作者也审视了一下这个问题,认为NSP之所以没用是因为这个任务不仅包含了句间关系预测,也包含了主题预测,而主题预测显然更简单些(比如一句话来自新闻财经,一句话来自文学小说),模型会倾向于通过主题的关联去预测。因此换成了SOP(sentence order prediction),预测两句话有没有被交换过顺序。实验显示新增的任务有1个点的提升:

【NLP】ALBERT粗读

2. 总结

刚开始看这篇文章是很惊喜的,因为它直接把同等量级的BERT缩小了10倍+,让普通用户有了运行GPT2、威震天的可能。但是仔细看了实验后才发现体量的减小是需要付出代价的:

【NLP】ALBERT粗读

实验使用的xlarge是24层,2048维度,xxlarge是12层,4096维度。可以仔细看一下model的量级,并且注意一下这个speedup是训练时间而不是inference时间(因为数据少了,分布式训练时吞吐上去了,所以ALBERT训练更快),但inference还是需要和BERT一样的transformer计算。

可以得出的结论是:

  1. 在相同的训练时间下,ALBERT得到的效果确实比BERT好

  2. 在相同的Inference时间下,ALBERT base和large的效果都是没有BERT好的,而且差了2-3个点,作者在最后也提到了会继续寻找提高速度的方法(sparse attention和block attention)

鱼与熊掌不可兼得,尤其是对于工程落地而言,需要在速度与效果之间寻找一个trade-off。

另外,结合Universal Transformer可以想到的是,在训练和inference阶段可以动态地调整transformer层数(告别12、24、48的配置吧)。同时可以想办法去避免纯参数共享带来的效果下降,毕竟越深的transformer层所学到的任务相关信息越多,可以改进transformer模块,加入记忆单元、每层的个性化embedding。


原文链接:

https://zhuanlan.zhihu.com/p/84273154

本文由作者原创授权AINLP首发于公众号平台,点击'阅读原文'直达原文链接,欢迎投稿,AI、NLP均可。

欢迎大家关注AINLP公众号,加入我们的技术交流群(添加微信id:AINLP2,备注加群目的:技术交流、求职、直招),一起维护一个NLP技术交流环境。

【NLP】ALBERT粗读

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号