ladydd

论文翻译

BERT: 用于语言理解的深度双向 Transformer 的预训练

https://arxiv.org/pdf/1810.04805 https://github.com/google-research/bert BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我们引入了一个新的语言表示模型，称为BERT，即Bidirectional Encoder Representations from Transformers（来自Transformers的双向编码器表示）。与最近的语言表示模型（Peters等人，2018a；Radford等人，2018）不同，BERT旨在通过在所有层中同时基于左右上下文来从未标记文本中预训练深度双向表示。因此，预训练的BERT模型只需添加一个额外的输出层就可以微调，从而为广泛的任务创建最先进的模型，如问答和语言推理，而无需进行大量特定于任务的架构修改。 BERT在概念上简单且在实证上强大。它在十一项自然语言处理任务上获得了新的最先进结果，包括将GLUE分数提高到80.5%（绝对提高