除了新颖的混合模型体系结构之外，谷歌还升级了爬虫工具，爬虫工具可以从数以百万计的示例翻译中收集编译训练数据。升级后，谷歌嵌入了14 种大语言对，而不是单纯基于字典数据。也就是说它是使用实数向量来表示单词和短语，更多地聚焦于精确性（检索数据中的相关数据部分），而非检索（实际检索的相关数据总量）。产出效果方面，谷歌说这使得该数据挖掘器提取到的句子数量平均增加了29%。

“嘈杂”的数据和迁移学习

谷歌翻译性能提升的另一个技术突破来自更好地处理训练数据中的“噪声”。“噪声”即嘈杂的数据，因含有大量无法正确理解或解释的信息数据，从而会损害语料资源丰富的语言翻译。因此谷歌翻译团队部署了一个系统，该系统使用经过训练的模型为翻译示例分配分数，进而筛选出“纯净”的数据。实际上，这些模型一开始基于所有的数据进行训练，然后逐渐基于更小、更纯净的数据子集进行训练，这种方法在人工智能研究领域被称为课程学习。

对于机器翻译来说，传统上依赖于源语言和目标语言中成对句子的语料统计。对于资源较少的语言，谷歌在谷歌翻译中采用了一个回译机制，来强化并行训练数据，即语言中的每个句子都与其译文相配对。在该机制中，训练数据与合成的并行数据自动对齐，目标文本为自然语言，而源文本则由神经翻译模型生成。结果是，谷歌翻译充分利用更丰富的单语文本数据来训练模型，谷歌称这对提高翻译流畅性特别有帮助。

此外，谷歌翻译团队还建了一个M4模型。M4模型由团队在2019年提出，该模型对100多种语言的250亿对句子进行训练后，提高了30多种低资源语言的翻译质量。这一模型也证明了在机器翻译过程中可以使用迁移学习技术。这也意味着收集包括法语、德语和西班牙语，这些有数十亿个并行示例的高资源语言，并进行训练后，可以应用于翻译诸如约鲁巴语，信德语和夏威夷语，这些仅有数万个示例的低资源语言。

机器翻译的未来

谷歌称，自2010年以来，翻译质量每年都在提高，但是机器翻译绝不是翻译问题的“终结者”。 谷歌承认，即使是增强后的模型也容易出错，包括将一种语言的不同方言混合在一起，产生过多的直译，以及在特定主题，非正式或口语上的表现不佳。

谷歌尝试用不同的方法来解决上述的问题。公司曾发布一项计划旨在招募志愿者，通过检查翻译单词和短语是否正确来帮助提高低资源语言的翻译性能。?今年2月份，谷歌翻译与新兴的机器学习技术相结合后就完成了进步，他们提供了仅有7500万人使用的五种语言翻译，例如Kinyarwanda（卢旺达语），Odia（奥里亚语），Tatar（鞑靼语），Turkmen（土库曼语）和Uyghur（维吾尔语）。

追求真正通用翻译的并不只有谷歌一家。在2018年8月，Facebook发布了一种AI模型，该模型结合了逐词翻译，语言模型和反向翻译，在语言配对方面表现优异。最近，麻省理工学院计算机科学与人工智能实验室的研究人员提出了一种无监督模型，即可以从未经明确标记或分类的测试数据中学习的模型，该模型可以在两种语言的文本之间进行翻译，而无需在两种语言之间直接进行翻译。