近日,谷歌先知团队公布了一篇论文,介绍了他们使用类GPT模型的语言生成器。该模型可以为开放任务生成高质量的文本,并在多种基准上得到了前所未有的结果。
该模型中包含了1.3T的参数,是当前最大的语言生成器之一。与GPT-2和GPT-3不同的是,这个模型使用了一种新的高效转换方法,将较大的模型拆分成多个部分,以便可以在单台4卡机器上进行训练。
该模型在8个开放任务上进行了基准测试,包括对话生成、描述生成和文章生成等。在7个任务中,该模型都取得了超过先前最佳的结果。此外,在文章生成任务中,该模型也表现出色,比GPT-3模型的结果更好。
谷歌先知团队表示,该模型不仅限于生成文本,还可以应用于图像到文本、文本到图像等各种任务中,为未来的AI技术发展带来很大的潜力。