人工智能
2024-03-26 16:46
952
0
如今，一个悬而未决的问题是，为什么大型语言模型如此有效。在这篇博文中，我将讨论有关大型语言模型的六个基本直觉。其中许多直觉受到手动检查数据的启发，这是一项我发现有帮助且会推荐的练习。
语言模型经过预训练，可以简单地预测文本语料库中的下一个单词，并且它们由此学到了惊人的知识。让我们看一些示例，了解它们可能从这个下一个单词预测任务中学到什么。
直觉 1. 对大型自监督数据进行下一个单词预测是大规模多任务学习。
尽管下一个单词预测是一项极其简单的任务，但当与海量数据集结合使用时，它会迫使模型学习大量任务。考虑以下传统 NLP 任务示例，这些任务可以通过预测语料库中某些文本的下一个单词来学习。
