基础模型为什么重要

基础模型为什么重要在人工智能领域大约在2021 年斯坦福的一组教授写过一篇报告第一次明确提出了今天大家都在使用的一个概念Foundation Model也就是基础模型。我们今天讲模型、讲大语言模型但“基础模型”这个概念是到2021 年才被这样明确提出的。它的重要性在于它让我们意识到数据不是简单地喂给模型的材料而是模型能力形成的根基。这也是我今天为什么要讲科学数据应该被放进基础模型。今天我们说“大模型”在中文语境里很多时候会把“大语言模型”里的“语言”两个字省掉。但事实上完整地说大语言模型是建立在文本数据上的基础模型。它的根本能力来自人类对文本数据的长期积累和处理。但处理文本这件事情并不是人工智能出现以后才有的。我们作为在中文环境里读书的人都知道中国古代的典籍最初是没有标点符号的甚至也没有今天意义上的空格。中文是到一百多年以前才逐渐开始系统使用标点符号。古拉丁文在早期也是如此没有空格也没有标点符号。没有标点符号会带来什么影响一个人如果不把这句话读出来就很难完成阅读和理解。所以对文本进行处理这件事早在人类文明史中就已经存在。用今天的观点看在文本之间加入空格和标点某种程度上也可以理解为一种早期的Tokenization。今天的大语言模型把人类对文本的处理带到了一个前所未有的高度。Tokenization 是其中非常关键的一环。