ChatGPT一系列的技术里面,有几项特别值得一提的技术,其中一项叫 Word Embedding ,翻译成中文叫词嵌入。这是比较难懂的一个词,是把一个词嵌入到一个矢量的空间里面。这里面矢量的维数可以非常多,每一维以0或者1代表一个矢量的性质。比方说第一个维度以0和1代表它是个生物还是非生物;如果是生物,下一维度,这是动物还是植物;如果是动物,下一维度判断这是哺乳动物还是非哺乳动物;如果是哺乳动物,是地上跑的还是天上飞的……在一个高维矢量空间里,把一个词意给它确定下来,这就叫做 Word Embedding。
大模型带来一个非常重要的工作模式和很多新的岗位。这个新的工作模式叫做MaaS,Model as a Service。原来我们说软件是个服务,网络是个服务,平台是个服务,现在说,模型是个服务。这个预训练的大模型会变成一个社会的基础设施,让我们的各行各业在这个预训练大模型基础上,用我们的数据和专门的知识,结合我们特定的任务,把它变成一个专用的模型。