GPT(LLM)不是AGI的全部

来源：神剧解说 发布时间：2024-04-03 13:05

人工智能领域正在如火如荼地发展，随着诸如ChatGPT、Claude、Gemini、Sora和Grok等平台的不断涌现，AI技术和模型持续演进，引发人们对通用人工智能（AGI）的浓厚兴趣。

在这一备受关注的话题中，人们常常将GPT和AGI的概念混淆在一起。

有人称赞GPT是新的工业革命，有人则认为当前的人工智能技术已进入AGI时代或即将迈入。

尽管GPT系列模型凭借出色的自然语言生成能力和广泛的应用声名鹊起，但我们不能忽视的是，GPT模型虽擅长处理大量文本数据和执行各种语言任务，但并非等同于通用人工智能。

GPT展现的智能只是人工智能技术中的一小部分，其重点在语言理解与生成，而AGI则追求跨领域、多任务的全面深厚智能。

因此，理性地认识GPT与AGI之间的区别至关重要。

本文旨在探讨当前最新人工智能技术的成就，梳理和分析通用人工智能的发展脉络，尽管GPT备受瞩目，却并非AI通向AGI的全部旅程。

一、AGI全景梳理

当我们探索人工智能的发展和前景时，总是会创造一些概念和名词。而充分理解这些词汇则是认识人工智能的第一步。

这些名词包括人工通用智能（AGI）、窄人工智能（ANI）、自然语言处理（NLP）、计算机视觉（CV）、大语言模型（LLM）、AIGC（生成式人工智能）、GPT（生成式预训练Transformer模型）、BERT（基于Transformer的双向编码）、Diffusion Models（扩散模型）、GANs（生成对抗网络）、Transformer、RNNs（循环神经网络）、CNNs（卷积神经网络）、ANN（人工神经网络）、Fine-tuning（微调）和PLHF（人类反馈的强化学习）等。

本小结将通过概念和实现两个层面梳理他们之间的关系。

1. 概念层

AI是人工智能（Artificial Intelligence）的简称，该概念最早是达特茅斯大学的一名年轻教授约翰-麦卡锡（John McCarthy）在1956年为研讨会写提案时创造的，后来被广泛接受为描述一种由人类创造出来的技术，它模仿并扩展了人类智能的各个方面，包括感知、学习、推理和决议计划等。但长久以来AI概念只是描述人类的一种理想和目标，并无实际进展。

为进一步实现AI，学者和专家们根据其应用场景不同将AI的目标拆分为AGI和ANI两种实现目标。

• AGI：是指通用人工智能（Artificial General Intelligence），它是一种智能的形式，能够理解、学习和应用知识跨越不同的领域和任务，与人类智能类似。与ANI不同，后者主要专注于特定领域或任务（如图像识别、语言翻译或玩特定的游戏），AGI可以在没有专门为每个新任务编程的情况下，自主地执行任何智能生物能够执行的学习或解决问题的任务。可以说AGI是模型泛化形式。
• ANI：是指窄人工智能（Artificial Narrow Intelligence），也被称为专用人工智能，指的是专门设计来执行一个或几个特定任务的智能系统或软件。这类智能系统表现出在其专门领域内的高效率和强大能力，但它们的能力是局限的，只能在其被设计和训练的特定任务范围内工作。得益于AI三巨头（Yann LeCun、Geoffrey Hinton & Yoshua Bengio）的贡献，在过去10年，ANI在语言处理、图像识别方面取得突破性进展，并广泛在各行业中应用和推广。但在AGI派来看，ANI并不能算真正的AI，因为ANI缺乏像人一样对信息广泛和通用的处理能力。人工智能到底是朝向知识专精的专家系统发展，仍是知识覆盖更广泛、通用的百科全书方向发展？有待验证。但AGI作为新兴事物确实已得到足够的认可和关注。

除了AGI和ANI两个AI目标概念以外，根据人类的感官需求，AI的具体应用则主要体现在语言和视觉处理的两大领域，即：NLP和CV。

• NLP：是指自然语言处理（Natural Language Processing），是人工智能（AI）和计算机科学领域的一个分支，专注于使计算机能够理解、解释和生成人类的自然语言。NLP结合了计算机科学、人工智能和语言学的技术，旨在桥接人类语言和计算机之间的差距。包括但不限于：文本分析，语言翻译，对话系统，自动文摘，命名实体识别（NER），自然语言理解（NLU）等。
• CV：是指计算机视觉（Computer Vision），目标是使计算机能够“看”和理解图像和视频中的内容，就像NLP使计算机能够理解和生成人类语言一样。计算机视觉涵盖了从基本的图像处理到复杂的图像理解的各个方面，包括但不限于：图像分类，对象检测，图像分割，图像生成，图像恢复，动作识别等。

当前最火爆的ChatGPT和Stable Diffustion就是AI在NLP和CV领域最为成功的两款应用之一。而ChatGPT就是LLM的一种具体实现。

LLM：是指大规模型语言模型（Large Language Model）。随着ChatGPT的成功，而广为人知。是一种利用深度学习技术训练的人工智能系统，旨在理解、生成和翻译人类语言。这些模型通过分析海量的文本数据来学习语言的结构、语法、语义及其使用上下文，从而能够生成连贯、逼真的文本，回答问题，总结信息，翻译语言，甚至编写代码。这里需要特别指出大规模是指模型训练过程中使用得的超大参数目，例如：ChatGPT-4训练参数目大概是1750亿个参数，而马斯克刚刚开源的Grok-1参数目则为3140亿个参数。不同于ANI领域中的自变量概念，这里的参数是指通过神经网络运算的权重数量。因此大样本或大数据量并不能被认为是大规模语言模型。同时，LLM是特指大规模语言模型，即便是大规模参数的ANI模型也不能称为LLM，例如：华为盘古景象形象大模型并不是LLM，其只是采用Transformer架构的ANI模型。

最后我们要讨论一个比较特殊的概念，即：生成式AI（Artificial Intelligence Generated Content，简称AIGC）。该概念并不是AGI概念的原生词汇，而是国内学术造词工厂的杰作。国内普遍认为AIGC是利用人工智能技术自动创建文本、图片、音乐、视频等内容的过程。包括但不限于自然语言生成（NLG）、计算机视觉、音频合成和深度学习模型等领域。由于重复和含糊不清的定义，AIGC更像是把NLP、CV等重新包装成产业应用，制造互联网热点的过程。

以上重点讲解了关于人工智能最近比较热点的概念，但不是全部。之所以叫概念是因为这些名词本身并无实际模型支持，只是利便人们归类和理解的一种称呼而已。接下来讲解的具体AI工具则是有模型、架构和算法支持，有实际实现意义的内容。

2. 实现层

为了便于理解，我将模型、架构和算法归统称为实现层，因此首先出场的是当下最火的GPT模型。

1）GPT—生成式预训练Transformer模型（Generative Pre-trained Transformer）

这是一种LLM也是NLP，由OpenAI开发。它基于Transformer架构，主要用于处理和生成自然语言，因此GPT并不能直接生成图像。GPT模型属于深度学习的一部分，通过大量文本数据的预训练，学会了语言的结构、语法、词汇及其上下文之间的关系，使其能够执行各种语言任务，如文本生成、翻译、问答和摘要等。

其工作原理主要由预训练和微调构成。

预训练阶段，GPT模型在大规模的文本数据集上进行训练，目的是学习语言的一般特征，比如词汇、语法和语言使用的上下文关系，这一步骤让模型能够理解和生成语言的基本结构；

微调阶段，模型通过在特定任务的数据上再次训练，能够在特定的应用场景中更加精准和高效。GPT模型的特点是其“生成能力”，即能够基于给定的文本提示生成连贯、创新、多样化的文本内容。这使得GPT模型不仅可以用于回答问题和参与对话，还能用于创作文章、编写代码和更多创造性的任务。

在左图中，首先使用的Transfomer架构开展预训练；而在右图则是对不同任务进行微调的输入转换。将所有结构化输入转换为Token序列，由预训练模型处理，然后是Linear+softmax层处理。

微调（Fine-tuning）是深度学习中的一个重要概念，特别是在自然语言处理（NLP）、计算机视觉等领域的应用中。微调通常发生在预训练模型的基础上，目的是将这些通用模型调整为特定任务的专用模型。

2）BERT—基于Transformer的双向编码模型（Bidirectional Encoder Representations from Transformers）

这是一种同样采用Transformer架构的自然语言处理（NLP）预训练模型，由Google在2018年提出。它的核心创新之一是使用双向Transformer编码器来理解语言的上下文，这与之前的单向或部分双向处理方法相比，能够更准确地捕捉到词语间的关系和语义。

从上图可以看到，BERT使用双向转换器。OpenAI GPT使用从左到右的转换器。ELMo使用独立训练的从左到右和从右到左的LSTM的级联来生成下游任务的特征。在这三种表示中，只有BERT表示在所有层中都以左右上下文为联合条件。

除了架构差异之外，BERT和OpenAI GPT是微调方法，而ELMo是基于特征的方法。虽然BERT也使用了大量的文本数据进行预训练，能够捕捉语言的深层语义和上下文关系，但其设计初衷主要是提高特定的NLP任务（如问答、命名实体识别、情感分析等）的性能，而不是“生成能力”。由于BERT的参数目大致在3.4亿左右，因此一般不把BERT归为LLM。

在自然语言处理（NLP）领域，除了著名的GPT系列和BERT之外，还有很多其他重要的模型和技术进展，例如：ELMo、RoBERTa、T5、XLNet和Grok-1采用的Mixture-of-Experts模型等，由于篇幅有限不一一介绍。

在计算机视觉（CV）领域，也是众星璀璨，其中以Diffusion Models和GANs最为著名。

3）Diffusion Models—扩散模型

Diffusion Models同样是生成模型，主要用于创建高质量、逼真的数据，如图像、音频、文本等。这些模型的灵感来自物理学中的扩散过程，即物质从高浓度区域向低浓度区域移动。

Diffusion Models 通过以下两个阶段来生成数据，即：噪声添加过程（向前扩散），噪声去除过程（向后扩散）。

扩散过程是一个马尔可夫链，它在采样的相反方向上逐渐向数据添加噪声，直到信号被破坏。当扩散由少量高斯噪声组成时，可以将采样链转换设置为条件高斯，从而实现特别简单的神经网络参数化。

在具体训练架构的实现方面Diffusion models 通常利用CNNs（卷积神经网络）作为其核心架构。这主要是因为卷积神经网络在处理图像数据方面的高效性和能力。

CNNs能够从图像中自动学习和提取有用的特征，这使得它们非常适合于图像相关的任务，如图像生成、图像分类、图像恢复等。

在Diffusion models的上下文中，CNNs被用来实现所谓的“去噪”步骤。在这一步骤中，模型试图从部分加噪的数据中预测原始数据的干净版本。这个过程需要模型能够理解图像中的复杂模式和结构，以便逐步消除噪声并最终重建出清晰、高质量的图像。CNNs以其强大的空间特征提取能力，非常适合这项任务。

当然，根据特定应用的需求，Diffusion models也可以集成其他类型的神经网络架构。例如，对于涉及序列数据（如文本或音频）的生成任务，可以考虑使用RNNs（循环神经网络）或Transformer网络，这些网络能够更好地处理序列之间的依赖关系。

最近的研究也开始探索将Transformer架构应用于Diffusion models中，尤其是在需要处理大量上下文信息或长序列数据的场景。OpenAI最近发布的Sora就是一种Transformer+Diffusion的训练模型，其利用Transformer架构，对视频和图像的时空补丁进行编码，实现在可变持续时间、分辨率和宽高比的视频和图像上训练文本条件扩散模型。

总的来说，虽然Diffusion models最初和最常用的架构是基于CNNs，但随着技术的发展和研究的深入，其他类型的神经网络也被探索和应用，以提高模型的性能和适用性。

4）GANs—生成对抗网络（Generative Adversarial Networks）

GANs是一种由Ian Goodfellow于2014年提出的深度学习模型。GANs通过其独特的训练机制，在生成新数据样本，尤其是图像生成领域，表现出了显著的能力。GANs的核心思想是基于两个相互竞争的网络：一个生成器（Generator）和一个判别器（Discriminator）。训练过程涉及对这两个网络进行交替训练。首先，固定生成器，训练判别器以最大化其区分真假样本的能力。然后，固定判别器，更新生成器以最大化判别器的错误率。通过这种方式，生成器逐渐学会生成越来越逼真的数据。

这个过程像一个“伪造者”（生成器）试图创造看起来真实的艺术品，和一个“鉴别者”（判别器）试图区分艺术品是真是假的游戏。随着游戏的进行，伪造者变得越来越擅长创造逼真的作品。它们都可以使用不同类型的神经网络架构。