AI专题六：主流的大模型分类

一、按架构类型分类

当前趋势：Decoder-only占据主导（GPT系列成功带动），Encoder-Decoder仍有特定场景应用。

二、按模态类型分类

1. 大语言模型（LLM）- 纯文本

   类型	商业模型	开源模型
   通用对话	GPT-4/4o、Claude 3.5、Gemini、Kimi、文心一言、通义千问	LLaMA 3、Qwen 2.5、Mistral、DeepSeek-V3、ChatGLM3、Yi
   代码专用	GitHub Copilot、Cursor	CodeLLaMA、DeepSeek-Coder、StarCoder、WizardCoder
   推理专用	OpenAI o1/o3、Claude 3.5 Sonnet (Thinking)	DeepSeek-R1、Qwen-QwQ、Marco-o1

2. 多模态大模型（MLLM）- 文本+图像/视频/音频

   模态组合	代表模型
   文本+图像	GPT-4V、Claude 3、Gemini、Qwen-VL、LLaVA、CogVLM、InternVL
   文本+视频	Sora、Runway Gen-3、可灵、Pika、VideoPoet
   文本+音频	GPT-4o（原生多模态）、Qwen-Audio、SpeechGPT
   全模态统一	GPT-4o、Gemini 1.5 Pro、Qwen2.5-Omni

3. 视觉大模型

   类型	代表模型
   图像理解/分割	SAM 2（Meta）、CLIP（OpenAI）、EVA、InternViT
   图像生成	DALL-E 3、Midjourney、Stable Diffusion 3、FLUX、Imagen
   视频生成	Sora、可灵、Runway、Pika、CogVideo

4. 语音大模型

   类型	代表模型
   语音识别	Whisper（OpenAI）、FunASR（阿里）
   语音合成	VALL-E、Voicebox、CosyVoice
   语音对话	GPT-4o Voice、豆包语音、MiniMax语音大模型

三、按应用领域分类

四、按训练方法/特性分类

五、开源 vs 商业 一览
主流开源大模型（可免费使用/部署）

主流商业大模型（API/闭源）

六、技术趋势总结

七 chagpt5 ，deepseek v3.2， 豆包 属于哪一类大模型
这三个模型都属于大语言模型（LLM）的范畴，但各有细分特点：

详细分类

1. GPT-5（OpenAI）

   维度	说明
   类型	通用大语言模型（闭源商业）
   架构	Decoder-only，推测继续沿用MoE
   模态	原生多模态（文本+图像+音频+视频统一）
   特色能力	高级推理（o系列技术融合）、自主Agent执行、深度研究
   定位	当前全球最强通用模型，追求AGI

2. DeepSeek V3.2（深度求索）

   维度	说明
   类型	通用大语言模型（开源可商用）
   架构	Decoder-only + MoE（混合专家）
   参数规模	总参数量大，但推理时只激活部分专家（节省算力）
   突出优势	代码生成、数学推理、中文能力、API成本极低
   定位	"开源版GPT-4"，性价比之王

3. 豆包（字节跳动）

   维度	说明
   类型	通用大语言模型 + C端AI助手产品
   架构	Decoder-only（基于云雀模型）
   产品形态	App + 网页 + API + 嵌入抖音/飞书生态
   突出优势	语音交互自然、中文语境理解、内容创作（文案/脚本/视频）、年轻化表达
   定位	中国C端用户量最大的AI助手之一

八 chagpt5 属于LLM，为什么又是多模态呢？ LLM 不是用来处理语言的？

LLM（大语言模型）的定义正在扩展——从"纯文本模型"演变为"以语言为核心接口的多模态模型"。
GPT-5这类模型虽然叫"语言模型"，但实际上已经突破了纯文本的边界。
概念的演变
传统定义（早期）
LLM = Large Language Model = 纯文本大模型

    ↓
输入：文本
输出：文本
代表：GPT-3、早期BERT

当前定义（2024-2025）
LLM = 以"语言"为主要交互接口的大模型

    ↓
输入：文本 / 图像 / 音频 / 视频
处理：统一语义空间理解
输出：文本 / 图像 / 音频 / 视频
代表：GPT-4o、GPT-5、Gemini、Claude 3.5、Qwen2.5-Omni

为什么还叫"LLM"而不是"MM"？

GPT-5的多模态是如何实现的？

┌─────────────────────────────────────────┐
│           用户输入（多模态）              │
│    文本 / 图像 / 音频 / 视频 / 文件      │
└─────────────────────────────────────────┘
                   ↓
┌─────────────────────────────────────────┐
│         统一编码器（Tokenizer）          │
│  • 文本 → Token IDs                     │
│  • 图像 → Visual Patches（图像块）        │
│  • 音频 → Spectrogram Tokens            │
│  • 视频 → 时空Visual Patches            │
└─────────────────────────────────────────┘
                   ↓
┌─────────────────────────────────────────┐
│      统一Transformer架构（核心LLM）       │
│      所有模态在同一个语义空间处理          │
└─────────────────────────────────────────┘
                   ↓
┌─────────────────────────────────────────┐
│         输出生成（多模态）               │
│    文本 / 图像 / 音频 / 视频             │
└─────────────────────────────────────────┘

关键点：所有模态最终被编码为类似"token"的离散单元，用同一套LLM架构处理。

更准确的分类术语
为避免混淆，学术界/工业界出现了更精确的术语：

GPT-5的准确分类：MLLM（多模态大语言模型） 或 LMM（大型多模态模型）
一句话总结