1、基础视觉类模型视觉类模型主要处理图片和视频常见任务包括图像分类判断图片里是什么。目标检测不仅识别是什么还要标出位置。图像理解理解图片内容并回答问题。图像生成根据文字或参考图生成新图像。视觉模型的核心任务是从像素中提取结构和语义信息最终完成“看懂”或“生成”图像。2、基础序列、声音类模型声音和语音本质上也是一种序列数据重点在于时间顺序。相关模型通常用于语音识别把语音转成文字。语音合成把文字转成语音。音频理解判断说话内容、情绪或事件。声音模型处理的是随时间变化的信号因此比静态图片更强调时序关系。3、图片/视频生成GAN 与扩散模型在生成式视觉模型的发展过程中GAN和扩散模型Diffusion Model是两条非常重要的路线。GAN 的基本理解GAN 全称 生成对抗网络。它由两个部分组成生成器负责生成图像。判别器负责判断图像是真是假。二者像“造假者”和“鉴定员”一样反复对抗生成器在不断博弈中学会产出越来越逼真的结果。GAN 的优势是生成速度快在局部修补、小范围图像编辑、风格迁移等场景中表现不错。但 GAN 也有明显局限当缺失面积较大、主体结构复杂时它更容易沿着周边纹理“补”却不一定真正理解整幅图的全局逻辑因此可能出现局部看着像整体结构却不合理的情况。扩散模型的基本理解当前主流图片生成模型大量采用扩散模型。它的基础思路可以概括为先从噪声出发再一步步“去噪”最终生成符合提示词要求的图像。直观地说扩散模型不是“一次性把图画出来”而是像从一团模糊噪声中慢慢把图像“显影”出来。这个过程虽然通常比 GAN 更慢但生成结果往往更稳定对提示词的服从度也更高。为什么扩散模型在复杂生成里更常用从应用角度GAN 与 Diffusion 的根本差异不只是“谁更清晰”而是它们对画面结构的理解方式不同对比维度GANDiffusion生成方式生成器与判别器对抗博弈从噪声逐步去噪生成速度通常更快通常更慢局部修补表现较好也可胜任大面积缺失重建容易复制邻近纹理更擅长根据整体语义重构Prompt 服从度相对弱一些通常更强尤其在“主体缺失、大面积空白、需要根据上下文补出合理结构”的任务中扩散模型更常被优先选择。原因在于它更擅长从整幅图像的全局语义出发推断缺失区域应该是什么而不是只做局部纹理填补。视频生成如何理解视频生成可以理解为在图像生成能力的基础上再增加“帧与帧之间的连续性控制”。因此它不仅要解决“这一帧画得像不像”还要解决“前后几帧是否连贯、动作是否自然、主体是否稳定”。