第24章 多模态预训练大模型成为人工智能基础设施。[第1页/共2页]

有任务。另一方面， CLIP （ ContrastiveLanguage-Image Pre-training ）的 广 泛利用也促进了多模态模型的技术生长。CLIP 作为基于对比学习的预练习模型，卖力从文本特性映照到图象特性，能够指导 GAN 或分散模型（ DiffusionModel ）生 成 图 像。 在 文 生 图 领 域，Stable Diffusion 也利用了 CLIP ，它能够通过文本提示调剂模型，并借助分散模型改良图象质量。与此同时，开源极大的促进了多模态的融会和预练习模型的生长。通过开源来降落模型利用门槛，将大模型从一种新兴的 AI 技术窜改成妥当的根本设施，已成为很多大模型开辟者的共鸣。

基于深度学习的多模态预练习是认知智能快速生长的首要鞭策力。构建多场景、多任务的预练习大模型将加快模型标准化过程，为野生智能模型成为根本设施缔造前提。深度学习模型

野生智能正在从文本、语音、视觉等单模态智能，向着多种模态融会的通用野生智能方向生长。多模态同一建模，目标是加强模型的跨模态语义对齐才气，打通各个模态之间的干系，使得模型慢慢标准化。目前，技术上的凸起停顿来自于 CLIP （婚配图象和文本）和 BEiT-3

（通用多模态根本模型）。基于多范畴知识，构建同一的、跨场景、多任务的多模态根本模型已成为野生智能的重点生长方向。将来大模型作为根本设施，将实现图象、文本、音频同一知识表示，并朝着能推理、能答复题目、能总结、做创作的认知智能方向演进。

2022 年，技术上的凸起停顿来自于 BEiT-3 多模态根本模型，该模型在视觉 - 说话任务措置上具有超卓表示，包含视觉问答、图片描述天生和跨模态检索等。 BEiT-3 通过同一的模型框架和骨干收集（ backbone ）建模，能够更加轻松地完成多模态编码和措置分歧的下

喜好股市闲谈请大师保藏：股市闲谈小说网更新速率全网最快。

注:（免责申明）本文仅为小我条记，内含个股仅仅是作为阐发参考，不能作为投资决策的根据，不构成任何建议，据此入市风险自担。股市有风险，投资需谨慎！

多模态预练习大模型成为野生智能根本设施。

多模态预练习模型的生长将重塑野生智能贸易形式，并为人们的出产糊口体例带来主动影响。对小我而言，近似CLIP 的多模态模型，将使更多非技术出身的人能够表达本身的缔造力，无需再借助东西和编程专业才气。对企业来讲，多模态预练习模型将成为企业出产效力晋升的关头。贸易形式上，具有大数据、算力资本和模型开辟才气的科技企业，将会成为模型办事的供应方，帮忙企业将根本模型的才气与出产流程融会起来，实现效力和本钱最优。认知智能的生长，不会范围在文本或图象等单一的模态上。将来，如何针对分歧模态建立更高效的模型架构和同一的骨干收集，使得大模型能够遍及地支撑各种下流任务将成为首要应战。在此根本上，更多的应战来自于发掘分歧模态（如图象 - 文本，文本 - 天然说话，视频 - 文本）数据间的相干信息，并奇妙的设想预练习任务，让模型更好的捕获分歧模态信息之间的关联。