模型与参数

基础模型是什么:底座如何决定整条生成链路

又称 foundation model, base model, 底座模型, 预训练模型

基础模型指的是在广泛数据上预训练一次、再被适配到很多下游任务的大模型,而不是为某一个任务单独训出来的模型。在生成式媒体里,它就是整个生态挂靠的那个底座:微调、LoRA、控制适配器、蒸馏出来的快速版本、各种任务变体,全部都是针对某一个具体底座做的。

预训练一次,适配很多次

基础模型这个词来自学术界对建模方式转变的描述:不再为每个任务单独训一个网络,而是在广泛数据上预训练一个大模型,然后去适配它。下游的一切都是适配。

在生成式媒体里这个模式格外看得见,因为那些适配你都叫得出名字。一个图像或视频底座会被做成风格 LoRA、全参微调、深度或姿态的控制适配器、多一个掩膜通道的局部重绘版本、首尾帧版本、四步蒸馏的兄弟版本,以及一堆产品功能。它们全部指回同一套预训练权重。

所以选基础模型这件事,比「这一个镜头用哪个模型」重得多。你同时在选:能用哪一套适配器生态、能在什么上面接着做微调、以及接下来整个项目要绕开哪些毛病。

底座决定上限

生成模型里一切像「智能」的东西,都来自预训练:

  • 提示词理解。 长提示词能活下来几条从句,空间关系是被执行还是被平均。
  • 世界知识。 它知不知道 Bolex 摄影机长什么样、燕尾榫怎么咬合、七十年代东京街牌上写什么。
  • 物理合理性。 视频里布料、水、头发、重量是否成立。这是最难蒙的一项,也是弱底座最快露馅的地方。
  • 文字渲染。 几乎完全是预训练属性。
  • 分辨率和时长范围。 由它被训练去输出什么决定。

适配能挪动的是风格、题材、审美,挪不动上面任何一条。这个不对称是这个词最有用的部分,因为它告诉你什么时候该换模型而不是继续改提示词:问题是观感就适配,问题是能力就换底座。

押上去之前怎么评测

看官方作品集判断底座没有意义,那是筛过的输出。自己建一组固定探针,在每个候选上原样跑一遍,各自用各自的推荐参数。八条提示词就够,前提是每条都挑着往痛处打:

  1. 四个不同物体,各自指定颜色和位置,测数量和版式。
  2. 一句必须拼对的短语,要出现在画面里。
  3. 手在做一件具体的事:握工具、打绳结。
  4. 一种你真的要用的具名审美,不是泛泛的风格词。
  5. 单一实体光源的暗场,测噪声处理和调性。
  6. 一条长提示词,把关键要求埋在中段,测遵循度衰减。
  7. 视频的话,加一个真物理镜头:倒水、风里的布、一个人坐下。
  8. 你自己最常做的那个题材。

把结果留档。探针组的价值在下一个版本发布时才兑现:你能看见到底变了什么,而不是只能相信宣传口径。

这个词不承诺什么

预训练得广,不等于在你的活上好用。通用能力很宽的模型,在某一种具体插画风格上照样输给窄微调;一个很大的视频底座,做说话人头像照样输给专门的口型同步模型。这个词描述的是权重从哪来,不是结果好不好,把它当质量分级用,工作流就会标准化在错误的权重上。

这个效果的提示词

一条能稳定出效果的起点。主体和场景可以换,技术性的那几句留着。

Four glass bottles on a windowsill, each a different colour, handwritten label reading SPRING 24 on the second bottle from the left

试一下:基础模型(Foundation Model)

打开生成器,参数已经预填好。

常见问题

它和微调模型有什么区别?
底座是在广泛数据上花巨额成本预训练出来的,见得多、知道得杂。微调拿这套权重往一个更窄的目标上推,在那个目标上更准,通常在别处失去范围。所以专门的微调版在它训练过的那种风格上一定赢过自己的底座,在其他任何事上都输给它。
它和大语言模型是一回事吗?
大语言模型是基础模型的一种,文本那一种。这个词故意更宽,因为「先预训练再适配」这套模式现在覆盖了图像、视频、音频和多模态系统。生产语境里有人说底座,一般指他们的适配器针对的那个图像或视频权重。
LoRA 能补一个弱底座吗?
它能加风格、加角色、加概念,但加不了能力。底座写不出能读的字、数不清物体、撑不住十秒镜头,任何适配器都救不了,因为适配器是微调已有行为,不是教会新本事。弱底座配好适配器,结果还是弱的。
为什么同一个模型的各个变体缺点一模一样?
因为它们是同一套权重换了不同接口。一个家族的图生图、局部重绘、首尾帧版本通常坐在同一次预训练上,所以底座的偏差(偏暖的色调、把主体往中间放的习惯、运动偏慢)会在每一个变体里出现。先按家族评测,再挑任务变体。
一条工作流里该常备几个?
两三个,按互补的失败模式挑,而不是按重叠的优点挑。常见配置是:一个指令遵循强的,负责带文字和硬性要求的活;一个画风符合你口味的;一个用来探索的快速档。再加第四个相似的模型,加的是决策成本,不是能力。

相关术语