AI 生成任务

文生图模型详解

又称 t2i, txt2img, text to image model, 文本生成图像

文生图(text to image,T2I)是一种生成任务:模型只读一段文字提示,不需要参考图,直接产出一张静态图。它是从学到的分布里采样,而不是去检索,所以同一段文字换一个随机种子,出来的是另一张同样成立的图。

模型实际在做什么

你的提示词先被编码成一份表示语义的数值。模型从一整片随机噪声出发,一步步把噪声去掉一点,每一步都把画面往「符合这份语义」的方向推。几十步之后,噪声就收敛成了一张图。也有新一类系统改成按顺序预测图像 token 而不是去噪,但对使用者的含义完全一样:你是在从一个分布里采样,而不是在查一张现成的图。

这就是同样的文字能出完全不同画面的原因,也是「模型理解错了」这句话常常应该改成「模型给了你众多成立答案中的一个」的原因。重跑不是绕过问题的手段,本来就是这个工具的用法。

你真正能控的地方

  • 提示词。 顺序有影响。靠前的 token 权重更高,所以把最不愿意丢的放最前。
  • 随机种子。 唯一能让结果可复现的开关。以后可能还要回头改的图,记下它的种子。
  • 画幅比例。 它不是裁剪。同一条提示词要 16:9 和要 2:3,出来的是不同构图,因为模型见过的训练图本身取景方式就不同。
  • 参考图。 一旦加了参考图,你就离开这个任务、进入图生图了。
  • 反向提示词。 用来压掉反复出现的瑕疵有效,用来替代模型本来不具备的控制力无效。

怎么比较文生图模型

六个维度,几乎没有模型在全部六项上领先:

维度用什么测
提示词遵循度故意写过头的一条提示词,数有几条生效
文字渲染招牌或标签上一小段带引号的英文
人体结构手在做事的画面,不是垂着的手
风格跨度同一主体分别要照片、水墨、3D 渲染
比例与分辨率你真正要交付的比例,不是方图
价格与耗时一个想法你能付得起跑几次

价格必须进这张表,因为输出方差是这个任务的固有属性。一个便宜到能跑八次的模型,往往胜过一个只够跑两次的更强模型。

一条撑得住的提示词结构

[主体] [在做什么] in [环境], [光线], [镜头与取景], [媒介或风格]

尽量只写一个主体。两个主体一上来,属性绑定就开始失效:你要「红外套的女人和蓝外套的男人」,颜色被交换是常态,因为模型没有可靠机制把每个属性钉在每个人身上。真要两个特定主体,分开生成再用编辑那一步合起来。

三种最浪费 token 的习惯:堆质量形容词(超精细、8k、大师之作),现在的模型基本无视;给互相矛盾的取景(既是大全景又是特写);以及用正面句式写排除项(写「没有手」经常反而召唤出手,因为这几个词无论如何都在场)。

值得认识的几种翻车

英文乱码、三个以上就数不清、多主体之间属性串味、莫名的左右对称、以及风格向模型自带审美塌陷,这些都属于正常现象,而且没有一种是靠「写更多字」解决的。它们各有具体解法:文字事后合真字体、主体拆开生成、换个种子、或者换一个默认审美更接近你要的模型。

这个效果的提示词

一条能稳定出效果的起点。主体和场景可以换,技术性的那几句留着。

A lone lighthouse keeper on a wet stone jetty at dawn, low overcast light, 35mm, muted palette, shot from behind at eye level

试一下:文生图(T2I)

打开生成器,参数已经预填好。

常见问题

文生图和图生图有什么区别?
T2I 手里只有你的文字,构图、主体、风格全部由模型发明;图生图从你给的图出发做修改,版式和色彩基本被继承下来。找想法用 T2I,改一个已经有的东西用图生图。
txt2img 和 T2I 是一回事吗?
是。T2I、txt2img、text2img 指的是同一个任务。短写法来自开源模型社区,常见于文件名和节点图里;产品文档一般写全称。
为什么图里的文字是乱码?
多数模型把字母当纹理而不是符号,于是复现了「像在写字」的观感却拼不出词。把字符串写得极短、用引号括起来、且只要求一处文字,遵循度会好一些。必须准确的文字,请事后用真字体合上去。
怎么让同一个角色出现在两张图里?
光靠写提示词做不到。固定种子只能重复整张图,不能把同一个主体放进新场景。做法是先生成一次这个角色,再把那张图作为参考图走图生图或编辑,这就是参考图输入存在的意义。
同一条提示词跑两次为什么不一样?
因为生成是从随机噪声开始的,种子决定了用哪一份噪声。固定种子 + 固定提示词 + 固定参数才可复现。任何一项变了(包括画幅比例),得到的是新构图,不是微调。
提示词写多长才合适?
一个主体、一个动作、一个环境、一个光感、一个镜头感就够了。从句越多,模型悄悄丢弃的越多;真正需要更多元素时,分开生成再合成,比把提示词写成一段作文可靠得多。

相关术语