AI 生成任务

图生图(i2i)模型详解

又称 i2i, img2img, image to image translation, 图像转换, 参考图

图生图(image to image,常缩写为 i2i)是一种生成任务:输入图会约束输出。模型改写的是一张已有的画面,不是从纯噪声开始,所以构图、色彩、姿态会按「强度」这个参数所允许的程度被继承下来。

加了一张图之后,什么变了

纯文字生成必须自己发明结构。一旦你给了图,结构就已经定了,模型的工作收窄成「重新解释它」。这就是图生图成为生产环节主力、而纯文字生成更像创意工具的原因:你大致能预判会拿回什么。

实现上,多数做法是先给你的图加噪,再朝提示词的方向去噪。加多少噪就是「强度」,它决定了这一轮是一次调色,还是一张全新的画。

强度这一个滑块,几乎就是全部界面

强度留下什么用来做什么
低(0.1–0.3)几乎全部调色、小修补、加肌理
中(0.4–0.6)版式、姿态、色调换风格、换材质、定观感
高(0.7–0.9)一个大致构图松散再解释、概念变体

新手第一个错误是开高强度,然后惊讶源图没了;第二个错误是开低强度,然后断定这模型不会换风格。找到那个「结构稳住、风格能动」的数值,记下来,整个镜头都用它。

选对任务,比调参数重要

  • 改整张画面的观感:图生图。
  • 改一个物体或一块区域:局部重绘,配遮罩。
  • 套用另一张图的美学:风格迁移,本质是把文字指令换成风格参考图的 i2i。
  • 把画面往外扩:外扩绘制(outpainting)。
  • 既要修错又要放大:先修,再放大。

在能完成任务的前提下选最窄的那个任务,是这套流程里最有价值的习惯。你多允许模型碰一个像素,就多一个像素可能被它做坏。

多张参考图

新一代模型可以同时接受多张图,各司其职:一张定构图、一张定角色身份、一张定商品或服装。i2i 从这里开始不再只是风格工具,而变成了组装工具。两条规则能让它真的转得起来:

  1. 在提示词里说清每张图是干什么的。不说,模型就猜,而它通常猜你想要一个平均值。
  2. 参考图要干净、裁紧到真正重要的那个东西上。一张杂乱的参考图会把杂乱一起贡献进来。

这一轮提示词怎么写

描述「要改成什么」,不要描述这张画。画就在模型眼前,重述它只会和你给的像素争夺权重。

  • repaint as hand-inked comic art, flat shadows, keep pose and camera angle
  • ⚠️ a woman standing by a window in a blue dress 只是重述了源图已经钉死的东西

两种可预期的翻车:文字和 logo 每跑一轮都会退化,因为它们每次都被重新合成一遍,重要就把它们遮掉;连续叠很多轮会让画质缓慢下滑,因为每轮都继承上一轮的瑕疵。发现自己在对同一个文件跑第四轮时,回到原图重来更省时间。

支持该效果的模型

取自 ZOOOP 实时模型目录,新模型上架后自动出现在这里。

查看全部 25 个模型

这个效果的提示词

一条能稳定出效果的起点。主体和场景可以换,技术性的那几句留着。

Repaint this photo as a hand-inked comic panel, keep the exact pose and camera angle, flat ink shadows, no color

试一下:图生图(i2i)

打开生成器,参数已经预填好。

常见问题

图生图和局部重绘有什么区别?
图生图这一轮可以改写画面里的每一个像素,只是以源图为引导;局部重绘只在你画的遮罩范围内动手,遮罩外一个像素都不碰。目标是某一个物体或某一块区域时,正确的任务是局部重绘,用 i2i 属于大炮打蚊子。
为什么输出完全没理我的输入图?
强度给太高了。强度高到一定程度,模型被允许离源图很远,最后只剩一个模糊的色块布局还认得出来。往下调到结构回来,再小步往上加,直到风格变化达到你要的程度。
i2i 和 image to image translation 是一回事吗?
image to image translation 是更早的研究术语,指把一个视觉域映射到另一个域,比如线稿转照片、白天转夜晚。今天的 i2i 模型能靠一句文字指令做这些事以及更多,所以实际使用中两个说法已经混用。
参考图给几张合适?
结构给一张。第二张只有在承载不同类型的信息时才加,比如一个角色的脸、一件商品的确切包装。超过三张,模型倾向于把它们平均掉,你会得到一个谁都不像的结果。
图生图能保住同一张脸吗?
默认保不住。强度一升,身份是最先漂走的东西之一。要么把强度压低,要么把脸遮出来、只对其余部分跑这一轮,这比在提示词里怎么写都可靠。
为什么反复跑几轮之后画质变差了?
因为每一轮都继承上一轮的瑕疵和压缩痕迹,文字和 logo 每过一轮都会重新合成一次。同一个文件跑到第四轮时,正确做法是回到原图,一次想清楚地做完。

相关术语