Google 提出的图片生成和编辑模型

这个不过多阐述

解决问题

这个模型重点是解决了什么问题? 为什么我们需要使用这个模型来解决问题, 对比传统的解决方案存在什么显著的优势?

解决了什么问题?

对于已有图片的二次编辑, 以及基于已有概念图的图片绘制. 这些问题都可以很好的被解决, 这是一个商业业务级别上都带来的巨大的性能提升的模型.

分享自己用到过的细致的使用场景:

1. 科研的深度学习模型结构图绘制, 如果出现了不擅长配色, 那么可以让 AI 帮助你上色.

2. 如果参考了别人的论文的模型, 现在需要重新绘制别人的结构图, 那么在缺少原绘图文件的情况下, 直接修改几个模块的配色和内容, 会较为麻烦, 因为需要自己从 0 绘制图片文件.

这个绘制环节如果找咸鱼外包出去也需要几十块钱到十几块钱不等.

对比已有方案的显著优势?

1. 在缺乏图片源文件(就是例如 drawio 绘制出图片使用的原本的画布文件)的情况下, 修改原本图片文件中的一些内容变得极为困难.

困难体现在修改内容之前需要完全重新绘制全部的图片文件, 耗时长, 成本高使用了 AI 之后, 这种修改可以让 AI 在 10+Sec 的时间完成需求, 耗时短, 成本低

缺点

1. 该模型无法通过对话理解图片中细节部分内容的修改, 它很多时候的操作都是一些简单的(不需要深入理解的概念性的)问题

举一个例子: 我认为模型在相邻像素点之间的绘制是高度相关的(所以, 模型处理的好), 但是, 有些时候, 我们的图片元素呈现出有间隔的(例如, 物体之间存在空白背景等分割了物体像素点之间的直接联系)多个物体之间的关联(这些物体相互构成了一个图片的组, 一个组包含多个物体, 组内存在理解上的语义联系).

1. 一旦模型第一次无法满足你的需求, 后面也就很难满足了, 因为 prompt 能给这个模型带来的性能和准确度提升有限.(我使用之后是这么认为的)

2. 无法处理小目标, 如果文本内容的像素相距太近, 或者占用空间太小, 可能导致模型无法正常处理, 或者把 2 个元素当成 1 一个元素

构建 prompt

参考 https://zhuanlan.zhihu.com/p/1944320444653105712 专栏中提到的内容, 但是指的注意的是: AI 提示词工程需要的是临机应变, 尤其是我认为针对 nano banana 模型提示词格式很多时候并没有最佳实践范式

个人理解

我说明一下我的个人对于构建这个模型提示词的理解, 比较宽泛.

1. 不同于其他的模型, 这个模型的任务描述不需要特别详细, 过多的细节描述对于 nano banana 来说可能难以做到. 最好是较为宽泛的限制, 给模型一定的操作空间, 模型可以操作的空间越大, 随机出效果可能会更加好.

2. 英语描述 >> 中文描述, 使用英文提示词

3. 尽可能是自然语言描述, 关键词描述不太适用.

LLM 辅助提示词生成

考虑到需要连贯的英文自然语言来描述修改的需求, 所以, 使用 LLM 辅助进行提示词生成没准是个不错的选择.

我考虑使用 gemini

给我一个英文提示词, 我需要操作nano banana模型进行图片编辑, 实现[你的需求].
- 提示词不要过于冗长

从而, gemini 往往会给你多个简短提示词, 选择你需要的 prompt

TIP

最后, 我认为人为的核验和校对十分重要, 这个模型还是容易出现单词拼写错误的情况. 针对错误的地方, 配合手动的 PS 修复图片内容.

行业拓展

分享一个面向研发人群使用的前后端分离的低代码软件——JNPF。

基于 Java Boot/.Net Core 双引擎，它适配国产化，支持主流数据库和操作系统，提供五十几种高频预制组件，内置了常用的后台管理系统使用场景和实用模版，通过简单的拖拉拽操作，开发者能够高效完成软件开发，提高开发效率，减少代码编写工作。

JNPF 基于 SpringBoot+Vue.js，提供了一个适合所有水平用户的低代码学习平台，无论是有经验的开发者还是编程新手，都可以在这里找到适合自己的学习路径。

此外，JNPF 支持全源码交付，完全支持根据公司、项目需求、业务需求进行二次改造开发或内网部署，具备多角色门户、登录认证、组织管理、角色授权、表单设计、流程设计、页面配置、报表设计、门户配置、代码生成工具等开箱即用的在线服务。