机器之心专栏
一只橘猫，减去「猫」，它会变成什么？
第一步在常见 AI 作图模型输入「一只胖胖的像面包的橘猫」，画出一只长得很像面包的猫猫，然后用概念半透膜 SPM 技术，将猫猫这个概念擦掉，结果它就失去梦想变成了一只面包。上图 1 是更多的猫猫图失去猫这个概念后的结果。
图 1 概念半透膜 SPM 针对不同的「猫」图擦除猫概念后的效果
下图 2 到图 6 展示了更多的示例。
图 2 失去梦想变成一只面包表情包
图 3 西装光剑米老鼠图擦除米老鼠概念
图 4 稻田里的史努比图擦除史努比概念
图 5 梵高的向日葵图擦除梵高概念
图 6 毕加索的抽象画擦除毕加索概念
这便是清华大学丁贵广教授团队和阿里安全联合发布的
相关论文《One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications》已经被计算机视觉国际顶级会议 CVPR 2024 高分录用。
阿里集团资深总监、人工智能治理与可持续发展研究中心主任、集团科技伦理治理委员会执行主席薛晖表示：该项成果在通义大模型系列的 AIGC 内生安全领域、可控生成等方面都具备落地潜力，能够有效避免有害概念的侵害，促进通义等 AI 技术产品可用、可靠、可信、可控地向善发展。
1、动机和研究背景
前不久，OpenAI 的文生视频模型 Sora 带来了 AIGC 新时代，主流的视觉 AIGC 基于扩散模型（Diffusion Model，DM），但依然存在各类问题，比如可以被诱导生成涉黄、侵权等危险概念、无法精准地对某些概念进行作画和控制等。这里的 「概念」可以是具象的「苹果」，也可以是抽象的「梵高风」、「色情」、「暴力」。
外置安全系统拦截风险会造成较差的用户体验（一些无恶意的用户可能在创作时，因为模型偶然生成一些违规内容而被拦截），因此需要一种基于模型内生安全的概念擦除方法，保留用户意图，同时对模型违规元素进行柔性地精准擦除。
针对此，本文提出了概念半透膜模型（concept Semi-Permeable Membrane，SPM 模型）。
2、技术框架
如下图 7 所示，给定一个目标概念，本文的主要目标是从预训练的 DM 中精确地擦除该概念，同时保留其他生成内容。
为了避免对特定 DM 参数的依赖和训练过程中出现的参数漂移，本文首先设计了一种轻量化的一维 Adapter，称为概念半透膜（concept Semi-Permeable Membrane，SPM） 。这种极轻量的非侵入性结构可以插入任何预训练的 DM（如 SD v1.x）中，以学习特定概念的可迁移识别及其相应的擦除，同时保持原始模型的完整性。
然后，本文提出了一种新颖的 SPM 微调策略 ——Latent Anchoring（LA） ，以有效地在潜空间中利用连续的概念进行精确的擦除和有效的概念保留。一旦 SPM 独立学习到擦除不同的潜在风险的能力，这些 SPMs 就构成了一个概念擦除库，其中任何概念的组合（例如 Van Gogh + nudity）都可以根据需求场景定制，并直接免训练地迁移到其他 SPM 兼容的模型中（例如社区中的 RealisticVision 模型）。
在适配 SPM 后的推理过程中，本文的 Facilitated Transport 机制 在接受输入 prompt 时会动态地控制 SPM 的激活和渗透性。例如，包含不雅内容的 prompt 将由 nudity SPM 擦除，但不会触发 Van Gogh SPM。同时，没有在 DM 中安装相应 SPM 的 Picasso 风格的生成几乎不会受到影响。
图 7 SPM 技术框架
2.1 轻量化的一维 Adapter：SPM
2.2 微调阶段的概念半透性精准习得：Latent Anchoring
2.3 生成阶段的概念半透性动态适配：Facilitated Transport
3、实验效果
3.1 单概念的擦除
面对具体概念如「史努比」（图 8 一行五列），抽象概念如「梵高画风」和「毕加索画风」（图 9 一行六列，四行六列），SPM 都擦除足够彻底，且对其他概念几乎没有影响。而其他方法或擦除不彻底，或对无关概念有所破坏。
图 8 擦除史努比的效果
图 9 擦除梵高、毕加索画风的效果
3.2 多概念的擦除
擦除多个概念时，SPM 能保持稳定效果如图 10，且不会影响其他无关概念如图 11，而其他方法都或多或少对无关概念进行侵蚀。
图 10 SPM 对多个概念的擦除效果
图 11 SPM 擦除多概念时对无关概念没有影响
3.3 违规概念的擦除
如图 12，对于一些抽象的有害概念例如色情，只需要加入 SPM，即可做到相对稳定的消除。如图 13，在学界著名的 I2P 测评集合上，SPM 对于色情概念的擦除效果目前达到了业界最优。
图 12 擦除色情概念的效果
图 13 色情概念擦除效果业界最优
3.4 无需训练的迁移
如图 15 显示，当 SPM 训练完成后，就可以直接迁移到同样架构、不同参数的其他模型上，达成即插即用的擦除目的。
图 15 在不同社区模型下的擦除表现
4、结论
SPM 针对视觉 AIGC 的可控擦除，能够带来更多创作可能性，也能通过擦除危险概念帮助 AI 向善。未来可以迁移到视频侧、3d 侧等各种模态下的概念编辑和擦除工作，都会成为后续 Sora 时代值得研究的点。
分享3个免费的照片像素化工具，可以将各种照片一键变成像素风格，而且还提供了多种像素化的风格，还支持自定义像素的背景和像素化程度，完成的照片甚至都能当做头像使用，有趣好看！
https://pixel-me.tokyo/en/
一个免费的像素化照片网站，能够将各种风景、自拍、动物等类型的图片全部像素化，而且还支持自定义像素化程度，打开页面就可以看到提上传照片按钮，选择一张需要像素化的照片。
上传成功后等待一会，它会走动对照片进行裁剪，裁剪完成后就可以看到像素化的照片，还可以自行选择不同效果的像素化效果，完成的像素化照片可以直接点击下载使用。
https://www.pixilart.com/
一个比较强大的制作像素化图片的网站，打开首页能够看到很多用户自己完成的像素化图片，喜欢的图片还支持免费下载，打开首页点击进入设计页面，可以看到一个类似PS的制作页面，提供了各种画笔、橡皮擦、套索、文字等功能。
还提供了丰富的像素模型，点击左侧的图章就可以看到很多好看的像素模型，点击就可以自动填充到个人画布上，完成的像素化图片还支持免费导出保存为SVG格式。对于不会使用的朋友还可以专门提供了详细教程。
一个非常丰富的图片编辑APP，提供了几十种图片处理功能，包括照片像素化、照片变漫画、图片去水印、图片改文字、照片修复等功能都可以找到。
打开首页点击下方的工具箱，下滑页面在“趣味特效”板块就可以找到你需要的“人脸像素化”功能。
接着可以看到各种风格的像素化功能，，点击立即制作就可以跳转到手机相册页面，选择一张照片，然后对照片进行裁剪，不需要裁剪的可以直接点击下一步，进入像素化生成页面。
在像素化生成页面，你可以自由选择像素化程度，以及颜色搭配，背景等操作，可以自由选择像素化的色系，完成后点击下一步就可以下载保存带有像素化的照片了。
以上就是这次和大家分享的人脸像素化工具，不管是自己制作像素化图片，还是将自己的照片制作成像素化风格，都可以在上面找到对应的工具进行制作，有需要的朋友看完可以收藏起来！
相关问答
图片橡皮擦恢复的方法是勾选工具条上的“抹到历史记录”,然后画你需要恢复的地方就可以了,试下。第二种方法,可以在编辑栏当中选用还原按键。图片橡皮擦恢...
WPS的橡皮擦功能可以帮助您迅速擦除不需要的文本或者图形,使用方法如下:1.打开您需要编辑的文档,进入编辑模式。2.点击工具栏上的“橡皮擦”图标,或者使...
具体使用步骤如下:1.在Word文档中,点击“绘图”。2.绘图工具中,第一个画笔工具就是橡皮擦工具。3.使用橡皮擦工具在画笔绘制的图案上点击一下,就可以清除画...
橡皮擦工具:诉称“触处”用于擦除图像。在背景层上擦除的内容和背景色有直接关系;在普通层上擦除透明网格(什么都没有)。若点选属性栏的抹到历史纪录,则...
方法很多,但最常用的方法是使用修图软件。可以使用修图软件抹掉照片中的多余东西。修图软件可以通过涂鸦、修剪、裁剪、修补等功能对照片进行修改,可以去除...
要去掉照片上的盖章,最简单的方法是使用数字化工具,例如Photoshop或其他图片编辑软件。首先选中盖章部分,使用修复工具或克隆工具,在周围的区域复制相似的图...
在华为手机的修图功能中,橡皮擦是用来擦除图片中的部分内容的工具。要使用橡皮擦,首先打开修图功能,选择需要编辑的图片,然后找到橡皮擦工具。在编辑模式下,...
答:剪映橡皮擦功能在PPT中的擦除功能和Word一样,都是在表格“设置”选项内,但只能够擦除表格线,可以使用美化选项里的‘消除笔’关于消除笔的技巧:涂抹的区...
要擦除照片中不需要的部分,可以使用各种图片编辑软件。首先,打开照片编辑软件,选择“橡皮擦”或“修图笔刷”工具,然后用工具选中要擦除的部分,开始慢慢擦...
iPhone14ProMax中的“图片橡皮擦”是一个全新的编辑工具,它可以用来轻松地从图片中删除不想要的内容,让您的图片更加精美和专业。下面是如何使用图片橡皮擦...
