今日消息 研究人员尝试用稳定扩散方法压缩图像 结果竟然优于JPEG
上周,瑞士软件工程师 Matthias Bühlmann 发现 —— 流行的图像合成模型“Stable Diffusion”,可实现较现有的 JPEG 或 WebP 格式更高的位图图像压缩比、且视觉伪影也更少。即便如此,Stable Diffusion 也不是那么完美。作为一种 AI 图像合成模型,其通常根据文本描述(所谓的“提示”)而生成图像。
访问:
Parallels Desktop 18 今年首次促销:限时75折
用锯齿彩块来描绘的图像压缩概念(via ArsTechnica)
AI 模型通过研究从互联网上提取的数百万张图像来学习这种能力,在训练过程中,模型在图像和相关词之间建立了统计关联。
然后对每张图像的关键信息添加更小的“表示”和赋予“权重”,后者代表了 AI 图像模型所掌握的数学值。
当稳定扩散分析、并将图像“压缩”为权重形式时,它们就处在了所谓的“潜在空间”中 —— 它们以一种模糊潜力的形式存在,且能够在解码时于图像中复现。
这项研究中用到的 Stable Diffusion 1.4,其权重文件大小约为 4GB —— 代表了该 AI 模型掌握的数亿张图像的知识。
使用稳定扩散压缩图像的示例
尽管大多数人使用了带文本提示的稳定扩散,但 Bühlmann 还是斩断了文本编码器、而是强制通过稳定扩散图像编码器来处理。
该过程将低精度的 512×512 图像、转换为更高精度的 64×64 潜在图像空间表示。此时图像存在的数据量较原始文件小得多,但仍可将之解码扩展回 512×512 图像、并获得相当良好的结果。
测试期间,Bühlmann 发现使用稳定扩散压缩的新图像,可在更高的压缩比(更小的文件大小)下,主观上看起来较 JPEG 或 WebP 更佳。
以这张美洲鸵的照片为例,其原始文件大小为 768 KB 。尽管 JPEG / WebP 格式分别可压缩到 5.68 和 5.71 KB,但稳定扩散方法可进一步压缩到 4.98 KB 。
与对照的图像压缩格式相比,稳定扩散似乎具有更多可分辨的细节、以及明显更少的压缩伪影。
不过 Bühlmann 也指出了现阶段的一个很大局限性 —— 它不太适合面容或文本,且在某些情况下会让解码图像中的细节特征产生“幻象”。
这些特征可能在源图像中并不存在,更别提解码需要动用高达 4GB 的稳定扩散权重文件、以及额外的解码时间。
即便如此,这种非常规稳定扩散用例,还是较实际的解决方案更加有趣,甚至有望开辟图像合成模型的未来新用途。
感兴趣的朋友,可移步至 Google Colab 查看 Bühlmann 的示例代码,或在有关 Towards AI 的帖子中找到实验中的更多技术细节。
免责声明:本文由用户上传,如有侵权请联系删除!
猜你喜欢
- 梦想城镇怎么刷等级和金币(梦想城镇Township怎么玩如何快速升级赚币)
- clearclaypack是什么意思(clearclips是什么意思)
- 远程连接摄像头软件(你好可以远程强行打开对摄像头的软件吗)
- 怎样饲养壁虎(壁虎的养殖技术及方法 壁虎的养殖技术和方法)
- 怎么关机苹果X(iphone x怎么关机 苹果x关机教程)
- 没人陪感觉孤独怎么办(一个人太孤单了没人陪怎么办)
- 申请126(163 yeah都显示对不起你的申请未能通过)
- 无痛流产手术需要多少时间(无痛流产手术)
- 油炸虾怎么做好吃又简单家常的(油炸虾怎么做好吃又简单)
- 中国移动怎么看自己订的业务(中国移动如何查看已订业务)
- 最适合孕妇吃的家常菜有哪些(孕妇最适合吃的5道家常菜 健康又美味这5道菜能天天吃)
- 广州礼盒批发市场(广州礼盒批发市场在哪里)
最新文章
- 个性标签写什么好8个字(个性标签8个字简介介绍)
- 贴吧和i吧有什么区别(贴吧和i吧有什么区别)
- 东北话得细小是什么意思(东北话小得得是啥意思)
- 太姥山旅游最新攻略一日游(太姥山旅游线路)
- 12月有什么好电影上映(12月上映好看的电影)
- 妒海主题曲百度云(泰剧妒海的主题曲和片尾mp3格式的谁有谢谢)
- 元奎在好莱坞拍过多少电影(指导过多少电影 都叫什么)
- 怎么关闭wps删除提示(wps屏幕提醒怎么关闭简介介绍)
- 4399弹弹堂vip折扣券(4399弹弹堂怎么刷点券啊)
- 企业天猫入驻条件及费用(天猫入驻条件及费用简介介绍)
- 尹相杰母亲是马玉涛吗(尹相杰母亲是马玉涛吗)
- 冬至应该吃什么食物(冬至应该吃什么食物)
- nokia6600复刻版本(NOKIA6630~~~)
- 新年快乐日语怎么说(新年快乐日语怎么说)
- 工作交接清单怎样写,格式是怎样的(工作交接清单怎样写格式是怎样的简介介绍)
- 为什么我的梦幻诛仙人物快捷键用不出来(求高手解答 我换了很多台机子了)
- 三星note3开不了机(三星note1手机为什么开不了机)
- 迅雷种子怎么提取(前缀是什么)
- poison(ivy 什么意思)
- 魔法卡片掉卡规则(魔法卡片中怎么没有变闪卡的卡友)
- 眼部结构简图(眼部结构简介介绍)
- 武汉外高国际部学费(武汉外高出国)
- 湖南台为什么叫马桶(湖南台为什么叫芒果台)
- 公元前10000年是什么年(公元前10000年)