当前位置: 首页 > news >正文

网站是怎么被挂马厦门人才网唯一官网

网站是怎么被挂马,厦门人才网唯一官网,做网站设计答辩问题,山东搜点网站建设视频链接:扩散模型论文概述(三):Stability AI系列工作_哔哩哔哩_bilibili 本期视频讲的是Stability AI在图像生成的工作。 同样,第一张图片是神作,总结的太好了! 介绍Stable Diffusion之前&…

视频链接:扩散模型论文概述(三):Stability AI系列工作_哔哩哔哩_bilibili

本期视频讲的是Stability AI在图像生成的工作。

 同样,第一张图片是神作,总结的太好了!

介绍Stable Diffusion之前,先来看一个重要的铺垫工作,VQGAN可以看作是SD的雏形。在这个架构中,可以看到对图像先进行压缩,然后在隐空间里进行建模的思想。

这张幻灯片展示了VQGAN的生成结果,可以看到其已经具备条件控制生成和修复的能力。

而Latent Diffusion Model也就是所谓的SD模型,将VQGAN中基于Transformer序列建模的部分替换成去噪扩散,利用交叉注意力机制将条件约束引入扩散过程。LDM中继承了VQGAN中对图像进行压缩的思想,相较于DDPM,极大的减少了计算量。

LDM在不同条件下可以生成多种输出。例如,文本条件控制、布局图控制以及修复功能。这些能力也展示了模型的多样性与强大性能。

这里可以看到语义分割图的应用效果。该模型还具有超分辨率生成的能力,输出结果可以展示更高的细节和真实感。

这里展示了LDM在ImageNet上类别控制的生成结果。值得注意的是,以上所有模型都是使用相同的LDM架构进行训练的,只需要调整LDM中的条件控制编码器,就能接受各种不同类型的条件输入。

SDXL提出类似Google CDM的架构,将生成过程分为Base和Refiner两个阶段。在Base阶段生成初步的隐变量表征,然后在Refiner阶段进一步优化,最终生成高分辨率的图像。同时,相较于SD,它额外使用了一个更大的文本编码器(OpenCLIP ViT-bigG),用于更好的语义理解。

SDXL重点关注了训练数据本身存在问题,这张幻灯片展示了数据集中高度和宽度分布。我们发现大量的训练数据小于256尺寸,同时长宽比并不等于1。如果直接对小于256尺寸的图像进行筛除,那么会有39%的数据会被丢弃。

为了解决训练图像尺寸的问题,SDXL提出了尺寸和裁剪微条件控制处理算法,先讨论尺寸控制。右图展示了不同尺寸控制条件下生成的图像对比效果,可以看到引入尺寸作为输入的控制条件,随着尺寸大小增加,图像的质量显著提升。

这里展示的是SDXL在裁剪条件下的效果。可以看到左侧SD 1.5和SD 2.1生成的图像中,猫的头部被裁剪了。一个可能的原因是使用了Pytorch框架中进行提量预训练时,为了保持tensor形状一致而对图像做出了缩放和裁剪。而SDXL额外引入裁剪作为控制条件,解决了上述问题并可人为控制被裁剪样本的生成。

SDXL Turbo模型使用对抗扩散蒸馏(ADD)方法,通过对SDXL进行蒸馏得到更高效的模型SDXL Turbo,仅需一个采样步长就能生成令人满意的结果。

2023年DiT横空出世,全面取代了扩散模型传统的UNet/ViT的网络骨架。SD 3进一步拓展了DiT框架,提出MM-DiT,使DiT能够支持文本等条件约束。

同时SD 3做了大量的对比实验,探索了多模态DiT的Scaling Law,发现基于DiT的文生图模型与大模型一样,也具有Scaling Law的规律。

http://www.ds6.com.cn/news/75018.html

相关文章:

  • 南宁企业建站模板seo黑帽技术有哪些
  • 沈阳网站建设制作如何自己做一个网站
  • 网站建设建设意见seo技术培训东莞
  • 中国空间站完整图网站建设需求模板
  • 网站开发团队组成橘子seo查询
  • 在网站图片源代码alt写入关键词后为什么不显示只显示title内容网络营销方案3000字
  • 百度推广做的网站可以用吗网站seo外链平台
  • 在中国怎么做国外网站辽宁好的百度seo公司
  • 做网站大约多少钱数据分析师报考官网
  • 免费人才招聘网站seo关键词排名优化是什么
  • php做的购物网站产品推广方案要包含哪些内容
  • 电影网站怎么做推广网站推广宣传语
  • 重庆十大外贸公司排名惠州seo全网营销
  • 亿网网络科技有限公司新乡网站seo
  • 长春网站优化指导响应式网站模板的应用
  • 淄博企业网站建设有限公司长沙关键词优化费用
  • wordpress 500 - 内部服务器错误长沙百度快照优化排名
  • 郑州网站建设公司排名济南seo网站关键词排名
  • 网站导航栏全屏怎么做简单网页制作
  • 个人摄影网站源码网站统计工具有哪些
  • 温州建站费用二十条优化疫情措施
  • 做招聘网站都需要什么手续360搜索引擎入口
  • dw个人网站制作模板全网网站快速排名推广软件
  • jsp servlet 网站实例seo关键词优化
  • 少女映画wordpress在哪里可以免费自学seo课程
  • 怎么接网站来做软文台
  • 怎么做网站背景图片在线网站建设平台
  • 编程软件做网站的宁夏百度公司
  • 福州 哈尔滨网站建设 网络服务许昌seo推广
  • wordpress首页添加视频西安seo服务商