当前位置: 首页 > news >正文

网站开发进度安排推广平台app

网站开发进度安排,推广平台app,怎么做网站界面设计,做网站代理商SG-Former: Self-guided Transformer with Evolving Token Reallocation 1. Introduction 方法的核心是利用显著性图,根据每个区域的显著性重新分配tokens。显著性图是通过混合规模的自我关注来估计的,并在训练过程中自我进化。直观地说,我们…

SG-Former: Self-guided Transformer with Evolving Token Reallocation

1. Introduction

方法的核心是利用显著性图,根据每个区域的显著性重新分配tokens。显著性图是通过混合规模的自我关注来估计的,并在训练过程中自我进化。直观地说,我们将更多的tokens分配给显著区域,以实现细粒度的关注,而将更少的tokens分配到次要区域,以换取效率和全局感受场。

2. Method

hybrid-scale Transformer block提取混合尺度对象和多粒度信息,指导区域重要性;self-guided Transformer block根据混合尺度Transformer块的显著性信息,在保持显著区域细粒度的同时,对全局信息进行建模。

2.1 Self-Guided Attention

通过将几个tokens合并为一个token聚合来减少序列长度这种减少注意力计算的聚合方法面临两个问题:(i)信息可能在显著区域丢失或与不相关的信息混合,(ii)在次要区域或背景区域,许多标记(序列的较高比例)对于简单语义是冗余的,同时需要大量计算。

输入特征图:,映射为Q、K、V

然后H个相互独立的自注意力头平行的计算自注意力,为了计算注意力后保持特征图大小不变的同时降低计算成本,使用重要性引导聚合模块(IAM)固定Q的长度,但聚合K和V的tokens。

其中是significance map。将S的值生序排列,分为n个子区域。s1是最不重要的,Sn是最重要的。r是聚合率,每r个tokens聚合在一起。在不同重要性的区域设置了不同的聚合率r1,··,rn,使得每个子区域都有一个聚合率,并且子区域越重要,聚合率越小。

IAM的目标是在显著区域将更少的令牌聚合为一(即,保留更多),在背景区域将更多的令牌聚合成一(即保留更少)。

然后:

F是聚合函数。

2.2 Hybrid-scale Attention

H个heads分成h组,每组H/h个heads。

聚合成一个,Q不聚合,这样A和KV的数量不一样了,然后将QKV分窗口,窗口大小M,Q和KV数量不一样,所以Q的窗口大小是

计算注意力:

计算significance map:

3 实验结果


反正现在试的,这个模型比VIT快很多,计算量也少很多,但是不知道效果,实验结果还没出来。

http://www.ds6.com.cn/news/39797.html

相关文章:

  • 蚌埠市建设工程质监站网站有免费做网站的吗
  • 霸州网站建设百度推广后台登陆首页
  • 2019做seo网站使用软件提高百度推广排名
  • 云空间网站开发济南最新消息
  • wordpress用户vip张家界网站seo
  • 网站设计规划的一般流程昆明seo关键词排名
  • 自助建站和速成网站b2b平台是什么意思啊
  • 学做网站零基础网络seo是什么
  • 网站没备案可以做淘宝客吗完美动力培训价格表
  • wordpress怎么跳转到别的域名关键词怎么优化
  • 深圳亿天联网站建设百度seo综合查询
  • 石家庄网站建设招聘海外网站建站
  • 中国空间站什么时候建成今天实时热搜榜排名
  • 找工程项目的平台以下属于网站seo的内容是
  • 天津做无痛人流费用五洲网站深圳网络推广外包
  • 青岛网站建设公司怎么样seo如何优化关键词
  • 高端电子商务网站建设北京网站seo技术厂家
  • 做的网站有营销效果吗广州白云区最新信息
  • 学做网站赚钱方法营销策划公司介绍
  • 一站式做网站平台产品推广的渠道有哪些
  • 哪个网站可以接针织衫做单电商培训课程
  • 中国建设人才网登录网站关键词排名手机优化软件
  • 淄博 网站制作疫情最新动态
  • 大姚网站建设谷歌广告推广
  • 怎么做网站的软文推广网站推广有哪些方式
  • 品牌网站开发neotv
  • 帮忙做网站百度爱采购推广怎么收费
  • 网站建设方面的书搜索引擎营销怎么做
  • 温州做网站seo排名啥意思
  • 网站开发可以用两种语言吗百度公司官网入口