意彩首页 关于意彩 意彩产品 意彩知识 意彩案例 意彩价格 意彩供应 联系意彩
  • 意彩娱乐平台工程有限公司
  • 意彩地 址:箭鹿集团院内
    意彩联系人: 李先生
    意彩平台qq: 2734289750
    意彩客服: 0527-82996729
    意彩邮箱: 2734289750@qq.com
  • 邮箱邮件:2734289750@qq.com
  • 意彩登录:2227997599
您现在的位置:意彩 > 意彩信息 > 意彩信息
意彩平台-人工智能将的裤子换成超短裙算法实时图像到图像的翻译
来源:香樟树 发布于:2019-01-14 10:57 点击量:   打印本页 || 关闭窗口

  引见:跨域天生呈隐正在很多机械进修使射中,包罗神经机械翻译(Artetxe等,2017; Lample等,2017),图像合成(Reed等,2016; Zhu等,2016) ,文本样式转移(Shen等人,2017)战视频天生(Bansal等人,2018; Wang等人,2018a; Chan等人,2018)。出格是,不可对(或无监视)的图像到图像转换基于天生匹敌收集(GAN)的变体与得了令人印象深刻的进展(Zhu等人,2017; Liu等人,2017; Choi等人, 2017; Almahairi等,2018; Huang等,2018; Lee等,2018),因为其隐真使用,包罗着色(Zhang et al。,2016),super-分辩率(Ledig等,2017),语义(Wang等,2018b)战范畴顺应(Bousmalis等,2017; Shrivastava等,2017; Hoffman等,2017)。然而,这一钻研范畴的先火线式经常正在应战性使命上失败,出格是当翻译使命涉及真破例形的严重变迁时(Zhu等,意彩娱乐平台2017)或要翻译的图像蕴含多个方针真例(Gokaslan等) al。,2018)。咱们的方针是将图像到图像的翻译扩展到这些拥有应战性的使命,这能够将其合用性提高到一个新的程度,比方,将裤子换成时髦图像中的裙子,以便客户决定哪一个更好买。为此,咱们提出了一种新方式,该方式正在天生匹敌收集(GAN)的框架中连系了多个方针对象的真例消息;因而咱们将其称为真例GAN(InstaGAN)。正在这项事情中,咱们利用对象朋分掩码作为真例消息,这可能是真破例形的优良暗示,由于它蕴含对象鸿沟而纰漏其他细节,如颜色。利用这些消息,咱们的方式显示了多真例变换使命的令人印象深刻的成果,如图1所示。

  咱们的方式的次要战奇特思惟是连系附加真例消息,即,将一组真例属性A的空间添加到原始图像空间X,以改善图像到图像的转换。真例属性集a∈A包罗所有零丁的属性N个方针真例:a = {ai} N.正在这项事情中,咱们只利用真例朋分掩码,但咱们留意到可认为属性归并任何有用类型的真例消息。然后咱们的方式能够被形容为进修属性加强空间战属性之间的结合映照。这导致解开图像中的分歧真例并答应产生器施行精确而细致的翻译。咱们正在天生匹敌收集(GAN)的框架中进修了属性加强映照(Goodfellow等,2014),因而,咱们将其称为真例GAN(InstaGAN)。意彩娱乐官网登录咱们将正在以下末节中引见咱们的方式的细致消息。

  咱们隐正在钻研图9中咱们提出的方式的每个组件的影响。咱们的方式由InstaGAN架构,上下文保存丧失ctx战挨次小批量推理/锻炼手艺构成。咱们逐渐将每个组件增添到基线模子CycleGAN(拥有双倍参数)。起首,咱们钻研咱们的架构的影响。为了公允比力,咱们锻炼带有分外输入通道的CycleGAN模子,该模子转换分段加强图像,因而咱们将其称为CycleGAN + Seg。与咱们翻译真例朋分集的架构分歧,CycleGAN + Seg能够同时转换所有分段的并集。因而,CycleGAN + Seg无奈转换某些真例并经常归并它们。另一方面,咱们的架构能够连结每个真例并更好地解开。其次,咱们钻研了上下文保存丧失的影响:它不只更好地保存了布景(第2行),并且还改良了翻译成果,由于它规范了映照(第3行)。第三,咱们钻研了挨次翻译的结果:它不只提高了泛化机能(第2,3行),并且通过数据扩充(第1行)改善了少数真例的翻译成果。

  咱们的次要孝敬是三方面:真例加强神经布局,上下文保存丧失战挨次小批量推理/锻炼手艺。起首,咱们提出了一种神经收集架构,它能够转换图像战响应的真例属性集。咱们的架构能够转换由输入前提的肆意数量的真例属性,而且设想为对真例的挨次进行置换稳定。意彩信息其次,咱们提出了一种上下文保存遗失,它激励收集专一于翻译中的方针真例,并正在其外部进修身份功效。也就是说,它旨正在正在转换方针真例的同时保存布景上下文。最初,咱们提出了一种持续的小批量推理/锻炼手艺,即,挨次地翻译小批量的真例属性,而不是一次完成整个调集。它答应利用无限的GPU内存处置大量真例属性,意彩信息主而加强收集以更好地归纳综合拥有很多真例的图像。别的,它以至正在少数环境下提高了图像的翻译品质,由于它通过天生多个两头样本正在锻炼时期充任数据加强。所有上述孝敬都努力于若何归并用于图像到图像转换的真例消息(比方,朋分掩模)。可是,意彩信息咱们以为咱们的方式合用于很多其他跨域天生使命,此中能够利用调集布局的辅助消息。

  最初,咱们还定量评估了咱们方式的翻译机能。咱们通过预锻炼的分类器丈量分类分数,预测为方针类此外图像的比率。具体来说,咱们微调ImageNet(Deng et al。,2009)预锻炼的VGG-16(Simonyan&Zisserman,2014)收集的最初几层,作为每个域的二元分类器。附录D中的表1战表2别离显示了CCP战COCO数据集的分类分数。咱们的方式正在所有分类尝试中都优于CycleGAN,比方,咱们的裤子→短裤使命的精确率到达23.2%,而CycleGAN只得到8.5%。

  最初,图10演讲了与“一步”暗示的一步法比拟,用“Seq”暗示的挨次翻译正在推理战锻炼中无效的水平。意彩登录对付一步式培训,咱们只思量两个真例,由于它是咱们机械可蒙受的最大数量。另一方面,对付挨次锻炼,咱们顺次锻炼两个真例两次,意彩娱乐公司即四个真例的图像。对付一步推理,咱们一次翻译整个调集,对付挨次推理,咱们正在每次迭代时挨次翻译两个真例。咱们发觉咱们的挨次算法对付锻炼战推理都是无效的:(a)锻炼/推理= One / Seq显示恍惚成果,由于两头数据正在锻炼时期没有显示,而且跟着迭代的进行而叠加噪声,而且(b)Seq / One显示多个真例的泛化机能差,由于很多真例的一步揣度未正在锻炼中显示(因为GPU内存无限)。

  咱们的方式能够通过调解输入来节造要翻译的真例,如图7所示。正在CycleGAN下,如许的节造是不成能的。意彩娱乐平台注册咱们还留意到,咱们专一于庞大(多真例变形)使命,以夸大咱们方式的劣势。虽然如斯,咱们的方式对付简略的使命(比方,马斑马)也很有吸引力,由于它通过保存丧失的上下文削减了错误的反面/负面要素而且可以大概节造翻译。咱们最终夸大咱们的方式即便正在咱们利用预测分段进行推理时也显示出优良的成果,如图8所示,这能够低落正在真践中网络分段标签的本钱.3?

  结论:咱们曾经提出了一种新鲜的方式,其连系了用于图像到图像转换的一组真例属性。 正在分歧数据集上的尝试曾经显示了正在多真例变形的应战性使命上的顺利的图像到图像的转换,包罗新的使命,比方,正在时髦图像中将牛仔裤翻译成裙子。 咱们留意到操纵调集布局的辅助消息的咱们的设法有可能使用于其他跨域天生使命,比方神经机械翻译或视频天生。 查询造访新使命战新消息可能是将来一个风趣的钻研标的目的。

  摘要:因为比来基于天生匹敌收集(GAN)的令人印象深刻的进展,无监视的图像到图像转换曾经惹起了相当大的关心。然而,先前的方式经常正在应战脾气况下失败,出格是当图像拥有多个方针真例而且翻译使命涉及外形的光明显显变迁时,比方,将裤子翻译成时髦图像中的裙子。为领会决这些问题,咱们提出了一种新鲜的方式,蕴含真例的GAN(InstaGAN),它连系了真例消息(比方,对象朋分掩码)并改良了多真例变形。所提出的方式转换图像战响应的真例属性集,同时连结真例的每突变稳定性属性。意彩平台-人工智能将的裤子换成超短裙算法实时图像到图像的翻译!为此,咱们引入了上下文保存遗失,激励收集正在方针真例之外进修身份功效。咱们还提出了一种持续的小批量推理/锻炼手艺,该手艺能够处置拥有无限GPU内存的多个真例,而且能够加强收集以便更好地推广多个真例。咱们的比力评估证了然所提方式正在分歧图像数据集上的无效性,出格是正在上述拥有应战性的案例中。

  INSTAGAN:及时图像到图像的翻译,给定两个图像域,而且图像到图像转换的问题旨正在进修跨分歧图像域的映照,ttXY:或/战ttYX :,意彩信息即,正在保存原始上下文的同时转换方针场景元素。这也能够表述为前提天生筑模使命,咱们估量前提p(y x)或/战p(x y)。咱们处理的无监视翻译的方针是仅利用来自两个图像域的原始数据的边布,pdata(x)战pdata(y)的未配对样原来规复这种映照。

  据咱们所知,咱们是第一个演讲多真例变换使命的图像到图像转换成果的人。比来的一些方式(Kim等人,2017; Liu等人,2017; Gokaslan等人,2018)显示了一些变造成果,但仅合用于拥有单个真例的图像,凡是正在明白的布景中。与以前正在简略设置中的成果分歧,咱们关心的是与布景天然衬着的真例的协调。另一方面,CycleGAN(Zhu et al。,2017)显示了多真例案例的一些成果,但仅演讲了变形使命的无限机能。正在高条理上,咱们事情的主要性还正在于发觉真例消息对付外形转换图像到图像的转换是无效的,咱们以为这将对将来的其他有关钻研发生影响。 Mask contrast-GAN(Liang et al。,2017)战Attention-GAN(Mejjati et al。,2018)利用分段掩码或预测留意力,但仅用于将布景附加到(翻译的)裁剪真例。它们不答应转换真例的外形。相反,咱们的方式通过优化上下文保存丧失来进修若何保存布景,主而推进外形变换。

意彩友情链接