微软的研究人员使用GANs从字幕生成图像和故事板-每日速讯
【资料图】
由于微软研究院、奥尔巴尼大学和JD AI研究院的人才,能够根据描述绘制图像的人工智能已经成为现实。在一篇文章(“Object-driven Text-to-Image合成通过对抗训练”)计划在IEEE计算机学会计算机视觉与模式识别会议在长滩(CVPR 2019)会议上,加州团队提出了一个机器学习框架——ObjGAN能理解标题,素描一个布局,根据确切的措辞和完善细节。
这篇论文的合著者声称,他们的方法与之前的先进技术相比,在图像质量上有了“显著提高”。他们写道:“ur生成器能够利用细粒度的字(和)对象级信息来逐步细化合成图像。”“大量的实验证明了ObjGAN在复杂场景的文本-图像生成中的有效性和泛化能力。”
该团队指出,在开发文本到图像的人工智能时,一个艰巨的挑战是让系统理解对象类型,以及让它理解场景中多个对象之间的关系。以前的方法使用图像-标题对,仅为单个对象提供粗粒度的信号,即使是性能最好的模型也难以生成包含多个对象的语义有意义的照片。
为了克服这些障碍,研究人员向ObjGAN注入了生成对抗网络(GAN),这是一个由生成样本的生成器和试图区分生成的样本和真实样本的鉴别器组成的两部分神经网络随着时间的推移,人工智能系统内化了对象的外观,并学会了从语料库中同时出现的模式中综合它们的布局,最终以预先生成的布局为条件生成图像。
为了在图像生成中达到人类水平的表现,该团队在ObjGAN中模拟了艺术家绘制和细化复杂场景的方式。该系统将输入文本分解成单独的单词,并将这些单词与图像中的特定对象进行匹配,它利用两个鉴别器——一个按对象分类的鉴别器和一个按片段分类的鉴别器——来判断工作是否真实,是否与句子描述一致。
结果并不完美——ObjGAN偶尔会吐出逻辑上不一致的样本,就像一列火车被困在草坡上,标题是“一列客运列车在铁轨上奔驰”——但考虑到它们是由整块布料合成的,它们仍然令人印象深刻。
研究者在微软,微软365年动力学研究,杜克大学,腾讯的人工智能研究,和卡内基梅隆大学图像生成进一步在一个单独的纸(“StoryGAN:故事的顺序条件GAN可视化”)来描述一个系统- StoryGAN从multi-sentence段落生成comic-like故事板的能力。StoryGAN类似地构建在一个GAN上,但它独特地包含一个上下文编码器,可以动态地跟踪故事流,并在故事和图像级别上有两个鉴别器,以增强生成的序列的质量和一致性。
该团队指出,StoryGAN可以扩展为交互式图像编辑,其中可以根据文本指令顺序编辑输入图像。
标签:
- 微软的研究人员使用GANs从字幕生成图像和故事板-每日速讯
- 中国联通炫铃官方网站_中国联通炫铃网站 短讯
- 广州国际玩具礼品城商铺出售_广州玩具礼品城 环球看热讯
- 每日快播:思想作风方面存在哪些问题及对策_思想作风方面存在哪些问题
- 43家企业入选2022年度国家绿色数据中心名单 绿色化趋势提升高端温控系统和“绿电”产业市场空间
- 人民网评:高压正风肃纪反腐,让医疗更“干净”
- 保定市灵活就业参保后又去企事业单位工作怎么办?
- 考ACCA有用吗?有什么用?
- 新消费日报|喜茶成被执行人?官方否认;京东集团2023年Q1净利润大幅超预期;4月份居民消费价格同比上涨0.1%……
- 天天观热点:牟定县2023“三月会”左脚舞文化节彝族刺绣创新创意大赛拉开帷幕
- 焦点观察:伊朗举行“迎杭州亚运会趣味跑”活动
- 国足亚洲杯比赛时间敲定:1月13日22:30首战塔吉克斯坦 播报
- 世界球精选!江西:鄱阳湖进入最佳通航期
- 全球通胀缓慢下降 2-3月世界主要服装市场零售表现平稳 资讯推荐
- 9万亿股份行突发!大幅降薪?遭集体讨薪?刚刚,回应了!
- 【当前热闻】140平简欧风四居室精致时尚,带来出挑的清新之感
- 环球新动态:5月11日在岸人民币兑美元16:30收盘报6.9396,较上一交易日下调167个基点
- 全球今日报丨1761万件!4月全国受理网络违法和不良信息举报详情
- 辽宁队又一次在客场取得了比赛胜利|环球热门
- 铠甲勇士歌曲战场_铠甲勇士歌曲 全球报资讯
- 中国到美国飞机要坐多久_中国到美国飞机多久|天天日报
- 质检员年度工作总结 个人_质检员年度工作总结 全球播报
- 湖人可以怎么改进?拉塞尔:努力将球队进攻和防守保持整体侵略性 全球快资讯
- 今日热议:弘业期货:持股14.24%股东弘苏实业所持全部公司股份被司法再冻结
- 中泰证券:出版行业业绩稳中向上 教育数字化+IP版权驱动行业价值重估_环球关注
- 每日速讯:王借岗森林公园好玩吗? 王借岗森林公园可以钓鱼吗
- 最新快讯!科创板新能源上市企业名单(5/10)
- A公馆滤镜专辑2023巡演昆明站(时间+地点+门票) 环球快看
- 5.11世界防治肥胖日——肥胖防控,是我们的责任
- 美媒:美国通胀潜在指标居高不下 通胀压力或将持续-世界即时