2021年4月30日 20:00，CVPR 2021 论文分享继续！美国罗彻斯特大学四年级博士生田亚鹏将带来精彩报告。
主题：视听感知学习鲁棒性初探
论文：Yapeng Tian, Chenliang Xu. Can audio-visual integration strengthen robustness under multimodal attacks? CVPR, 2021.
分享概要
多种不同感官的协作和信息融合使我们能成功完成对日常场景的感知。例如，当我们和人交谈时，来自对话者的嘴唇变化，手势，表情和语音都可以帮助我们获取并理解对方的说话内容和情绪。心理和认知领域的研究已经验证视听多模态融合保证了人类感知系统的鲁棒性。但是，这极度依赖于感知信息的可靠性。当某些感知模态被攻击时，我们的多模态感知可能会失败。著名的麦格科效应可以很好的说明这一问题。
而对于计算模型， 我们可以看到最近已经有很多工作通过结合来自视觉和听觉的信息进行多模态的视频场景感知和理解，并取得了优于单模态模型的性能。然而，这些视听感知计算模型在攻击下是否依然鲁棒？或者这些模型会像人类感知系统一样容易受到不可靠模态的影响？为了回答这些问题，我们利用对抗攻击和防御作为工具来对视听感知学习的鲁棒性进行系统研究。本次论文分享，讲者将主要介绍关于视听感知学习在对抗攻击下的鲁棒性的初步探索发现，并会讨论未来的可能研究方向。
分享提纲
1、视听感知学习简介
2、视听对抗攻击
3、基于视听相关性的对抗防御
4、视听对抗攻击和防御实验验证
分享人：田亚鹏
个人简介：田亚鹏，美国罗彻斯特大学四年级博士生，导师 Chenliang Xu。主要研究方向为视听多模态视频场景理解和图像/视频复原重建, 在CVPR, ECCV, ICCV, TPAMI等国际期刊会议上发表多篇论文, 是CVPR, ECCV, ICCV, ICML, AAAI, NeurIPS, ICLR, IEEE TPAMI, IEEE TCSVT, IEEE TMM等多个知名国际会议期刊的审稿人。
直播地址
