汇报人：颜焕

汇报主题：In-Home Daily-Life Captioning Using Radio Signals

主要内容：

目的：对家中人们的日常活动以及与物体的交互行为生成文字描述

优点：无光照要求，保护隐私，可穿墙

难点：1、射频信号的波长比可见光长很多，没有足够的区分物体的能力；2、神经网络需要大量的训练数据，当前缺少相关数据。

解决思路：1、引入楼层分布图，将RF信号生成为3D骨骼图，结合FM中的位置来获取相关场景信息；2、提出多模态特征对齐方案，利用已有的video-caption数据集解决数据问题。

贡献：在遮挡和差光照环境下进行日常活动caption的首个工作；结合RF和FM多模态信息进行caption工作；提出多模态特征对齐的方法进行知识迁移，利用多任务学习实现表情识别和身份识别

汇报主题: WiPass后续工作

主要内容：

目前的工作进度：1.在RAF-DB,CK+, JAFFE, oulucasia数据集上采用resnet18,resnet34,resnet50,resnet101,resnet152,vgg13模型上跑出了baseline，结果基 本吻合文献给出的baseline。

2.在ADDA基础上需要跑出DA baseline,但是目前代码基本实现，主要存在源域目标域数据量不统一的问题，结果在跨域的baseline上毫无提升的问题。

接下来的工作安排：1.解决baseline中存在的问题，如何根据已有的工作ADDA无法解决域转移大的问题。

3.在优化目标域特征提取层的时候，是否获取源域特征提取层的迁移知识后能提升性能(采用知识蒸馏，或者注意力迁移等方法)

4.解决类数据量不均匀的问题，解决源域和目标域数据量不相同的问题。

1. Wu D, Gao R, Zeng Y, et al. FingerDraw: Sub-wavelength Level Finger Motion Tracking with WiFi Signals[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2020, 4(1): 1-27.