一、个人简介
宋启亚,工学博士,硕士研究生导师,2023年毕业于湖南大学电气与信息工程学院/机器人视觉感知与控制技术国家工程研究中心(师从李树涛教授),2024年入职于3344官方网站。以第一/共一作者在IEEE TNNLS、ACM Multimedia等高水平国际期刊/会议发表论文多篇,论文发表获得到国内外同行的关注,申请/授权发明专利五项(其中一项已经完成成果转换)。
在国际顶级会议ACL、ACM以及全球最大竞赛平台kaggle上举办的国际竞赛获得冠军4项、亚军2项;获得国际“互联网+” 创新创业大赛全国银奖/铜奖等;作为研究骨干参与国家重点研发、JKW等国家级/省部级项目多项,与等国内外知名企业和技术企业保持良好合作关系。长期担任IEEE TNNLS、IEEE TALSP IEEE TMM等国内外期刊的审稿人以及多个专委会执行委员,先后获得湖南大学校长奖学金、湖南大学优秀研究生等荣誉称号。
联系方式(微信号):QiyS_UNB (如有需求,请注明来意)
Email:sqyunb@hnu.edu.cn
二、研究方向
长期从事多模态信息融合、语音信号处理、视听觉融合、人工智能、深度学习技术等研究;主要如下:
1. 多模态融合的机器人自然交互:针对复杂场景下人机交互系统面临的智能化和情感化挑战,发展多模信息融合(语音、视觉、文本等)的理论方法,攻克智能人机交互技术;
2. 多模图像融合:多模图像融合能利用不同模态的优势,实现更全面、更清晰、更准确的感知,在军事侦察、遥感测绘、医疗诊断等领域发挥重要作用。
三、研究成果
近三年第一/共一作者代表性学术论文:
[1] (第一作者)Multi-modal Sparse Transformer Network for Audio-Visual Speech Recognition, IEEE Transactions on Neural Networks and Learning Systems, 2022, doi:10.1109/TNNLS.2022.3163771 (SCI中科院一区 TOP期刊 IF=14.25)
[2] (第一作者) Multi-scale Conformer Fusion Network for Multi-participant Behavior Analysis. Proceedings of the 31st ACM International Conference on Multimedia. 2023.(国际多媒体顶级会议 CCF_A类会议)
[3](第一作者)Multi-modal Joint Learning framework with Modality Interaction Network for robust speech recognition, in Information Fusion,under review(SCI中科院一区 TOP期刊 IF=18.60)
[4] (共同一作) Continuing Pre-trained Model with Multiple Training Strategies for Emotional Classification,Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022(CCF_A workshop , EI )
[5](共同一作) Prompt-based Pre-trained Model for Personality and Interpersonal Reactivity Prediction,Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022 (CCF_A workshop , EI )
代表性发明专利(已授权):
[1] 李树涛,宋启亚,孙斌. 一种智能机器人的多模态融合自然交互方法、系统及介质,CN202210838251.1
[2] 李树涛,宋启亚,孙斌. 一种跨模态多特征融合的音视频语音识别方法及系统,CN 202011001648.2
[3] 李树涛,宋启亚,孙斌. 一种基于跨模态注意力增强的唇语识别方法及系统,CN202110986219.3
[4] 李树涛,宋启亚,李宾,孙斌. 一种基于混合注意力的人机对话生成方法、系统及介质,CN202210916763.5
学术竞赛获奖:
[1] 国际顶级会议ACM Multimedia 多模态多人交互说话人预测:冠军
[2] 国际顶级会议ACM Multimedia 多模态多人交互眼动交流检测:亚军
[3] 国际顶级学术会议ACL WASSA Track2—情感分类Emotion Classification :冠军
[4] 国际顶级学术会议ACL WASSA Track3—个人性格预测Personality Prediction :冠军
[5] 国际顶级学术会议ACL WASSA Track4—人际反应指数预测Interpersonal Reactivity Index Prediction :冠军
[6] 全球最大科学竞赛平台Kaggle 上人工文本检测Artificial Text Detection (multi task) :亚军
[7] 中国“互联网+”大学生创新创业大赛全国总决赛:银奖/铜奖
四、项目经历
[1] 国家重点研发计划项目(2018YFB1305200),多模态融合的机器人自然交互,2019.06-2022.05,主研
[2] 国防重点项目子课题,XXXXXXXXXX,2021.1-2023.12,主研
[3] 国家自然科学基金面上项目(62171183),服务机器人的多模态自然交互理解与反馈,2022.01-2025.12,主研
[4] 湖南省自然科学基金优秀青年项目(2022JJ20017),服务机器人的多模态融合识别与自然交互,2022.01-2024.12,主研
五、招生信息
课题组(隶属于肖林院长)招收研究生/本科生,欢迎对科研感兴趣、有志于读研/博深造以及进大厂的同学积极报名!课题组团队氛围融洽,注重科研创新,为同学们提供了一个良好的学习与实践平台,研究生/本科生均将进行系统的科研训练,得到对应的编程、阅读论文等多方面能力的培养,并提供对应的计算资源和硬件平台,确保每个学生有所获/有所得。
【招收要求】
(1)对科研有浓厚兴趣,有志于深造的研究生/本科生优先考虑;
(2)计算机科学、人工智能、电子工程等相关专业优先考虑;
(3)具有清晰的读研目标,明确为何读研,而不仅仅是为了获得学位;
(4)科研需要付出大量努力,需要具备自律、耐心和独立工作的能力,耐得住寂寞,方能守得住繁华;
(5)具备良好的英文读写能力和良好的编程能力,熟练使用Python等编程语言。
【培养方式】
(1)“一对一,手把手”:从阅读论文、总结分析论文、编程实验、结果分析到具体撰写论文,各个环节一对一、手把手带;
(2)“多方位驱动”:采用问题驱动、方法驱动、任务驱动的方式进行培养管理,学生定期汇报进度,探讨并进行学术交流;
(3)科学研究并不需要很高的智商和惊人的天赋,但需要你有兴趣、有毅力、有耐性(本人会手把手指导);
(4)科学研究中涉及到大量的凝练思考:提高自身发现问题和解决问题的能力,对选择继续读研/博深造或进入国企、大厂的同学都有很重要的作用;
(5)科研生活劳逸结合:推崇健康快乐的学习方式和环境,定期组织健康有益的活动,比如羽毛球、篮球、爬山、跑步等活动(活动中产生的一切费用无需学生承担);
(6)对有意继续深造的同学,建议尽早进入实验室学习。良好的科研基础训练是升学的敲门砖,课题组长期与各个高校的老师保持联系,科研优异者可以推荐到C9高校或者NTU/NUS等高校继续深造;
(7)对于科研优秀的同学会进行对应的科研奖励。
欢迎对科研充满热情、有志于探索人工智能领域的同学加入我们,共同开启科研之旅!
![正在上传...](/system/editor/ueditor_news/themes/default/images/spacer.gif)