科研导师
QM帝国理工大学助理研究员
导师介绍
研究领域：大语言模型,多模态网络,医学影像,自然图像,数字孪生 学术成果：累计发表发文总数30+，SCI一区15+（Nature子刊，TMI，MEDIA等），其中第一作者12篇
深度学习中多模态数据的融合与表示研究
- 课题名称
- 深度学习中多模态数据的融合与表示研究
- 学科专业
- 课题关键词
- 辅导模式
- 1对1
- 发表目标
- SCI期刊1-2区
- 课题介绍
- 多模态数据（如图像、文本、音频、传感器信号等）因蕴含互补性信息，已成为人工智能领域知识获取的核心载体。单一模态数据受限于信息维度，难以支撑复杂任务（如跨模态检索、多模态推理）的需求，故多模态融合与表示研究成为深度学习领域的关键方向。深度学习技术通过构建统一特征空间实现模态间信息交互，例如基于Transformer的跨注意力机制、图神经网络的模态关联建模等方法，显著提升了多模态任务性能。然而，模态异构性（数据结构、特征分布差异）、动态相关性（模态间依赖关系随场景变化）及模态缺失问题仍制约模型鲁棒性。当前研究需突破模态对齐、语义互补及噪声鲁棒性瓶颈，其成果对自动驾驶、医疗诊断、人机交互等领域的智能化升级具有重要理论与应用价值。
导师信息
招生要求
面向具有相关学科背景与研究兴趣的学习者，具体要求以课题导师评估为准。