基于多模态数据增强的大规模语言模型性能优化研究

课题名称: 基于多模态数据增强的大规模语言模型性能优化研究
学科专业: 计算机科学
课题关键词: 多模态数据增强语义理解大规模语言模型
辅导模式: 1对1
发表目标: SCI期刊1-4区
课题介绍: 大规模语言模型（LLMs）通过海量文本预训练实现了显著的性能突破，但仍面临文本单模态训练带来的语义理解局限、现实世界知识割裂及推理过程易受幻觉干扰等核心挑战。人类认知过程本质上依赖视觉、听觉等多模态信息的协同处理，这为LLMs性能优化提供了重要启示——通过引入图像、语音等多模态数据，可构建更贴近人类认知机制的语义表征空间。多模态数据增强不仅能为语言理解提供跨模态语义佐证，还可通过视觉-语言对齐、语音情感分析等任务提升模型对复杂场景的鲁棒性。当前研究亟需解决模态差异带来的数据异构性、模态融合策略有效性及多模态预训练效率等关键科学问题，其成果将为构建下一代通用人工智能系统奠定理论基础。

导师信息

科研导师

Dr. Liu

多伦多大学博士

导师介绍

研究领域：大模型/智能体/强化学习/智能决策优化,轨迹预测,自动驾驶/智能交通,游戏AI,数据挖掘学术成果：目前已经发表20多篇高水平论文，如ICML，Nature, Neurips，IJCAI，ACL， IEEE IV，IEEE ITSC；google scholar引用量近百次；长期担任IEEE Transactions on Intelligent Transportation Systems、Transportation Re- search Part C: Emerging Technologies、TRB Annual Meeting - Transportation Research Board、

招生要求

面向具有相关学科背景与研究兴趣的学习者，具体要求以课题导师评估为准。