科研导师
Dr. Shen伊利诺伊大学博士
导师介绍
研究领域：多模态模型,计算机视觉,数据挖掘,医学影像 学术成果：已发表论文十余篇，其种5篇SCI一区/CCF-A,包括AAAI, CVPR,NeurIPS,lEEE Transactions on Medical lmaging； 担任多个CCF-A审稿人，包括AAAI,CVPR等；
基于数据蒸馏的深度学习模型高效训练与优化方法研究
- 课题名称
- 基于数据蒸馏的深度学习模型高效训练与优化方法研究
- 学科专业
- 课题关键词
- 辅导模式
- 1对1
- 发表目标
- SCI期刊1～4区、CCF-A/B
- 课题介绍
- 深度学习技术在计算机视觉、自然语言处理等领域取得突破性进展，但其模型训练过程面临数据规模激增、计算资源消耗大、收敛效率低等挑战。传统深度学习模型依赖海量标注数据驱动参数学习，不仅导致存储与计算成本剧增，还易因数据冗余引入噪声，影响模型泛化能力。尽管模型压缩（如剪枝、量化）和优化算法（如自适应学习率）在一定程度上缓解了训练压力，但未从数据源头解决信息过载问题。数据蒸馏作为一种通过提炼数据关键特征、保留核心信息的技术，为高效训练提供了新思路——其通过构建"教师-学生"模型架构或特征迁移机制，将原始数据中的有效知识浓缩为精炼样本或特征表示，在降低数据规模的同时维持甚至提升模型性能。当前，数据蒸馏在小样本学习、跨模态迁移等场景已展现潜力，但在动态数据筛选策略、蒸馏损失函数设计及复杂任务适配性等方面仍需深入探索。因此，研究基于数据蒸馏的深度学习模型高效训练与优化方法，对推动资源受限场景下的模型部署、提升训练效率与泛化性能具有重要理论与应用价值。
导师信息
招生要求
面向具有相关学科背景与研究兴趣的学习者，具体要求以课题导师评估为准。