5.2 专题论坛二:多模态与边缘智能

发布者:徐计发布时间:2025-06-25浏览次数:55

郑臻哲上海交通大学计算机学院教授,博士生导师,国家自然科学基金优秀青年科学基金获得者。2016年至2019年在美国伊利诺伊大学香槟分校(UIUC)先后从事访问学者与博士后研究。主要研究领域包括移动智能计算以及智能体系统,已发表CCF A类期刊会议53篇。荣获多项科研奖励,包括中国计算机学会(CCF)优秀博士论文奖;英特尔中国学术英才计划;上海市计算机学会自然科学奖一等奖(排二);上海市科技进步一等奖(排五)。主持国家自然科学基金青年/面上/优青项目、科技部重点研发课题。曾担任国际学术会议INFOCOMMobiHoc等程序委员会委员。

【报告题目】

大小模型端云协同智能体系统

【报告摘要】

端云协同智能是人工智能广泛落地应用的关键技术,可有效克服传统云智能在扩展性、实时性、个性化和隐私安全等方面的不足。端云协同智能体系统完成动态开放环境下的复杂多样智能应用给数据、模型以及算力都带来了新的挑战:如何高效采集与充分利用端上实时数据资源与云上预训练公开数据集?如何设计与协同端上个性小模型与云上通用大模型?如何调度与管理端上碎片化资源与云上充足算力资源?我们围绕端云协同自演进智能中数据互补增强、大小模型拆分聚合以及异构资源协同管理三个基础问题,从数据、模型与算法层面为智能体系统构建端云协同自演进的智能计算新范式。

武宇武汉大学人工智能学院副院长,教授,博士生导师,国家海外优青获得者。2015年在上海交通大学获得学士学位,2021年在悉尼科技大学获得博士学位,2021-2022年在普林斯顿大学从事博士后研究。主持国家科技创新2030重大项目课题、国自然面上等国家级项目,主要从事跨媒体机器学习、视觉-语言协同建模相关的研究,近5年,在TPAMICVPRNeurIPSCCF A类期刊会议上发表论文50余篇,谷歌引用6000余次。曾获2020年谷歌博士奖研金(Google PhD Fellowship,全球10人)、2024AAAI学术新星奖(New Faculty Award)等。长期担任CVPRNeurIPSICML等人工智能顶会的领域主席,并受邀担任CVPR 2023大会的主要组织者、大会主席。

【报告题目】

细粒度多模态可控生成

【报告摘要】

多模态生成式大模型已经成为当前研究热点,各种生成基座模型层出不穷。本次报告重点关注如何通过轨迹控制实现在多模态基座模型上的可控、可定制生成方案,进一步提升生成模板的颗粒度,丰富多模态生成模型的下游应用。此外,针对多模态生成模型的滥用问题,本报告也将讨论如何进一步保障生成大模型的隐私与安全,加入生成水印,避免数据泄露与信息安全隐患。

佃仁伟湖南大学机器人学院教授、博士生导师,入选国家优秀青年科学基金、博新计划、湖湘青年英才、湖南省优秀青年科学基金和岳麓学者。主要从事多模态图像融合与成像研究,以第一/通讯作者在IEEE TPAMIIJCVIEEE TIPCVPR等权威期刊和会议上发表论文20篇,其中ESI高被引论文7篇,授权发明专利16项,获得了国家自然科学二等奖(排2)、中国光学学会科技创新奖郭光灿光学奖、中国人工智能学会优秀青年奖、中国图象图形学学会优秀博士学位论文奖、粤港澳大湾区国际算法算例大赛一等奖。

【报告题目】

基于多模态图像融合的高分辨率高光谱成像方法研究

【报告摘要】

高光谱成像是一种空谱合一的颠覆性探测技术,在国防安全、对地遥感等领域具有广泛应用前景。受制于成像原理,现有高光谱成像方法时--谱分辨率相互制约,无法实现高分辨率高光谱视频成像。在本次汇报中,汇报人将从成像模型、特征表示和融合算法三个层面系统性的介绍基于多模态图像融合的高分辨率高光谱成像方法与成像装置。

王聪,西北工业大学副教授、博导,国家级创新人才,IEEE模糊系统汇刊编委(IF: 10.7)。主要研究方向为复杂域图像分析与处理、人工智能中的数学基础。主持国家自然科学基金(重点/面上/青年)、科技部重大项目子课题、陕西省重点研发计划(重点)等纵向课题13项,发表IEEE TPAMI/IEEE TIP/IEEE TFS/IEEE TCYB/自动化学报(英文版)等论文40余篇,出版专著1部、教材1部。入选博新计划、教育部春晖计划和中国科协优秀中外青年交流计划。荣获陕西省优博奖、CSIG优博提名奖。

【报告题目】

统计分析驱动的图像质量评价指标体系与多模态大模型评价基准

【报告摘要】

统计分析方法为模型质量评估提供了崭新的解决思路。在传统的图像质量评估领域,为解决当前单一指标方法(PSNRSSIM等)的局限性,本报告将介绍一种统计模型驱动的图像质量评估框架以实现对图像质量的全面评估,并且为图像质量评估指标的分析和应用提供有价值的见解。在当年大模型时代,有效评估多模态大语言模型(MLLM)也是一个基本挑战,原因在于缺乏结构化、可解释且有理论依据的基准设计。现有的基准通常采用基于启发式的任务分组,其认知目标不明确,从而导致能力重叠、指标冗余以及诊断能力有限。本报告将介绍一种基于结构方程模型(SEM)的新型框架,用于对MLLM基准进行对齐,以分析和量化基准组件的内部有效性、维度可分离性和贡献。

毕莹,郑州大学教授、博导,国家高层次青年人才、河南省高层次人才C类、IEEE高级会员。主要研究方向为进化计算、机器学习与图像识别,以第一作者出版英文学术专著1部,在国内外重要期刊及学术会议上发表 SCI/EI 收录论文90余篇,其中IEEE系列期刊论文28篇(一作或通讯22篇),申请发明专利20余项。获IEEE计算智能学会优秀博士论文奖(全球每年仅1名奖励计算智能领域优秀博士)、第二届全国博士后创新创业大赛金奖等。担任IEEE TEVCIEEE TAIIEEE TASE8个领域内知名期刊编委、IEEE 计算智能学会女性委员会主席、IEEE计算智能学会进化计算机视觉与图像处理专委会主席、IEEE计算智能大会研讨会主席(2024)、进化计算国际会议GECCO学生事务主席(20232024)等国际职务。

【报告题目】

基于遗传规划的多模态机器学习研究

【报告摘要】

多模态机器学习是人工智能领域的重要分支,专注于从多种数据模态中联合学习并提取信息,往往比使用单一模态能获得更鲁棒、更全面的理解和预测。遗传规划(Genetic programmingGP)是一种基于自然进化思想的优化算法,能够自动从数据中生成可解释的数学模型,广泛应用于符号回归、分类、特征工程等任务。近年来,GP在多模态机器学习中的应用逐渐成为研究热点,其强大的自动建模能力和跨模态特征发现潜力,为解决复杂场景下的数据融合问题提供了新思路。本次报告将聚焦遗传规划在多模态机器学习中的前沿进展,探讨其在故障诊断、图像分类等领域的创新应用,并展望未来发展方向。