10月28日~11月1日，全球顶级多媒体会议ACMMultimedia（ACMMM）2024在澳大利亚墨尔本成功召开。
明略科技集团多模态团队与北京大学共同完成的最新研究成果《HypergraphMulti-modalLargeLanguageModel:ExploitingEEGandEye-trackingModalitiestoEvaluateHeterogeneousResponsesforVideoUnderstanding》在众多论文中脱颖而出，荣获最佳论文提名（Bestpapernomination）。明略科技集团创始人、董事长兼CEO吴明辉，多模态大模型部门负责人赵晨旭，明敬算法负责人苏安炀受邀赴墨尔本出席此次会议。
据悉，本次会议共收到4385篇有效投稿，其中，1149篇论文被接收，174篇论文被评选为Oral，最终仅26篇获得最佳论文提名。
明略科技集团创始人、董事长、CEO兼CTO吴明辉
在ACMMMOralSession讲解最新研究成果
明略科技集团多模态团队在ACMMM2024会议现场
（左起：苏安炀、吴明辉、赵晨旭）
ACMMM会议是由国际计算机学会（ACM）主办的多媒体领域的顶级国际学术会议，同时也是中国计算机学会推荐的A类国际学术会议（CCF-A）。自1993年举办以来，今年是第32届。会议议题涵盖多媒体计算的各个方面，如多媒体内容分析、多媒体检索、多媒体安全、人机交互、计算机视觉等。
ACMMM2024会议现场公布最佳论文提名奖项
针对当前AI领域在视频内容理解方面主要聚焦于客观层面，缺少主观层面的测量标准，以及机器模拟人类主观感受的有效手段的发展情况，明略科技的最新研究成果整合脑电、眼动信号等多种非标模态，构建了全新的多模态大语言模型范式，在机器理解和模拟人类主观感受的研究方向，迈出了重要一步。
明略科技多模态团队论文荣获ACMMM2024最佳论文提名奖项
论文题目：HypergraphMulti-modalLargeLanguageModel:ExploitingEEGandEye-trackingModalitiestoEvaluateHeterogeneousResponsesforVideoUnderstanding
（超图多模态大语言模型：应用脑电和眼动模态来评估异质人群观看视频时的响应）
作者：吴明辉*，赵晨旭*，苏安炀*，狄东林，傅天宇，安达，何敏，高雅，马萌，颜鲲，王平（*为共同第一作者）
2）视频中的内容和场景过于单调，仅涉及到对视频内容的客观描述。
为了弥合与实际应用的差距，明略科技引入大规模的视频主观多模态评估数据集Video-SME。通过收集不同人群在观看相同视频内容时脑电图（EEG）和眼动追踪区域的真实变化，设立了新的任务和协议，分析和评估不同受试者对相同视频内容的认知理解程度。
依托新的评测标准，明略科技创新研发了超图多模态大语言模型（HMLLM），探索不同人口统计、视频元素、脑电图和眼动追踪指标之间的关联。HMLLM可以弥合丰富模态之间的语义差距，并集成帧与帧之间的信息以执行逻辑推理。明略科技在Video-SME和其他基于视频的生成性能基准上设计了实验，大量实验评估证明了该方法的有效性。
什么是人的主观感受？
让机器学习、理解和模拟人类的主观感受，可能是赋予机器主观意识的开端。明略科技提出的新基准Video-SME有望成为该领域的新起点，标志着机器对视频的理解从客观维度向主观维度的转变。作为一种全新的范式，明略科技多模态大模型HMLLM的研发，致力于为该领域研究人员解决非标准模态问题提供宝贵经验与启示，从而促进大模型领域向人机协同的美好未来迈进。
本研究课题由科技部科技创新2030——“新一代人工智能（2030）”重大项目支持。