2024年12月19日，智源研究院发布并解读国内外100余个开源和商业闭源的语言、视觉语言、文生图、文生视频、语音语言大模型综合及专项评测结果。
智源评测发现，2024年下半年大模型发展更聚焦综合能力提升与实际应用。多模态模型发展迅速，涌现了不少新的厂商与新模型，语言模型发展相对放缓。模型开源生态中，除了持续坚定开源的海内外机构，还出现了新的开源贡献者。
Part.01
多种模态评测综合榜单覆盖文本、语音、图片、视频理解与生成
语言模型，针对一般中文场景的开放式问答或者生成任务，模型能力已趋于饱和稳定，但是复杂场景任务的表现，国内头部语言模型仍然与国际一流水平存在显著差距。
语言模型主观评测重点考察模型中文能力，结果显示字节跳动Doubao-pro-32k-preview、百度ERNIE4.0Turbo位居第一、第二，OpenAIo1-preview-2024-09-12、AnthropicClaude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排名第五；在语言模型客观评测中，OpenAIo1-mini-2024-09-12、GoogleGemini-1.5-pro-latest位列第一、第二，阿里巴巴Qwen-max-0919、字节跳动Doubao-pro-32k-preview位居第三、第四，MetaLlama-3.3-70B-Instruct排名前五。
视觉语言多模态模型，虽然开源模型架构趋同（语言塔+视觉塔），但表现不一，其中较好的开源模型在图文理解任务上正在缩小与头部闭源模型的能力差距，而长尾视觉知识与文字识别以及复杂图文数据分析能力仍有提升空间。评测结果显示，OpenAIGPT-4o-2024-11-20与字节跳动Doubao-Pro-Vision-32k-241028先后领先于AnthropicClaude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和GoogleGemini-1.5-Pro紧随其后。
文生图多模态模型，今年上半年参评的模型普遍无法生成正确的中文文字，但此次参评的头部模型已经具备中文文字生成能力，但整体普遍存在复杂场景人物变形的情况，针对常识或知识性推理任务，小于3的数量关系任务表现有所提升，大于3的数量关系依然无法处理，涉及中国文化和古诗词理解的场景对于模型而言是不小的挑战。评测结果显示，腾讯HunyuanImage位列第一，字节跳动Doubaoimagev2.1、Ideogram2.0分居第二、第三，OpenAIDALL·E3、快手可图次之。
文生视频多模态模型，画质进一步提升，动态性更强，镜头语言更丰富，专场更流畅，但普遍存在大幅度动作变形，无法理解物理规律，物体消失、闪现、穿模的情况。评测结果显示，快手可灵1.5（高品质）、字节跳动即梦P2.0pro、爱诗科技PixVerseV3、MiniMax海螺AI、Pika1.5位列前五。
语音语言模型，得益于文本大模型的进步，能力提升巨大，覆盖面更全，但在具体任务上与专家模型还存在一定差距，整体而言，性能好、通用能力强的开源语音语言模型偏少。专项评测结果显示，阿里巴巴Qwen2-Audio位居第一，香港中文大学&微软WavLLM、清华大学&字节跳动Salmon位列第二、第三，NvidiaAudio-Flamingo，MIT&IBMLTU均进入前五。
Part.02
四大专项评测榜单多维度探索模型能力边界与应用潜能
本次评测，智源研究院再次联合与海淀区教师进修学校新编了K12全学段、多学科试卷，进一步考察大模型与人类学生的能力差异，其中，答案不唯一的主观题依然由海淀教师亲自评卷。得益于多模态能力的带动发展，模型本次K12学科测验综合得分相较于半年前提升了12.86%，但是仍与海淀学生平均水平存在差距；在英语和历史文科试题的表现上，已有模型超越了人类考生的平均分；模型普遍存在“文强理弱”的偏科情况。
作为模型对战评测服务FlagEval大模型角斗场的延展，今年10月智源研究院推出了模型辩论平台FlagEvalDebate，对模型的逻辑推理、观点理解以及语言表达等核心能力进行深入评估，以甄别语言模型的能力差异。本次评测发现，大模型普遍缺乏辩论框架意识，不具备对辩题以整体逻辑进行综合阐述；大模型在辩论中依然存在“幻觉问题”，论据经不起推敲；大模型更擅长反驳，各个模型表现突出的辩论维度趋同，在不同的辩题中，模型表现差距显著。FlagEvalDebate评测结果表明，AnthropicClaude-3-5-sonnet-20241022、零一万物Yi-Lighting、OpenAIo1-preview-2024-09-12为前三名。
此次评测，智源研究院探索了基于实际应用场景的全新方法，通过评测模型的量化代码实现能力，探索模型在金融量化交易领域的潜在应用能力和商业价值。评测发现，大模型已经具备生成有回撤收益的策略代码的能力，能开发量化交易典型场景里的代码；在知识问答方面，模型整体差异较小，整体分数偏高，但在实际代码生成任务上，模型差异较大，整体能力偏弱；头部模型能力已接近初级量化交易员的水平。金融量化交易评测结果显示，深度求索Deepseek-chat，OpenAIGPT-4o-2024-08-06，GoogleGemini-1.5-pro-latest位列前三。
Part.03
智源评测体系FlagEval再迭代覆盖全球800+开闭源模型
本次评测依托智源研究院自2023年6月上线的大模型评测平台FlagEval，经过数次迭代，目前已覆盖全球800多个开闭源模型，包含20多种任务，90多个评测数据集，超200万条评测题目。
在评测方法与工具上，智源研究院联合全国10余家高校和机构合作共建，探索基于AI的辅助评测模型FlagJudge和灵活全面的多模态评测框架FlagEvalMM，并构建面向大模型新能力的有挑战的评测集，包括与北京大学共建的HalluDial幻觉评测集、与北师大共建的CMMU多模态评测集、多语言跨模态评测集MG18、复杂代码评测集TACO以及长视频理解评测MLVU等，其中与北京大学共建的HalluDial是目前全球规模最大的对话场景下的幻觉评测集，有18000多个轮次对话，和14万多个回答。
为规避数据集泄露风险以及数据集饱和度问题，本次评测吸纳了近期发布的数据集并持续动态更新评测数据，替换了98%的题目，并提升了题目的难度。
智源研究院副院长兼总工程师林咏华在评测发布会上表示，FlagEval评测体系一直坚守科学、权威、公正、开放的准则，通过技术方法平台持续创新，打造丈量模型能力的标尺，为大模型技术生态发展提供洞察。2025年，FlagEval评测体系的发展将进一步探索动态评测与多任务能力评估体系，以评测为标尺感知大模型的发展趋势。
最后需要说明的是，此次智源评测结果仍有一定的局限性：
1.范围局限：本次多模态模型评测集中在图片的理解，尚未进行视频理解类的评测；主要为国内大模型生态提供参考，侧重于在中文语境下进行评估。
3.数据局限：当前中文评测集的数量、广度和多样性上面都不如英文评测集，所以容易出现模型的中文能力比英文能力高的“错觉”。
4.方法局限：大模型评测对数据格式敏感，无法通过细致的优化手段探寻各家模型最大潜能；除人工评测外对解析工具的依赖较强，可能导致结果的偏差。