大模子最新綜測效果體育游戲app平臺，今天極新出爐！

2024 年 12 月 19 日，智源究詰院發布并解讀國表里 100 余個開源和生意閉源的談話、視覺談話、文生圖、文生視頻、語音談話大模子玄虛及專項評測效果。

論斷包括：

2024 年下半年大模子發展更聚焦玄虛才能普及與本體運用。多模態模子發展趕緊，涌現了不少新的廠商與新模子，談話模子發展相對放緩。

模子開源生態中，除了握續剛烈開源的海表里機構，還出現了新的開源孝順者。

談話模子主不雅評測要點檢會模子漢文才能，效果自滿字節高出 Doubao-pro-32k-preview、百度 ERNIE 4.0 Turbo 位居第一、第二。

文生視頻模子方面，國產玩家起首環球。

K12 學科履行，大模子仍與海淀學生平均水平存在差距；大齊存在"文強理弱"的偏科情況。

……

相較于本年 5 月的模子才能全方向評估，本次智源評測擴張、豐富、細化了任務處置才能內涵，新增了數據處理、高檔編程和器具調用的干系才能與任務；初度加多了面向著實金融量化來回場景的運用才能評估，測量大模子的收益優化和性能優化等才能；初度探索基于模子辯說的對比評估方式，對模子的邏輯推理、不雅點交融、談話抒發等中樞才能進行深化分析。

具體細節，沿途來看。

多種模態評測玄虛榜單，袒護文本、語音、圖片、視頻交融與生成

評測效果指出，談話模子，針對一般漢文場景的靈通式問答大要生成任務，模子才能已趨于富余平穩，然則復雜場景任務的發達，國內頭部談話模子仍然與海外一活水平存在權臣差距。

談話模子主不雅評測要點檢會模子漢文才能，效果自滿字節高出 Doubao-pro-32k-preview、百度 ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴 Qwen-Max-0919排行第五。

在談話模子客不雅評測中，OpenAI o1-mini-2024-09-12、Google Gemini-1.5-pro-latest位列第一、第二，阿里巴巴 Qwen-max-0919、字節高出 Doubao-pro-32k-preview位居第三、第四，Meta Llama-3.3-70B-Instruct排行前五。

視覺談話多模態模子，天然開源模子架構趨同（談話塔 + 視覺塔），但發達不一，其中較好的開源模子在圖文理罷黜務上正在舒服與頭部閉源模子的才能差距，而長尾視覺知識與筆墨識別以及復雜圖文數據分析才能仍有普及空間。

評測效果自滿，OpenAI GPT-4o-2024-11-20與字節高出 Doubao-Pro-Vision-32k-241028先后起首于Anthropic Claude-3-5-sonnet-20241022，阿里巴巴 Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro緊隨自后。

文生圖多模態模子，本年上半年參評的模子大齊無法生成正確的漢文筆墨，但這次參評的頭部模子依然具備漢文筆墨生成才能，但舉座大齊存在復雜場景東談主物變形的情況，針對學問或知識性推理任務，小于 3 的數目關系任務發達存所普及，大于 3 的數目關系依然無法處理，波及中國文化和古詩詞交融的場景關于模子而言是不小的挑戰。

評測效果自滿，騰訊 Hunyuan Image位列第一，字節高出 Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL · E 3、快手可圖次之。

文生視頻多模態模子，畫質進一步普及，動態性更強，鏡頭談話更豐富，專場更流通，但大齊存在大幅度動作變形，無法交融物理規矩，物體淹沒、暴露、穿模的情況。

評測效果自滿，快手可靈 1.5（高品性）、字節高出即夢 P2.0 pro、愛詩科技 PixVerse V3、Minimax ? 海螺 AI、Pika 1.5位列前五。

語音談話模子，收貨于文本大模子的進步，才能普及紛亂，袒護面更全，但在具體任務上與巨匠模子還存在一定差距，舉座而言，性能好、通用才能強的開源語音談話模子偏少。

專項評測效果自滿，阿里巴巴 Qwen2-Audio位居第一，香港漢文大學 & 微軟 WavLLM、清華大學 & 字節高出 Salmon位列第二、第三，Nvidia Audio-Flamingo，MIT & IBM LTU均插足前五。

四大專項評測榜單，多維度探索模子才能領域與運用潛能

本次評測，智源究詰院再次糾合與海淀區鍛練進修學校新編了 K12 全學段、多學科試卷，進一步檢會大模子與東談主類學生的才能互異，其中，謎底不獨一的主不雅題依然由海淀鍛練親身評卷。

收貨于多模態才能的帶動發展，模子本次 K12 學科履行玄虛得分相較于半年前普及了 12.86%，然則仍與海淀學生平均水平存在差距；在英語和歷史文科試題的發達上，已有模子越過了東談主類考生的對等分；模子大齊存在"文強理弱"的偏科情況。

FlagEval 大模子角斗場，是智源究詰院本年 9 月推出的面向用戶靈通的模子對戰評測就業，以反應用戶對模子的偏好。

當今，FlagEval 袒護國表里約 50 款大模子，復古談話問答、多模態圖文交融、文生圖、文生視頻四大任務的自界說在線或離線盲測。

這次評測，共有 29 個談話模子、16 個圖文問答多模態模子、7 個文生圖模子、14 個文生視頻模子參評。評測發現，用戶對模子的響適時候有更高條目，對模子輸出的內容傾向于更結構化、尺度化的花式。

動作模子對戰評測就業 FlagEval 大模子角斗場的延展，本年 10 月智源究詰院推出了模子辯說平臺 FlagEval Debate，對模子的邏輯推理、不雅點交融以及談話抒發等中樞才能進行深化評估，以甄別談話模子的才能互異。

本次評測發現，大模子大齊缺少辯說框架意志，不具備對辯題以舉座邏輯進行玄虛論說；大模子在辯說中依然存在"幻覺問題"，論據經不起磋議；大模子更擅長反駁，各個模子發達杰出的辯說維度趨同，在不同的辯題中，模子發達差距權臣。

FlagEval Debate 評測效果標明，Anthropic Claude-3-5-sonnet-20241022、零一萬物 Yi-Lighting、OpenAI o1-preview-2024-09-12 為前三名。

這次評測，智源究詰院探索了基于本體運用場景的全新武藝，通過評測模子的量化代碼殺青才能，探索模子在金融量化來回領域的潛在運用才能和生意價值。

評測發現，大模子依然具備生成有回撤收益的戰略代碼的才能，能誕生量化來回典型場景里的代碼；在知識問答方面，模子舉座互異較小，舉座分數偏高，但在本體代碼生成任務上，模子互異較大，舉座才能偏弱；頭部模子才能已接近低級量化來回員的水平。金融量化來回評測效果自滿，深度求索 Deepseek-chat，OpenAI GPT-4o-2024-08-06，Google Gemini-1.5-pro-latest 位列前三。

智源評測體系 FlagEval 再迭代，袒護環球 800+ 開閉源模子

本次評測依托智源究詰院自 2023 年 6 月上線的大模子評測平臺 FlagEval，過程數次迭代，當今已袒護環球 800 多個開閉源模子，包含 20 多種任務，90 多個評測數據集，超 200 萬條評測題目。

在評測武藝與器具上，智源究詰院糾合寰宇 10 余家高校和機構合營共建，探索基于 AI 的扶持評測模子 FlagJudge 和天真全面的多模態評測框架 FlagEvalMM，并構建面向大模子新才能的有挑戰的評測集，包括與北京大學共建的 HalluDial 幻覺評測集、與北師大共建的 CMMU 多模態評測集、多談話跨模態評測集 MG18、復雜代碼評測集 TACO 以及長視頻交融評測 MLVU 等，其中與北京大學共建的 HalluDial 是當今環球范圍最大的對話場景下的幻覺評測集，有 18000 多個輪次對話，和 14 萬多個復興。

為藏匿數據集暴露風險以及數據集富余度問題，本次評測吸納了近期發布的數據集并握續動態更新評測數據，替換了 98% 的題目，并普及了題謀劃難度。

智源究詰院副院長兼總工程師林詠華在評測發布會上暗示，FlagEval 評測體系一直信守科學、巨擘、公平、靈通的準則，通過期期武藝平臺握續改進，打造丈量模子才能的標尺，為大模子時期生態發展提供知悉。2025 年，FlagEval 評測體系的發展將進一步探索動態評測與多任務才能評估體系，以評測為標尺感知大模子的發展趨勢。

* 本文系量子位獲授權刊載，不雅點僅為作家通盤。

— ?完? —

量子位 ?QbitAI

? ' ? ' ? 跟蹤 AI 時期和居品新動態

一鍵三連「共享」、「點贊」和「在看」

科技前沿進展日日再見 ~ ?