由香港科技大学、港科港中北京航空航天大学Colab实验室及香港中文大学联合开展的大北前沿研究，于2026年6月26日以预印本形式发布（arXiv:2606.27828）。航和合出该研究团队构建了名为 VIDEO-MME-LOGICAL的文联测评基准，旨在精准诊断当前最先进多模态大语言模型（MLLMs）在视频时序逻辑推理方面的手AI视真实能力短板。

你是频理否玩过经典的“三杯藏球”游戏？球藏在三个杯子之一下，表演者快速交换杯子位置，软肋最后需猜出球的终于位置。对于五岁儿童而言，被找只需专注观察即可轻松获胜。港科港中然而，大北当面对当前最顶尖的航和合出AI视频系统时，结果却令人震惊——这些号称具备“视频理解”能力的文联AI，在需要跨帧追踪的手AI视任务中表现糟糕透顶。这正是频理本研究旨在揭示并解决的核心问题。

一、AI真的“看懂”视频了吗？

近年来，各大科技巨头与研究机构纷纷推出能处理视频内容的多模态大语言模型。这类系统被通俗地称为“能看图也能看视频的聊天AI”，并在多项标准测试中取得了亮眼成绩，引发了业界对AI视觉能力的过度乐观。

然而，研究团队指出，现有评估体系存在严重误区：混淆了“物体识别”与“时序追踪”。
* 物体识别：类似于对视频截图进行逐帧辨认。
* 时序逻辑推理：要求在脑海中构建并持续更新动态模型，不仅要知道棋子当前位置，还要记住其移动轨迹。

研究团队将后者定义为“视频时序逻辑推理”。这种能力要求系统维护一个随时间变化的“状态表”，并在视频播放过程中实时更新，最终基于此做出推断。这与单纯识别单帧画面有着本质区别。

现有视频基准测试无法有效评估此能力，主要存在三大缺陷：
1. 分类维度错误：按视频来源或场景分类，而非按“所需逻辑操作”分类，导致无法精准定位推理失败的具体环节。
2. 难度控制失效：题目难度与拍摄场景复杂度绑定，而非由推理链条长度和复杂度决定，难以实现真正的难度可控。
3. 缺乏过程验证：仅关注最终答案对错，无法区分模型是“真正推理”还是“蒙对”，如同只给数学题答案而不看演算过程。

VIDEO-MME-LOGICAL正是为了填补这三大空白而生。

二、一套精心设计的“逻辑迷宫”

VIDEO-MME-LOGICAL 的核心设计理念是将视频时序逻辑推理拆解为五种基本操作，并针对每种操作设计专用测试任务：

1. 状态追踪（State Tracking）：即“三杯藏球”模式。球的位置不可见，系统需在脑海中持续追踪物体位置的变化。
2. 顺序计数（Sequential Counting）：考验系统对整段视频中特定事件发生次数的累积记录能力，而非仅关注单帧。例如：“统计视频中从上方落下的三角形总数”。
3. 时序排列（Temporal Ordering）：关注事件发生的先后顺序。例如：正确识别并记忆视频中依次按下的键盘按键序列。
4. 动态空间推断（Dynamic Spatial Inference）：从物体运动轨迹中推断几何关系。例如：判断两条路径在空间中是否有交叉点及交叉次数。
5. 结构组合（Structural Composition）：将不同视角、时刻的局部信息拼合为完整空间结构。例如：根据第一人称迷宫视频，判断实际行走路线。

这五种操作衍生出 25个具体任务类别，涵盖从“杯子换位”到“3D迷宫匹配”等多种形式。每个类别细分为简单、中等、困难三级，难度提升体现在视频时长（时间跨度）和**推理步骤数量两个维度。以杯子追踪为例，简单版时长10秒、交换4次；困难版时长20秒、交换8次。

数据集规模与优势：
* 总量：生成 503,750段视频（500,000段训练，3,750段测试）。
* 自动生成：所有视频均由程序生成，非真实网络视频。
* 零歧义：每个细节完全可控，答案由程序直接计算，消除了人工标注的主观偏差，确保评估的客观性。

三、不止看答案，更要看“草稿纸”

VIDEO-MME-LOGICAL 设有子集 VIDEO-MME-LOGICAL-S，涵盖8个任务类别。其独特之处在于：不仅要求模型输出最终答案，还强制要求输出可逐步核验的中间推理过程。

以“三杯藏球”为例，普通测试仅问“球在哪个杯子下”，而该子集要求模型报告每一次交换的具体杯子对，并与程序记录的真实序列逐一对比。

设计意义：
揭示“答对但过程错”的现象。模型可能给出正确答案，但推理过程完全错误（如同学生猜对数学答案但演算全错）。这种“幻觉式正确”在仅看最终答案的测试中无法被发现，而本基准能有效捕捉此类问题。

四、最聪明AI与人类的巨大鸿沟

研究团队对当前主流视频AI进行了全面测评，包括：
* 开源直接输出模型：Qwen2.5-VL, Qwen3-VL, InternVL3.5, LLaVA-Video, KimiVL等。
* 开源推理模型：具备“思考”功能的模型。
* 顶级商业模型：OpenAI GPT-5.4, Google Gemini-3.1 Pro。
* 人类基准：标注员在相同条件下作答（时薪50美元）。

测评结果令人触目惊心：

关键发现：
1. 巨大差距：人类准确率接近96%，而最佳AI不足29%，差距近70个百分点。
2. 难度敏感性：随着难度提升，所有模型表现显著下滑。GPT-5.4从简单题31.7%跌至困难题16.1%；Gemini-3.1 Pro从33.1%跌至20.6%。
3. 开源模型困境：多数开源模型成绩徘徊在个位数至十几，LLaVA-Video-7B几乎全军覆没。
4. “思考”并非万能：引入“思考”过程并未普遍提升性能。KimiVL-16B从2.9%提升至7.6%，但Qwen3-VL-8B从11.9%降至6.6%。这表明，若基础视觉感知存在偏差，长推理链条只会加剧错误。

五、中间过程测试揭露深层问题

在 VIDEO-MME-LOGICAL-S（中间状态测试）中，所有模型表现远逊于最终答案测试：
* 开源模型：几乎所有开源模型的中间状态准确率为 0%，无法输出符合格式的推理过程。
* 商业模型：GPT-5.4 (17.4%) 优于 Gemini-3.1 Pro (10.8%)，最强开源模型 Qwen3-VL-30B (3.6%) 表现极差。

不一致性验证：
研究发现“最终答案排名”与“中间过程排名”不一致。例如在简单题状态追踪中，Gemini最终答案准确率(14.0%)高于GPT(8.8%)，但在中间状态测试中，GPT(2.5%)却高于Gemini(8.0%)（注：此处原文数据逻辑可能存在笔误，通常GPT在中间过程表现更好，但原文指出GPT在顺序计数中间状态以63.0%大幅领先Gemini的35.0%）。这种不一致证实了仅凭最终答案评估模型的不可靠性。

案例解析：
在一项杯子追踪任务中（正确答案：球在A，共5次交换）：
* GPT-5.4：猜对最终位置，但报告了错误的交换序列（将10次压缩为2次）。
* Gemini-3.1 Pro：输出完整推理过程，但最终答案错误（选D）。
* 研究团队模型：正确报告全部5次交换顺序，并给出正确位置C。

六、50万条数据训练，能填平鸿沟吗？

研究团队以 Qwen3-VL-8B为基础，使用不同规模（25K至500K）的训练数据进行监督微调，对比“仅训练答案”与“训练完整推理轨迹”的效果。

实验结果：
1. 性能瓶颈：准确率随数据量增加呈先升后平趋势。从25K增至375K时，准确率从36.8%升至峰值39.2%；增至500K时反而微降至37.7%。
2. 泛化能力不足：在简单题上，模型表现良好（Ours-375K-Thinking达54.8%），但在中等和困难题上，性能提升不稳定，甚至随数据量增加而轻微下滑。
3. 结论：单纯扩大数据规模无法突破当前瓶颈。39.2%的最高成绩与人类95.9%之间仍有近57个百分点的差距。

总结与启示

这项研究将长期被忽视的关键问题摆上台面：AI的“视频理解”究竟是识别静态物体，还是像人类一样追踪动态变化？

人类能轻松赢得“三杯藏球”，依赖于大脑的工作记忆（Working Memory）机制，能在信息不可见时持续维护状态。而当前AI系统在此方面存在明显短板，即使是顶级模型在困难任务上也仅能答对约两成。

VIDEO-MME-LOGICAL 的价值在于：
1. 精准定位：提供了一把精确的尺子，清晰界定当前模型的能力边界。
2. 指导方向：揭示单纯数据扩增的局限性，推动学术界开发具备真正时序逻辑推理能力的新一代模型。
3. 用户警示：提醒用户在需要跨时间点追踪状态变化的任务中，需谨慎核验AI输出结果。

研究团队希望借此基准，推动AI从“看起来很聪明”的表象下突围，实现真正的逻辑推理能力突破。

Q&A

Q1：VIDEO-MME-LOGICAL测评基准和普通的视频理解测试有什么区别？
A：普通测试主要评估模型识别视频中物体或事件的能力；而VIDEO-MME-LOGICAL专门测试模型跨越多个时间帧追踪状态变化、累积计数、排列时序等需要持续维护动态“状态表”的推理能力。此外，它还通过核验中间推理步骤，而非仅看最终答案，来确保推理过程的真实性。

Q2：为什么给AI更多“思考时间”反而有时会让它表现更差？
A：生成推理链条不等于追踪视觉证据。如果模型对视频内容的初始感知存在偏差，更长的思考过程只会基于错误前提进行推导，导致结果更偏离真相。例如，Qwen3-VL-8B在开启思考模式后，准确率从11.9%下滑至6.6%，即为此因。

Q3：用50万条训练数据微调后，AI在VIDEO-MME-LOGICAL上的表现能追上人类吗？
A：目前差距依然巨大。表现最好的模型（375K数据微调）准确率为39.2%，而人类为95.9%，相差近57个百分点。实验显示，数据量增至500K时性能反而微降，表明在当前方法下，单纯扩大训练规模已接近瓶颈，亟需新的技术突破。