凯明格资讯网武大联手UC Merced:当AI学会"分工合作"，找针在大海里变得不再难
这项由武汉大学、联手加州大学默塞德分校、分海里悉尼科技大学、工合新加坡国立大学、作找针南洋理工大学及中国科学院自动化研究所联合完成的变得不再研究，以预印本形式于2026年6月30日发布在arXiv平台，联手编号为 arXiv:2607.00115v1。分海里感兴趣的工合读者可通过该编号查询完整论文。
这篇论文直击一个你我皆有的作找针痛点——在海量视觉信息中精准定位微小目标。无论是变得不再家庭聚会大合影中戴红帽的小孩，还是联手卫星俯瞰图中特定颜色的车辆，对人而言尚需费神，分海里对AI视觉模型而言更是工合棘手难关：它们常出现“找错地方”或“找到却认不出”的情况。
研究团队将这种现象定义为“注意失明”（Attentional Blindness），作找针借用心理学概念，变得不再精准描述AI在视觉搜索中“目光扫过却未识别”的典型失误。PixelEyes系统的诞生，正是为了解决这一核心痛点。
一、为何AI会“视而不见”？
理解PixelEyes的突破，需先审视现有AI的局限。主流视觉语言模型（VLM）如同被迫身兼数职的演员，需同时承担推理（决定去哪找）、感知（执行查找）和识别（解读结果）三重任务。这种“单兵作战”模式导致顾此失彼。
具体表现为“低效深度搜索循环”：
1. AI面对超高清大图时，先圈定大致区域，再放大、再圈定。
2. 若初始定位偏差，后续步骤将在错误路径上累积误差。
3. 经过多轮无效操作直至交互次数耗尽，仍无法找到目标。
更深层的问题在于能力割裂：
* 感知短板：VLM的精确定位能力不及专用图像分割工具。
* 推理短板：VLM的逻辑分析能力不及纯语言推理模型。
* 根本症结：“感知”与“推理”被强行绑定在同一模型中，导致双重失误。
PixelEyes的核心思路：解耦感知与推理，让专业工具各司其职。
二、架构革新：“找”与“想”分离
PixelEyes遵循“让专业的人做专业的事”的设计哲学，将系统拆分为两个独立模块：
- 策略大脑（通用视觉语言大模型）：
- 职责：分析问题、规划搜索路径、最终推理并给出答案。
- 类比：寻物公司的“策略部”，负责制定计划，不亲自执行。
- 执行专家（SAMTok图像分割工具）：
- 职责：接收文字描述（如“绿色安全帽”），在指定区域内精确查找目标，返回像素级轮廓遮罩。
- 类比：寻物公司的“现场部”，负责精准执行，不操心逻辑。
工作流程
- 粗定位：大模型对全图进行初步判断，生成候选区域（矩形框）及目标描述。
- 精分割：系统将候选区域截图及描述发送给SAMTok，获取像素级精确遮罩。
- 细推理：根据遮罩裁切出包含上下文的精细区域，回传至大模型进行最终识别。
容错机制
当SAMTok无法定位（如目标为图表、地图或区域无目标）时，系统自动切换至备用方案：直接使用大模型估计的矩形框进行裁切。这种“可切换工具”设计确保了系统在常规场景下享受高精度红利，在特殊场景下保持可用性。
三、搜索策略升级：语义区域广度优先搜索
传统搜索采用“深挖”模式，易陷入局部死胡同且导致上下文记忆混乱。PixelEyes引入“语义区域广度优先搜索”（Semantic-Region BFS）：
- 全局扫描：先对整图不同区域进行快速扫视，确认目标存在性，再在最有希望的区域深入。
- 坐标锚定：所有候选区域坐标均锚定在原始图片上，避免“坐标系叠套”导致的记忆混乱。
- 语义足迹：每次搜索生成简短文字描述（如“左下角停车场”），形成对话记录。AI通过回顾“足迹”，自动避开已搜索区域，实现高效遍历。
这如同寻宝者在地图上插旗标记，确保每一步都指向未知领域，而非原地打转。
四、数据驱动：构建6000条专家经验
为解决“遮罩引导+广度优先”策略缺乏训练数据的问题，研究团队构建了PixelEyes-6K数据集：
- 数据生成：利用谷歌Gemini-3-Flash大模型配合SAMTok工具，基于手工示范轨迹自动执行搜索任务。
- 严格筛选：仅保留最终答案正确的搜索轨迹，丢弃错误案例。
- 数据规模：从约7000个原始任务中筛选出5800条高质量轨迹，包含工具调用、区域描述、坐标及正确答案。
训练策略
- 监督微调（SFT）：使用Qwen-3-VL大模型模仿专家轨迹，建立基础能力。
- 强化学习（GRPO）：通过奖励机制优化路径效率，鼓励模型追求“高效路线”而非依赖试错，摒弃了竞品中低效的“超次数遮罩”技巧。
五、评测基准：Pinpoint-Bench的诞生
现有测试集存在易区分度低、缺乏空间标注、答案判定僵化等问题。研究团队发布Pinpoint-Bench，具备以下特性：
- 极难挑战：收录433张超高清图片（平均分辨率5500×3516），目标平均占比仅0.07%（如足球场中找A4纸）。
- 零提示原则：不提供任何位置线索，强迫AI自主搜索。
- 精确标注：每个目标均配有像素级遮罩和矩形框，支持自动化过程分析。
创新评估指标
- 定位成功率（LSR, Localization Success Rate）：
- 定义：搜索过程中是否曾扫过目标区域。
- 意义：区分“没找到”与“找到了但答错”。
- 答题效率（TAE, Task Accuracy Efficiency）：
- 公式：最终准确率 / 平均交互轮数。
- 意义：综合衡量速度与精度，数值越高越优。
指标解读
- LSR高 + 准确率低：存在“注意失明”，AI看到了目标但推理失败。
- LSR低 + 准确率低：纯粹的定位失败，未搜索到正确区域。
- 语义容错：提供多同义答案，由LLM担任裁判，避免因表述差异导致的误判。
六、实验结果：效率与精度的双重飞跃
研究团队在V*、HR-Bench、VisualProbe及Pinpoint-Bench等多个基准上进行了全面评估，对比对象包括Gemini-3-Flash、Qwen系列及DeepEyes等专用智能体。
关键数据
- V* & HR-Bench：PixelEyes-8B准确率达94.24%和85.00%，超越参数量为其29倍的Qwen-3-VL-235B（235B参数）。证明结构设计优于单纯堆砌参数。
- VisualProbe（困难集）：PixelEyes-4B准确率从34.91%提升至54.72%，增幅近20个百分点。
- Pinpoint-Bench对比：
- Mini-o3：LSR高达78.52%，但准确率仅44.34%，TAE为8.38。存在严重的“注意失明”（34%差距）。
- PixelEyes-4B：准确率54.73%，平均交互仅2.09轮，T达26.13（约为Mini-o3的3倍）。
- PixelEyes-8B：准确率进一步升至55.20%，TAE达26.64。
失败案例剖析
- Mini-o3：38.34%的失败源于“找到但答错”，因遮罩粗糙导致背景干扰严重。
- PixelEyes-4B：该比例降至26.56%，“找到且答对”比例从40.18%升至50.35%，证明精确遮罩显著提升了推理质量。
任务类型差异
- 优势领域：属性识别（如颜色）和OCR任务，PixelEyes比Mini-o3高出约12个百分点，得益于精细视觉特征提取。
- 待改进领域：空间关系判断（如左右位置），基础大模型的全局感知仍具优势，局部裁切策略对此帮助有限。
迁移性与消融实验
- 即插即用验证：将SAMTok作为插件接入Gemini-3-Flash（无训练），VisualProbe困难集准确率从47.17%升至61.32%，Pinpoint-Bench从42.26%升至68.36%。证明核心机制具备强迁移性。
- 组件价值：
- 替换训练数据为Mini-o3轨迹，准确率暴跌至24.52%，证明PixelEyes-6K数据的质量至关重要。
- 替换SAMTok为Sa2VA，工具调用成功率从99.17%跌至65.29%，LSR从76.91%跌至50.58%，证实SAMTok的高可靠性是系统基石。
七、局限与展望
当前局限
- 架构复杂度：需同时维护大模型与分割模型，部署与推理成本高于端到端系统。
- 宏观搜索不足：依赖整体场景理解推断目标位置时，易在错误大区域浪费时间。
- 相似干扰项：面对多个相似目标（如多人穿白衬衫），推理模块可能误解属性条件，导致定位错误。
未来意义
PixelEyes证明：任务解耦与工具协作往往优于“全能模型单打独斗”。这一思路不仅适用于视觉搜索，更为通用AI系统设计提供了新范式。
应用场景
该技术已具备落地潜力，可广泛应用于：
* 卫星图像分析
* 医学影像病灶定位
* 工业质检微小缺陷检测
* 超高清监控目标追踪
Q&A
Q1：PixelEyes和普通的视觉AI有什么区别？
A：普通视觉AI让同一模型兼顾“找”与“想”，易互相拖累。PixelEyes采用解耦架构：通用大模型负责规划与推理，专用分割工具SAMTok负责像素级精确定位。这种分工显著提升了定位精度与推理清晰度，平均仅需2.09轮交互即可完成任务。
Q2：Pinpoint-Bench和其他视觉搜索测试集有什么不同？
A：Pinpoint-Bench主打“极难”与“可诊断”。目标占比极小（0.07%）且无位置提示。其核心优势在于通过像素级标注，能精准区分“未找到”与“找到但未识别”两种失败模式，帮助研究者定位具体瓶颈，而非仅看最终对错。
Q3：PixelEyes-6K数据集是怎么来的？
A：采用自动化生成+人工筛选策略。利用Gemini-3-Flash配合SAMTok执行搜索任务，记录全过程。仅保留最终答案正确的轨迹，从约7000个任务中筛选出5800条高质量数据，用于监督微调，确保模型学习的是“专家级”高效路径。
