# A3 Semantic Assist Milestone

Date: 2026-05-26

## 1. Milestone Status

The A3-side semantic assist decision path has been implemented and tested for the current v1 scope.

Current implemented entrypoints:

| Entrypoint | Purpose | Status |
| --- | --- | --- |
| `POST /api/v1/a2-a3/a3/assist` | Receive an A2 semantic packet and return the standard A3 response. | Implemented |
| `GET /api/v1/a2-a3/skills` | List backend-hosted A3 skills for OpenClaw or other agents. | Implemented |
| `POST /api/v1/a2-a3/skills/run` | Run `a3.assist_decision` through the backend skill registry. | Implemented |
| `POST /api/v1/a2-a3/demo` | Return offline A2 packets with A3 responses for demonstration. | Implemented |

Primary code paths:

| Area | File |
| --- | --- |
| Request/response schema | `A2A/app/schemas/a2_a3.py` |
| A3 deterministic policy | `A2A/app/services/a3_decision_policy.py` |
| A3 skill registry | `A2A/app/services/a3_skill_registry.py` |
| A2-A3 API router | `A2A/app/api/v1/a2_a3.py` |
| Existing tests | `A2A/tests/test_a3_decision_policy.py` |
| Offline experiment output | `gray_event_experiment/a2_a3_outputs/` |

## 2. Point-by-Point Functional Analysis

| Requirement | Implementation status | Evidence |
| --- | --- | --- |
| 1. Receive A2 semantic packet | Implemented. `A2SemanticPacket` accepts the requested packet shape. `timestamp`, `cycle`, `num`, and `sequence` are optional, so the minimal packet from A2 is valid. | `A2A/app/schemas/a2_a3.py`, `POST /api/v1/a2-a3/a3/assist` |
| A2 does not send full sensor logs | Implemented by contract. A3 only consumes risk level, pose, object state, evidence summaries, requested action, and time budget. | `A2SemanticPacket`, `docs/ontology_gray_events.md` |
| 2. Reachability judgment | Implemented. A3 computes distance from current A3 pose to A2 end-effector pose, checks workspace bounds, max reach, safety distance, and configured blocked zones. | `decide_a3_assist`, `WorkspaceBounds`, `A3Capability`, `BlockedZone` |
| `reachable` and `distance_to_a2_mm` output | Implemented. The sample packet returns `reachable=true` and `distance_to_a2_mm=82.614`. | Unit test `test_sample_packet_returns_expected_assist_decision` |
| 3. Time budget judgment | Implemented. A3 estimates time as `420 + distance_mm * 0.45` ms and compares it with `time_budget_ms`. | `decide_a3_assist` |
| Overtime should not blindly assist/takeover | Implemented. If assist/takeover would exceed budget, A3 returns `decision=manual_check`, `strategy=manual_check`, `result=needs_review`. | Unit test `test_overtime_assist_is_manual_check` |
| 4. Assist/takeover decision by risk level | Implemented. `normal -> observe`, `gray -> assist`, `high -> takeover`, `critical -> takeover`. | Unit test `test_risk_level_mapping` |
| Unreachable case returns reject | Implemented. Outside workspace or max reach returns `decision=reject`, `strategy=manual_check`, `result=rejected`. | Unit test `test_unreachable_pose_is_rejected`; offline regression has 4 rejected packets |
| 5. Concrete assist strategy | Implemented. Strategies include `continue_monitoring`, `reorient_and_stabilize_grasp`, `support_object`, `handover_and_continue_line`, `emergency_stop_or_safe_pose`, and `manual_check`. | `A3Strategy` enum and `_base_action` |
| 6. Standard response format | Implemented. Responses are validated by `A3AssistResponse` and include all required fields. | `A3AssistResponse`; offline 24-packet schema regression |
| OpenClaw+skills access | Implemented as backend-hosted deterministic skill. OpenClaw Docker can call `a3.assist_decision` through HTTP and does not directly control robot action. | `A2A/app/services/a3_skill_registry.py`, `/skills/run` |

## 3. Test Results

Commands run on `/home/find-agent/a2a/A2A`:

```bash
python -m unittest tests.test_a3_decision_policy -v
```

Result:

```text
Ran 6 tests in 0.001s
OK
```

Covered cases:

| Test case | Result |
| --- | --- |
| Minimal sample packet returns expected assist decision. | Passed |
| Unreachable pose returns `reject`. | Passed |
| Overtime assist returns `manual_check`. | Passed |
| Risk mapping for `normal/gray/high/critical`. | Passed |
| Assist endpoint accepts the minimal packet without `timestamp/cycle/num`. | Passed |
| Skill endpoint `a3.assist_decision` returns the same decision shape. | Passed |

Offline regression over `gray_event_experiment/a2_a3_outputs/a2_semantic_packets.json`:

| Metric | Value |
| --- | --- |
| Packet count | 24 |
| Accepted | 20 |
| Rejected | 4 |
| Needs review | 0 |
| `assist` decisions | 17 |
| `takeover` decisions | 3 |
| `reject` decisions | 4 |

Sample endpoint result for `F004-A2-1-2`:

```json
{
  "request_id": "F004-A2-1-2",
  "agent": "Arm_A3",
  "reachable": true,
  "distance_to_a2_mm": 82.614,
  "estimated_time_ms": 457,
  "time_budget_ms": 1000,
  "within_time_budget": true,
  "decision": "assist",
  "strategy": "reorient_and_stabilize_grasp",
  "result": "accepted",
  "reason": "Gray F004 risk is reachable within the time budget; A3 can assist A2."
}
```

The direct assist endpoint and the skill endpoint returned identical output for the sample packet.

## 4. Milestones

| Milestone | Scope | Status |
| --- | --- | --- |
| M1: A2 semantic packet contract | Define and validate A2-to-A3 minimal semantic packet. | Complete |
| M2: A3 deterministic decision policy | Implement reachability, time budget, safety gate, risk-level decision, and strategy selection. | Complete |
| M3: Standard A3 response | Fix response fields and enums for `decision`, `strategy`, and `result`. | Complete |
| M4: OpenClaw skills access | Expose backend-hosted `a3.assist_decision` for OpenClaw HTTP calls. | Complete |
| M5: Offline regression data | Recompute and validate 24 A2 semantic packets with the shared A3 policy. | Complete |
| M6: Real A3 state integration | Replace static A3 pose/workspace/blocked-zone defaults with live robot state and motion-planning feedback. | Pending |
| M7: Collision model integration | Connect real obstacle, A2 arm geometry, object size, and scene occupancy to the safety gate. | Pending |
| M8: Runtime graph integration | Feed the A3 decision result back into the running multi-agent runtime state, not only the HTTP/offline path. | Pending |

## 5. Remaining Engineering Notes

The v1 implementation is intentionally deterministic and conservative. It does not parse raw A2 sensor logs, and it does not let OpenClaw directly control robot motion.

Current limitations:

| Limitation | Required next step |
| --- | --- |
| A3 current pose is static by default: `(-460.0, 120.0, 150.0)`. | Bind `A3Capability.current_pose` to live robot state. |
| Collision checking is represented by safety distance and configured blocked zones only. | Add real A2/A3 geometry, object size, and occupied workspace checks. |
| Response time is estimated by a simple linear formula. | Replace or calibrate with motion planner ETA. |
| Runtime agent `arm_a3_agent` still performs local recovery in the graph path. | Make runtime recovery consume the same `a3.assist_decision` result before accepting assistance or takeover. |


a3_semantic_assist_milestone

# Data for AI 中文社区工作组例会 会议纪要

**时间：** 2026年5月19日 11:00–11:50
**形式：** 线上（腾讯会议）
**参会人：** Richard Lin（主持）、林知渝、王禹昊、刘镔辉

---

## 一、社区现状介绍

Richard 向新成员禹昊和镔辉系统介绍了 Data for AI 社区的定位与现状：

- **定位：** 聚焦数据工程与 AI 基础建设生态的国际化社区，面向数据工程从业者和 AI Infra 从业者，提供有深度、有连接价值的交流平台。
- **活动阵地：** 硅谷以 Luma 平台为主（luma.com/data-for-ai），2025 年已主办 5 场高质量技术 Meetup；中国区在北上深杭均有活动，2025 年全年目标 15~18 场（含硅谷）。
- **近期活动：** 6 月 3 日将在 Snowflake Summit 期间举办 Side Event（硅谷第 5 场）。
- **历史背景：** 社区起源于硅谷，中国区从 2024 年 12 月上海站开始正式落地，曾在中国开源年会（COSCon）以出品人身份举办两天专题分论坛。

---

## 二、当前三大问题

### 1. 文档混乱且不开放

- 现有社区文档分散、结构不清晰，存放在飞书，对外缺乏开放性。
- 外部人员和 AI 工具均难以访问，影响社区传播和协作效率。

### 2. 志愿者参与度低

- 微信群有 33 人，飞书仅同步了 25 人，信息不统一。
- 志愿者普遍预期仅为线下活动当天服务，缺乏长期投入意愿。
- 现有任务在飞书工作组中虽有罗列，但缺乏足够人力推进。
- 4 月三场活动暴露出质量问题（录音断片、问卷缺失等），根因在于未提前召开协调会、活动 SOP 未落地执行。

### 3. 线上内容运营薄弱

- 社区拥有微信个人号、公众号、视频号三个账号，目前归属于前成员史少锋，需完成 Ownership 转移。
- Richard 因 IP 在台北，被判定为"异地直播"，需重新认证，今日直播资质尚在审核中。
- 活动结束后缺乏系统性内容沉淀（回顾文章、视频剪辑等）。

---

## 三、讨论要点与方向

### 文档整理方向

- **方案 A（飞书优先）：** 继续使用飞书，借助其 L1–L4 文档安全分级，区分公开内容与内部内容，整理现有文档树状目录。
- **方案 B（GitHub 优先）：** 将可公开内容迁移至 GitHub，提升搜索可见度，社区 issue 等开放讨论也在 GitHub 上进行。
- **理想方向（双轨同步）：** 以飞书作为主要协作平台，通过 AI 工作流将公开文档定期同步至 GitHub，兼顾协作效率与开放性。
- 刘镔辉提到飞书可接入本地部署的 OpenClaw（龙虾），实现 AI 辅助文档整理，并可通过飞书 API 将内容导出同步至 GitHub，可进一步调研落地。

### 志愿者管理方向

- 明确反对积分/兑换礼品的驱动机制（"没有社区灵魂"），强调应吸引真正对 Data for AI 议题感兴趣的人。
- 建议对所有现有志愿者重新访谈，确认参与意愿；明确分组与职责。
- 未来每场活动前必须召开线上协调会（此前疏漏是 4 月三场出问题的直接原因）。
- 建议完善并落地活动 SOP Checklist，负责人需逐项确认执行。

### 线上内容运营方向

- 王禹昊将主要承接内容产出工作，目标：每场活动结束后本周内发出议题视频回看及 Panel 内容总结文章。
- 后续持续招募对内容创作有兴趣的志愿者，也可向行业优质作者约稿或申请转载授权。
- Richard 有意分享 AI 辅助写作的交互过程（提示词记录），供团队参考；Claude Code 对话记录导出方式待探索。

### 设计资源

- 现有志愿者图图（非专业）可支撑基本需求。
- 杭州志愿者"星星"已能用 ChatGPT Image 生成高质量活动海报，可持续利用。
- 刘镔辉可通过 ChatGPT Plus 承接 AI 出图需求，先以 AI 方式试做，不达标再考虑外包。
- Richard 计划为社区制作 Swag（贴纸、T 恤、徽章等），可同步制作 Gravitino Swag 用于各大展会。

---

## 四、待办事项

| 责任人               | 事项                                                         | 备注           |
| ----------------- | ---------------------------------------------------------- | ------------ |
| Richard + 知渝 + 禹昊 | 整理飞书文档目录结构，输出 Proposal                                     | 第一优先级        |
| Richard           | 推进微信三个账号 Ownership 从史少锋转移                                  | 含个人号/公众号/视频号 |
| Richard           | 跟进异地开播资质审核，尽快开通直播能力                                        | 当前资质审核中      |
| 禹昊                | 今日活动结束后本周内产出视频回看 + 文章                                      | 按议题拆解，每天一个   |
| Richard           | 向刘镔辉确认是否愿意承接飞书 OpenClaw（龙虾）接入与飞书→GitHub 同步的调研，确认意愿后再正式列为任务 | —            |
| 知渝                | 细化并更新活动 SOP Checklist                                      | 要求负责人逐项执行    |
| Richard + 知渝      | 对现有志愿者重新访谈，确认参与意愿                                          | —            |
| Richard           | 启动社区 Swag 设计（贴纸、T 恤等），同步 Gravitino Swag                    | —            |
| 刘镔辉 + 星星          | 用 AI 工具尝试设计物料，供质量评估                                        | —            |
| 全员                | 每场活动前必须召开线上协调会                                             | 已达成共识        |

---

## 五、其他提及事项

- 下一场硅谷活动：**6 月 3 日**（Snowflake Summit Side Event），Richard 5 月底再次前往美国。
- 今日腾讯会议直播能否成功取决于异地开播资质审批结果。
- Data for AI 新版 Logo 已在中国区启用，美国区待同步更新。

---

*本纪要由 AI 辅助整理，如有遗漏请在群内补充。*


20260519_工作组例会-会议纪要

# EgoCross 官方资源解读与进一步研究方案

## 1. 资源总览

本次解读基于 4 个入口：

- EgoCross Benchmark 官网：https://egocross-benchmark.github.io/
- CVPR 2026 EgoVis Workshop：https://egovis.github.io/cvpr26/
- 评测推理代码仓库：https://github.com/MyUniverse0726/EgoCross
- Qwen3-VL-4B 训练微调仓库：https://github.com/LiYu0524/EgoCross_SFT_qwen3vl4b

按 2026-03-17 当前页面内容，EgoCross challenge 已经挂到 EgoVis @ CVPR 2026 下，workshop 日期为 2026-06-03 / 2026-06-04，challenge leaderboard 自 2026-02 起开放，关闭时间是 2026-05-13。

## 2. 官网与 Workshop 解读

### 2.1 EgoCross 官网在说什么

官网的定位很直接：

- 这是一个 cross-domain egocentric VQA benchmark
- 覆盖 4 个域：Surgery、Industry、Extreme Sports、Animal Perspective
- 规模是 798 clips、957 QA
- 同时支持 CloseQA 与 OpenQA

官网更像 challenge 门户，而不是文档中心。它给出的最重要信息是：

- challenge 已经作为 CVPR 2026 EgoVis Workshop 的一部分启动
- 有两个 Codabench 入口：
  - Source-Limited Track
  - Open-Source Track

所以如果从实验设计角度理解，官网承担的是“官方口径 + challenge 入口”的角色。

### 2.2 Workshop 页面透露了哪些更关键的信息

Workshop 页面比官网多出 3 类对实验更有用的信息：

1. **Challenge 的任务定义**
   给定 novel domain 的第一视角视频和一个问题，目标是在 A/B/C/D 四个选项中选出正确答案。

2. **两条赛道的约束**
   - Source-Limited Track：限制使用官方提供的 baseline model 和小规模 support set，强调 adaptation algorithm 的公平比较
   - Open-Source Track：页面描述里写的是“对 base model 没有限制，甚至鼓励 commercial models”，并允许额外数据，只要不是专门手工构造来对齐目标域

3. **当前 SOTA**
   两个赛道页面都写了同一个当前 SOTA：`SFT-Qwen3VL`，四域平均准确率 `0.4608`

这三个点说明目前 challenge 的官方 baseline 仍然偏弱，且“方法空间”并没有被收紧到很死，至少在非 source-limited 轨道里仍然有很大研究空间。

### 2.3 一个值得注意的命名漂移

几个官方/半官方页面之间存在轻微命名不一致：

- 官网 / workshop 页面叫 `Open-Source Track`
- Qwen3-VL-4B 训练仓库 README 里叫 `Source-Free`

从页面描述看，后一种说法更接近“零样本或不受 support-set 约束的更开放赛道”，但 workshop 页面实际描述又允许额外数据和 commercial models，因此更准确的理解应以 workshop 当前文字为准，而不要仅凭仓库 README 的历史命名。

## 3. 评测代码仓库解读

### 3.1 这个仓库实际提供了什么

`MyUniverse0726/EgoCross` 当前仓库根目录主要有：

- `eval_os_closedset.py`
- `eval_gpt_closedset.py`
- `eval_gpt_openset.py`
- `eval_gemini_closedset.py`
- `eval_gemini_openset.py`
- `datasets/`

可见它主要覆盖的是：

- 本地 open-source VLM 的 **closed-set**
- GPT / Gemini 的 **closed-set + open-set**

### 3.2 代码层面的几个明确信号

从 `eval_os_closedset.py` 可以看出，当前本地开源模型评测的默认思路是：

- 输入为视频或抽帧后的图片序列
- 通过固定 prompt 让模型输出 JSON：
  - `prediction`
  - `reason`
- 最终只比较 `prediction` 和正确选项字母

支持的模型分支包括：

- `qwen25vl`
- `qwen25vl_3b`
- `internvl25`
- `internvl3`
- `videollama3`

但这里已经能看出仓库存在维护漂移：

- `setup_model()` 里仍支持 `qwen2vl`
- `parse_args()` 的 `choices` 却没有 `qwen2vl`
- README 里提到 `preference.py`
- 仓库根目录当前并没有这个文件
- `eval_gpt_openset.py` 依赖 `chat_vlms`
- 仓库根目录当前也没有这个模块

这意味着当前仓库更像“可参考的 benchmark 脚本集合”，而不是一套无缝可复现的完整评测包。

### 3.3 对实验设计的启发

这个评测仓库背后的默认范式其实非常朴素：

- 单轮推理
- 固定 prompt
- 直接 answer selection

这恰好说明还有很大的研究空间没有被 baseline 吃掉，特别是：

- 更强的时序采样策略
- 更强的 task-aware prompt
- domain-aware adaptation
- OpenQA 对开源模型的完整实现

### 3.4 一个重要现实点

README 里把 `MyUniverse0726/EgoCross` 写成主仓库，但同时又说真正的 “official evaluation code (leaderboard/submission)” 在 `EgoCross-Benchmark/EgoCrossCodes`。这说明当前你给的这个仓库更像公开版评测脚本和说明，而不是 challenge 提交后端的唯一标准实现。

因此做实验时最好区分三类东西：

- 论文 benchmark 定义
- 公开脚本仓库
- 真正 leaderboard 的提交格式与后端

不要默认三者完全等价。

## 4. Qwen3-VL-4B SFT 仓库解读

### 4.1 它的定位

`LiYu0524/EgoCross_SFT_qwen3vl4b` 的定位非常清楚：

- 基于 `Qwen/Qwen3-VL-4B-Instruct`
- 用 `LLaMA-Factory` 做训练
- 提供 `full_sft.yaml` 与 `lora.yaml`
- 目标是给 EgoCross challenge 提供一个可复现实验 baseline

### 4.2 数据与训练设定

README 里给出的 support set 统计是：

- Animal：20
- Industry：20
- XSports：20
- Surgery：20
- 合计：80 条 support samples

也就是说，这个 baseline 不是大规模训练，而是典型的小样本域适配设置。

训练配置也很标准：

- Full SFT：4 卡，`lr=1e-5`，2 epochs，DeepSpeed ZeRO-2
- LoRA：单卡可跑，`rank=64`，`lr=2e-4`
- 图像像素上限控制在 `360000`

### 4.3 它真正说明了什么

README 给出的结果是：

- Baseline：45.14
- Full SFT epoch 1：45.98
- Full SFT epoch 2：46.08

这个结果很有启发性，因为它说明：

1. **SFT 是有效的，但收益很有限**
   只提升了不到 1 个点。

2. **跨域泛化不是“补一点 support set 就自然解决”的问题**
   这类任务更像结构性泛化缺陷，而不是简单缺监督。

3. **各域收益不均衡**
   README 中 Surgery 甚至略降，Animal 基本不动，说明单一统一 SFT 并没有真正解决 domain-specific difficulty。

### 4.4 仓库当前的边界

这个仓库当前更像“训练 baseline + 提交模板”，而不是完整研究框架：

- 有训练配置
- 有 `prepare_data.py`
- 有 `submission_template.json`
- 但没有完整的研究型 ablation 组织
- 也没有更强的 domain routing / retrieval / RL / OpenQA 方案

因此它更适合作为你做后续方法扩展的起点，而不是终点。

## 5. 哪些方向最值得进一步研究

下面这些方向不是泛泛而谈，而是从 challenge 规则、评测代码现状和 SFT baseline 短板直接推出来的。

### 5.1 Domain-Aware Routing / Adapter Routing

**为什么值得做**

- EgoCross 的难点本质就是 domain shift
- 当前 baseline 用一个统一模型直接回答四个域
- SFT 整体收益小，说明统一参数更新不够针对

**怎么做**

- 先做 domain classifier，识别输入属于 surgery / industry / xsports / animal 哪一类
- 根据域选择：
  - 不同 prompt
  - 不同 LoRA adapter
  - 不同 frame sampler
  - 不同 answer post-processor

**适合赛道**

- Source-Limited：可以做 support-set 驱动的 adapter routing
- Open-Source：可以进一步做 mixture-of-experts 或 router + external memory

### 5.2 Support-Set Retrieval Augmentation

**为什么值得做**

- 官方 support set 每域只有 20 条，但它们非常宝贵
- 当前 baseline 更像把 support set 当训练样本，而不是“推理时可检索知识”

**怎么做**

- 建立 support-set embedding index
- 按视觉相似度、问题类型、对象词汇检索相近样本
- 在推理时注入 few-shot exemplars 或 structured hints

**价值**

- 比统一 SFT 更符合小样本适配场景
- 对 Source-Limited track 尤其自然

### 5.3 Task-Type-Aware Specialization

**为什么值得做**

- EgoCross 明确分成 Identification / Localization / Prediction / Counting
- 这些任务的推理结构差异非常大

**怎么做**

- 先做 question type classifier
- 为不同 task family 设计不同的 answer protocol：
  - Localization：强制 timestamp 格式
  - Counting：显式“先枚举后计数”
  - Prediction：显式“当前状态 -> 下一步”
  - Identification：显式“候选项对比”

**价值**

- 这比单一 prompt 更可能提升难任务稳定性
- 特别适合 OpenQA / Localization / Prediction

### 5.4 Temporal Calibration 和 Timestamp Grounding

**为什么值得做**

- 论文里已经点出 GPT-4.1 在 animal localization 上会答成“第几帧”，而不是时间戳
- 说明当前模型对 FPS、帧号、时间轴的绑定并不稳

**怎么做**

- 显式注入 frame-index -> timestamp 映射
- 对定位问题使用结构化输出约束
- 在训练时加入 timestamp normalization loss 或格式奖励

**价值**

- 这类方法可能不会提升所有题型
- 但很可能显著提升 Localization 类问题

### 5.5 OpenQA for Open-Source Models

**为什么值得做**

- 当前公开仓库对 open-source 模型只给了 `closed-set`
- 开源本地模型的 `open-set / openqa` 路径并没有完整落地

**怎么做**

- 补齐本地开源模型 OpenQA evaluator
- 统一 judge 协议
- 研究 answer normalization、semantic equivalence、self-critique

**价值**

- 这是很明确的仓库空白点
- 既是工程贡献，也能做成论文实验点

### 5.6 RL / Preference Optimization for Cross-Domain QA

**为什么值得做**

- 原论文 pilot study 里 RL 提升明显大于 prompt 和 SFT
- 当前 Qwen3-VL baseline 只有 SFT / LoRA

**怎么做**

- 以 support set 或 judge model 为奖励信号
- 做 DPO / ORPO / GRPO / RLAIF 风格优化
- 奖励项不只看答对，还看：
  - 格式正确
  - timestamp 合法
  - reasoning consistency

**价值**

- 这是当前 baseline 最缺的一环
- 也是最有希望超过 `0.4608` 的方法方向之一

### 5.7 Domain-Specific Knowledge Injection

**为什么值得做**

- Surgery 和 Industry 的困难之一是术语和工具知识
- 通用 MLLM 往往看懂大概动作，但说不准专业对象

**怎么做**

- 为不同域建立轻量知识库：
  - surgical tools / phases
  - industrial components / operations
  - sports maneuvers
  - animal action patterns
- 在开放赛道里做 RAG 或 concept injection

**风险**

- Source-Limited track 下要严格核对规则，避免越界
- Open-Source track 更适合做这类增强

### 5.8 Adaptive Frame Sampling / Video Token Budgeting

**为什么值得做**

- 当前公开脚本本质上还是固定 fps / 固定 token budget
- Extreme Sports 和 Industry 对关键帧密度更敏感

**怎么做**

- 按 motion / scene change / hand-object interaction 自适应抽帧
- 针对 Prediction / Localization 任务用更高时序密度
- 针对 Identification / Counting 任务用更稳的代表帧策略

**价值**

- 这是最容易在不大改模型前提下拿到收益的方向之一

### 5.9 Multi-Stage Answering Pipeline

**为什么值得做**

- 当前脚本基本都是“一次性直接答”
- 但 EgoCross 的很多问题天然适合分解

**怎么做**

- Stage 1：识别 domain / task /关键对象
- Stage 2：做局部证据抽取
- Stage 3：输出选项或开放式答案

**价值**

- 更适合复杂 Prediction 和 Localization
- 可与 retrieval、routing、RL 组合

## 6. 我建议你优先做的 3 条线

如果你接下来要把工作做成真正的论文级实验，我建议优先按下面顺序推进：

1. **Domain-aware adapter routing**
   成本适中，和 benchmark 本质最对齐。

2. **Support-set retrieval + task-aware prompting**
   最贴近 source-limited 赛道，容易形成强 baseline。

3. **RL / preference optimization on top of Qwen3-VL**
   风险更高，但潜在收益也最大。

## 7. 直接可落地的实验设计

### 实验 A：统一 SFT vs 分域 LoRA

- Baseline：当前 full SFT / LoRA
- 方法：每域单独 LoRA + 路由器
- 指标：overall、4 domains、4 task families

### 实验 B：support-set 检索增强

- Baseline：直接答题
- 方法：检索 top-k 支持样本后拼到上下文
- 消融：视觉检索 / 文本检索 / 联合检索

### 实验 C：task-aware prompt

- Baseline：统一 prompt
- 方法：对 I/L/P/C 使用不同模板
- 重点观测 Localization 与 Prediction

### 实验 D：RL or preference tuning

- Baseline：SFT Qwen3-VL-4B
- 方法：在 support set 或 judge reward 上做偏好优化
- 重点看是否能把平均准确率稳定推过 `0.4608`

## 8. 结论

从 2026-03-17 看到的官方资源来看，EgoCross 现在正处于一个非常适合做方法研究的阶段：

- benchmark 定义已经清楚
- challenge 已经挂到 CVPR 2026 EgoVis
- 官方 baseline 还不强
- 公开代码存在明显空白和漂移

这意味着后续真正值得做的，不是再写一版普通 SFT，而是围绕 **domain adaptation、retrieval、task decomposition、temporal grounding、RL** 这几个方向做系统化方法设计。


EgoCross_official_resources_and_research_plan_zh

# EgoCross Source-Limited 榜单分析与提升方案

截至 `2026-03-28`，这份分析只面向 `EgoCross Source-Limited Track`。核心问题不是“还能不能继续涨分”，而是“在不更换 base model 的前提下，当前公开榜单已经证明哪些方法有效，以及下一步最值得投入的高 ROI 方向是什么”。

本分析固定使用以下事实源：

- 本地笔记：[egocross-onevision-analysis.md](/Users/wenfeng/graduate/project/paper/egocross-onevision-analysis.md)
- 本地官方资源解读：[EgoCross_official_resources_and_research_plan_zh.md](/Users/wenfeng/graduate/paper/output/egocross/EgoCross_official_resources_and_research_plan_zh.md)
- Codabench Source-Limited competition page: [competition 11279](https://www.codabench.org/competitions/11279/)
- Codabench Source-Limited leaderboard API: [phase 18547](https://www.codabench.org/api/phases/18547/get_leaderboard/)
- Codabench Open-Source leaderboard API: [phase 23006](https://www.codabench.org/api/phases/23006/get_leaderboard/)

## 1. 现状：榜单快照

官方 `Overview` 页面明确写明：Source-Limited 赛道使用 `Qwen3-VL-4B` 作为固定 baseline，评测任务是四选一 `MCQA`，榜单以 `Overall Accuracy` 作为主排名指标；同时展示 `Animal / XSports / Industry / Surgery` 四个域的 accuracy。

### 1.1 当前公开榜单

| 条目 | 赛道 | 提交者 | 提交时间 | Overall | Animal | XSports | Industry | Surgery |
| --- | --- | --- | --- | ---: | ---: | ---: | ---: | ---: |
| Top-1 | Source-Limited | `meowcross` | 2026-03-21 | `0.579937` | `0.7158` | `0.5569` | `0.5673` | `0.5230` |
| Top-2 | Source-Limited | `xiang_li` | 2026-03-20 | `0.579937` | `0.7158` | `0.5528` | `0.5510` | `0.5406` |
| 官方 baseline | Source-Limited | `yu-li` | 2026-02-11 | `0.460815` | `0.5519` | `0.4837` | `0.3510` | `0.4770` |
| Open-Source Top-1 | Open-Source | `blessing988` | 2026-03-10 | `0.559039` | `0.6995` | `0.4553` | `0.4653` | `0.6396` |

需要明确的事实：

- Source-Limited 当前榜首是 `0.579937`。
- Source-Limited 前两名并列第一。
- 官方公开 baseline `yu-li` 是 `0.460815`。
- 当前 Open-Source 榜首是 `0.559039`。
- Source-Limited 的主排名依据是 `Overall Accuracy`，不是单域最好分。

### 1.2 相对官方 baseline 的绝对增益

以下增益用 `Source-Limited Top-1 - 官方 baseline` 计算：

| 指标 | 增益 |
| --- | ---: |
| Overall | `+0.119122` |
| Animal | `+0.1639` |
| XSports | `+0.0732` |
| Industry | `+0.2163` |
| Surgery | `+0.0460` |

这组差值支撑了一个很强的结论：当前 Source-Limited 的跃升不是“统一小涨”，而是**显著修复了 Industry 和 Animal，适度改善了 XSports，而 Surgery 提升最小**。

### 1.3 相对 Open-Source 榜首的差值

以下差值用 `Source-Limited Top-1 - Open-Source Top-1` 计算：

| 指标 | 差值 |
| --- | ---: |
| Overall | `+0.020898` |
| Animal | `+0.0163` |
| XSports | `+0.1016` |
| Industry | `+0.1020` |
| Surgery | `-0.1166` |

这组差值说明另一件事：**Source-Limited 当前领先 Open-Source，不是靠 Surgery，而是靠 XSports 和 Industry 的强补偿**。因此如果目标是继续追 Source-Limited 的更高上限，优先级不应放在 Surgery。

## 2. 分域差距如何理解

从公开榜单看，当前最重要的不是“平均分更高”，而是“哪个域还在拉后腿”。

### 2.1 Industry 是最大确定性收益来源

- 相对官方 baseline，Industry 一次性提高了 `+21.63` 个点，是四域最大增益。
- 相对 Open-Source 榜首，Source-Limited 在 Industry 仍然领先 `+10.20` 个点。
- 这说明 Industry 最受益于受控的域适配，而不是更大的 base model。

工程含义是：**Industry 的提升更像来自 domain-aware adaptation、support-set 使用方式和推理策略，而不是简单继续统一 SFT**。

### 2.2 Animal 已经被明显修复，但边际空间开始变小

- 相对官方 baseline，Animal 提升 `+16.39` 个点，属于大幅修复。
- 但相对 Open-Source 榜首，只领先 `+1.63` 个点，说明这一域的显性低垂果子已经不多。

因此 Animal 仍值得优化，但不应再被当作第一优先级。更合理的定位是：**用于巩固 overall，而不是作为唯一突破口**。

### 2.3 XSports 还存在明显的剩余空间

- 相对官方 baseline，XSports 提升 `+7.32` 个点。
- 相对 Open-Source 榜首，Source-Limited 反而领先 `+10.16` 个点。

这意味着 XSports 对策略很敏感，尤其可能依赖：

- 更好的帧采样
- 更强的时序提示
- 更适合高速运动场景的局部证据抽取

### 2.4 Surgery 不是当前第一优先级

- 相对官方 baseline，Surgery 只提升 `+4.60` 个点，是四域最小。
- 相对 Open-Source 榜首，Source-Limited 反而落后 `-11.66` 个点。

这并不说明 Surgery 没有研究空间，而是说明在 **当前 Source-Limited 的 overall 竞争里，Surgery 不是最划算的追分入口**。如果资源有限，更应该优先投到 `Industry / XSports / Animal`。

### 2.5 任务级结论仍然要谨慎

公开 competition 的 `detailed results` 当前是关闭的，因此榜单只提供**域级**可见证据，不提供 task-family 级别的公开拆解。  
所以针对 `Identification / Localization / Prediction / Counting` 的判断，需要结合 benchmark 论文与数据设计，而不能伪装成 leaderboard 直接观测。

## 3. 规则约束：什么是合法提升

根据 competition `Overview / Data Preparation / Evaluation` 页面，Source-Limited 赛道的边界很明确：

- 固定 baseline model：`Qwen3-VL-4B`
- 可用官方 support set：`80` 条，四域各 `20`
- 可用公开数据
- 鼓励新算法
- 不允许替换成更强 base model
- 不允许手工搜集并构造额外 support examples
- 排名只看 `Overall Accuracy`

还有两个很关键但容易被忽视的点：

- 组织方在 `Data Preparation` 页面明确提供了四个**分域的 Qwen3-VL-4B 微调模型**，这使得“分域路由”不仅合法，而且在规则上有明确支撑。
- 提交只需要 `predictions.json` 里的最终选项字母，因此很多提升可以放在**推理、采样、校准和 reranking**，不一定非要继续重训练。

## 4. 榜单已经证明了什么

### 4.1 继续做统一 SFT 不是主线

本地已有解读中，官方公开的 Qwen3-VL-4B SFT baseline 从 `45.14` 提到 `46.08`，提升不到 `1` 个点。  
而当前 Source-Limited Top-1 已经到 `57.99`，相对官方公开 baseline 多出 `11.91` 个点。

这说明真正有效的不是“再做一版统一 SFT”，而是：

- 更强的域适配
- 更合理的 support-set 使用方式
- 更有针对性的推理策略

### 4.2 Source-Limited 已经证明“受控适配”可以超过开放赛道当前公开成绩

当前 Source-Limited Top-1 `0.579937` 高于 Open-Source Top-1 `0.559039`。  
这不意味着 Source-Limited 天然更强，而是说明 **在 EgoCross 这种小 support-set、强 domain shift 的任务上，方法设计可能比换更大的模型更关键**。

### 4.3 现阶段最值得追的是“结构化适配”，不是“模型换代”

因为 base model 被固定，真正还能做的竞争空间主要集中在：

- routing
- retrieval
- prompt specialization
- frame sampling
- calibration / reranking

这些方向都能映射到现有 baseline 代码范式，不需要新增公共 API，也不违反规则。

## 5. 规则允许且值得试的 5 条方法路线

下面所有路线都默认输入是：

- `Qwen3-VL-4B` baseline
- 官方 `80` 条 support set
- 赛道允许的公开数据

每条路线都按 `输入 -> 修改点 -> 目标域 -> 风险` 来写。

### P1. Domain-aware routing

**输入**  
`Qwen3-VL-4B` base model，四域 support set，组织方提供的四个分域 SFT checkpoint 或自训四个分域 LoRA。

**修改点**  
不要再用一个统一策略覆盖四域。直接按 `dataset`、`domain` 或等价元数据做**确定性路由**，把测试样本送到对应的域专家：

- Surgery -> surgery adapter/checkpoint
- Industry -> industry adapter/checkpoint
- XSports -> xsports adapter/checkpoint
- Animal -> animal adapter/checkpoint

第一版不需要学一个复杂 router，直接基于输入字段做硬路由即可；第二版再考虑共享骨干 + 多 LoRA 热插拔。

**预期收益域**  
`Industry` 最大，`XSports / Animal` 次之，`Surgery` 最低。

**风险**  
四域各只有 20 条 support sample，独立 adapter 容易过拟合；如果路由过硬，边界样本会被错误分配。

### P1. Support-set retrieval + in-context exemplars

**输入**  
80 条 support set，测试样本的 `question_text / options / frames`。

**修改点**  
不要只把 support set 当训练集。改成“训练 + 推理双用途”：

- 建立 support-set 索引
- 检索同域、同题型、视觉相似或文本相似的 top-k 样本
- 在推理 prompt 中注入 few-shot exemplars 或结构化 hint

优先做轻量版本：

- 文本检索：`question_text + options`
- 同域过滤：先按 domain 限定候选
- top-k 小于等于 `3`

第二步再加视觉检索，例如对若干关键帧做 embedding，再和 support images 做近邻匹配。

**预期收益域**  
`Industry / Animal / XSports`；尤其适合 object-heavy、procedure-heavy 或 counting 类问题。

**风险**  
检索噪声会污染 prompt；上下文过长会挤占视觉 token；如果 exemplars 过拟合同一模板，可能抬单域但不抬 overall。

### P2. Task-type-aware prompting

**输入**  
测试样本里的 `primary_category / question_type / question_text / options`。

**修改点**  
针对 `Identification / Localization / Prediction / Counting` 定义不同推理协议，而不是一个统一 prompt：

- Identification：先比对候选项，再给答案
- Localization：先定位关键时刻或关键区域，再映射到选项
- Prediction：先描述当前状态，再预测下一步
- Counting：先枚举再计数，最后再映射到候选项

输出仍然收束到单个字母，保证提交格式不变。

**预期收益域**  
`XSports / Industry` 更明显，因为这两个域更依赖时序理解和目标对比；Animal 可作为稳定增益项。

**风险**  
不同 prompt protocol 之间的行为差异会放大；如果生成冗长 reasoning，反而可能压缩视觉理解预算。

### P2. Adaptive frame sampling

**输入**  
`video_path` 对应的图像序列。

**修改点**  
不要固定 uniform sampling。按题型和域自适应调整帧预算：

- XSports / Animal：提高时序密度，捕捉快速动作变化
- Industry / Surgery：保留更稳的操作关键帧
- Localization / Prediction：优先保证时间连续性
- Identification / Counting：优先代表帧覆盖和去冗余

最稳妥的第一版不是复杂的视频 tokenizer，而是：

- 按帧差或轻量运动信号选关键帧
- 不同域使用不同帧数上限
- 对 Localization / Prediction 设置更高密度采样

**预期收益域**  
`XSports` 第一，`Animal` 第二。

**风险**  
采样策略如果过激，容易丢掉长时上下文；不同题型之间的最优采样策略不一致。

### P3. Calibration / self-consistency / reranking

**输入**  
同一个 Qwen3-VL-4B，单题的四个选项。

**修改点**  
不改训练，直接在推理后端做稳健化：

- 多 prompt 模板重复推理
- 多次采样后做 majority vote
- 让模型分别对四个选项做独立打分，再 rerank
- 对高不确定样本引入 self-consistency 复核

由于提交只看最终字母，这类方法很适合当成最后一层“保底后处理”。

**预期收益域**  
全域小幅收益，更适合吃最后 `1-3` 个点；对容易受选项偏置影响的问题更有价值。

**风险**  
计算成本增加；如果模型内部置信不稳定，reranking 可能引入波动。

## 6. 优先实验路线

如果目标是尽快在 Source-Limited 赛道上做出一条有说服力的追分路线，建议按以下顺序推进：

1. **先做 deterministic domain routing**
   直接利用已有 domain 字段或等价元数据，把样本路由到分域 checkpoint / LoRA。  
   这是规则最清晰、实现最直接、最符合榜单证据的第一步。

2. **再加 support-set retrieval**
   让 support set 从“只用于训练”变成“训练 + 推理时可检索 exemplars”。  
   这一步最可能继续抬 `Industry / Animal / XSports`。

3. **然后引入 task-type-aware prompt**
   先做四类主任务的 prompt protocol，再看是否对 `Localization / Prediction` 有额外收益。

4. **第四步改自适应采样**
   重点盯 `XSports / Animal`，避免对 Surgery 过拟合。

5. **最后叠加 calibration / reranking**
   这一步不负责“结构性突破”，但非常适合吃榜单末端增益。

## 7. 结论

截至 `2026-03-28`，EgoCross Source-Limited 的公开榜单已经证明：

- `Qwen3-VL-4B` 固定并不意味着方法空间很小
- 单一统一 SFT 不是主线
- 真正有效的是结构化的域适配与推理设计

如果只看接下来最值得投的方向，优先级应是：

- `Industry`
- `XSports`
- `Animal`
- `Surgery`

如果只看方法，优先级应是：

- `Domain-aware routing`
- `Support-set retrieval + in-context exemplars`
- `Task-type-aware prompting`
- `Adaptive frame sampling`
- `Calibration / reranking`

这次分析**不把更换更强模型视为合法提升方案**；Open-Source 榜单只用来给出参考上限，不混入 Source-Limited 的可执行建议。


EgoCross_source_limited_leaderboard_analysis_zh

experiments

记录人工智能、视频理解、多模态大模型、模型部署与科研学习过程

A3 Semantic Assist Milestone

Data for AI 中文社区工作组例会 会议纪要

EgoCross 官方资源解读与进一步研究方案

1. 资源总览

EgoCross Source-Limited 榜单分析与提升方案

Data for AI 中文社区工作组例会会议纪要