SMIA

### 《穹顶、琉璃球与移灯人》

在全景城的最深处，皇家测绘局得到了一颗传说中的宝石，名为“海妖之眼”。这颗宝石有着不可思议的魔力：只要将它放在城中心的高塔上，它一眼就能收尽整座城市乃至地平线上的全部风景。

皇帝非常高兴，命令首席画师立刻把“海妖之眼”看到的景象拓印在一张平整的羊皮卷上，作为帝国的宏伟版图。

然而，当第一版地图呈上来时，皇帝大发雷霆。

“这是什么畸形的怪物？！”皇帝指着地图怒吼，“我那笔直的十字御街，为什么在这里弯曲成了两条肥硕的蚯蚓？我那高耸笔挺的城墙，为什么像个膨胀的面团一样向外凸出？地平线甚至首尾相连成了一个圈！”

画师们吓得瑟瑟发抖。他们尝试了各种办法，试图在羊皮卷上直接把那些弯曲的线条“拉直”。他们找来最强壮的工匠，拼命向外拉扯画卷的边缘。可是，越靠近边缘的地方，风景就被拉扯得越发模糊和撕裂，直到羊皮卷不堪重负，“嘶啦”一声碎成两半。直接在平摊的纸上与这种扭曲对抗，注定是徒劳的。

这时，一位名叫“梅”的盲眼老工匠走进了大殿。

“陛下，海妖之眼看到的是一整个苍穹，您却硬要把它按死在一张平整的纸上，暴力拉扯只会让世界撕裂。”老工匠说道，“请给我一颗绝对完美的空心琉璃圆球，半径必须是一尺，分毫不差。再给我一根可以上下滑动的烛台。”

工匠们按照他的要求准备好了。

梅老工匠将那颗“海妖之眼”放在了琉璃球的正中心，并点燃了那根蜡烛。奇异的事情发生了：海妖之眼里那些扭曲的街道、膨胀的城墙，化作一道道光影，投射在了这颗完美的琉璃球壳上。

“现在，我们要把它画到平整的羊皮卷上。”梅老工匠将羊皮卷平铺在琉璃球的正上方，紧紧贴着球的北极点。

年轻的画师准备从琉璃球的正中心（也就是海妖之眼的位置）向外看，去描绘投影。

“不，不要站在中心看。”老工匠拦住了他，双手握住中心的烛台，沿着垂直的灯柱，缓缓向下移动。

“往下移多少？”画师问。

“一个特殊的距离。这个距离，恰好是这颗海妖之眼独有的脾气。”老工匠凭着直觉，将烛台向下移动了一段特定的距离，停在了琉璃球的南半部。

“现在，把你自己的眼睛放在烛台现在的这个位置，透过琉璃球，看向顶部的羊皮卷，把你看到的阴影描摹下来。”

画师蹲下身，从那个偏离重心的奇异位置向上望去。一瞬间，他倒吸了一口凉气。

奇迹发生了。

从这个偏置的视角看过去，琉璃球面上那些原本严重弯曲的光影，投射在上方平坦的羊皮卷上时，竟然不可思议地伸展成了笔直的线条。十字御街恢复了它如同刀劈斧砍般的笔直，城墙巍然耸立，不再有任何膨胀。

没有暴力的边缘拉扯，没有画面的撕裂。所有的扭曲，仅仅因为工匠将观察点在灯柱上悄悄向下滑动了那一段奇异的距离，就在平面的画卷上得到了完美的消解与统一。

皇帝看着这张完美无瑕、横平竖直的帝国版图，龙颜大悦，重赏了这位盲眼工匠。而全景城的画师们，从此也掌握了降服一切“海妖之眼”的秘宝。

---

### 寓言背后的概念：梅氏统一全景相机模型 (Mei's Unified Omnidirectional Camera Model)

在机器视觉和机器人部署中，常规的针孔相机（Pinhole）视场角很小。为了让机器人（比如四足机器狗）或自动驾驶汽车获得更大的环境感知范围，我们通常会使用视场角甚至超过 180° 的鱼眼相机（Fisheye）或折反射全景相机（Catadioptric）。

但这就带来了寓言开头的问题：**极度的非线性畸变**。在传统本科阶段，我们学过用布朗-康拉迪模型（Brown-Conrady）的径向畸变参数 $k_1, k_2, k_3$ 去做多项式修正。这就好比寓言中“拼命向外拉扯画卷的边缘”，对于轻微畸变管用，但对于鱼眼相机，视场角边缘的多项式会急剧发散，导致图像边缘严重丢失或拉扯撕裂。

为了优雅地解决这个问题，Christopher Mei 和 Patrick Rives 在 2007 年提出了一种研究生及研究员级别广泛使用的经典几何模型：**统一球面投影模型（Unified Spherical Model）**。

这个模型并没有在 2D 图像平面上死磕，而是巧妙地将 2D 投影升维到了 3D 空间中，这也就是寓言中老工匠那套“琉璃球与移灯”的操作。它的数学本质包含以下几个优雅的步骤：

1. **投影到单位球面 (Projection onto the unit sphere)**
对应寓言中的“将光影投射在完美的琉璃球壳上”。
假设空间中有一个三维点 $X_c = [x, y, z]^T$。第一步，我们将这个点强制投影到一个半径为 1 的单位球面上，得到球面上的点：

$$X_s = \frac{X_c}{\|X_c\|}$$



这一步将现实中不同距离的光线，统一规范化到了一个封闭的完美球体表面。
2. **移动投影中心 (Shift of the projection center)**
对应寓言中的“将烛台向下移动一个特殊的距离”。这是该模型最核心的灵魂！
在传统的针孔模型中，投影中心（相机光心）位于原点 $[0, 0, 0]^T$。但在 Mei 的模型中，我们将投影中心沿着 Z 轴（光轴）向下平移一个参数 $\xi$（寓言中的那个特定距离）。
此时，相对于新的观察点，刚才球面上的点坐标变成了：

$$X_s' = [x_s, y_s, z_s + \xi]^T$$



*注：对于不同的镜头，$\xi$ 是不同的。对于纯抛物面折反射相机 $\xi = 1$，对于某些鱼眼相机，$\xi$ 是一个介于 0 和 1 之间的待标定参数。*
3. **透视投影到归一化平面 (Perspective projection onto the normalized plane)**
对应寓言中的“从偏置位置向上望，画在羊皮卷上”。
现在，从这个向下偏移了 $\xi$ 的新原点出发，使用普通的针孔透视原理，将光线打到 $Z=1$ 的归一化平面上：

$$m = \left[ \frac{x_s}{z_s + \xi}, \frac{y_s}{z_s + \xi} \right]^T$$


4. **内参矩阵映射 (Camera Intrinsic Matrix)**
最后，再乘上相机的内参矩阵 $K$（焦距和光心），就得到了最终在图像上的像素坐标。

**为什么它如此重要？**
因为这个模型极其优雅，它用一个统一的参数 $\xi$，就把传统针孔、鱼眼、乃至各种复杂的折反射相机全部统一进了一个数学框架里。在基于 ROS 的机器人视觉里程计（如 VINS-Mono）算法部署中，当我们需要对前端视觉的宽视野特征点进行精确追踪和三角化时，Mei 氏模型（或类似思想的 Kannala-Brandt 模型）是保证空间几何结构不崩溃的底层基石。

穹顶、琉璃球与移灯人

phase1_pareto_implementation

# A3 Semantic Assist Milestone

Date: 2026-05-26

## 1. Milestone Status

The A3-side semantic assist decision path has been implemented and tested for the current v1 scope.

Current implemented entrypoints:

| Entrypoint | Purpose | Status |
| --- | --- | --- |
| `POST /api/v1/a2-a3/a3/assist` | Receive an A2 semantic packet and return the standard A3 response. | Implemented |
| `GET /api/v1/a2-a3/skills` | List backend-hosted A3 skills for OpenClaw or other agents. | Implemented |
| `POST /api/v1/a2-a3/skills/run` | Run `a3.assist_decision` through the backend skill registry. | Implemented |
| `POST /api/v1/a2-a3/demo` | Return offline A2 packets with A3 responses for demonstration. | Implemented |

Primary code paths:

| Area | File |
| --- | --- |
| Request/response schema | `A2A/app/schemas/a2_a3.py` |
| A3 deterministic policy | `A2A/app/services/a3_decision_policy.py` |
| A3 skill registry | `A2A/app/services/a3_skill_registry.py` |
| A2-A3 API router | `A2A/app/api/v1/a2_a3.py` |
| Existing tests | `A2A/tests/test_a3_decision_policy.py` |
| Offline experiment output | `gray_event_experiment/a2_a3_outputs/` |

## 2. Point-by-Point Functional Analysis

| Requirement | Implementation status | Evidence |
| --- | --- | --- |
| 1. Receive A2 semantic packet | Implemented. `A2SemanticPacket` accepts the requested packet shape. `timestamp`, `cycle`, `num`, and `sequence` are optional, so the minimal packet from A2 is valid. | `A2A/app/schemas/a2_a3.py`, `POST /api/v1/a2-a3/a3/assist` |
| A2 does not send full sensor logs | Implemented by contract. A3 only consumes risk level, pose, object state, evidence summaries, requested action, and time budget. | `A2SemanticPacket`, `docs/ontology_gray_events.md` |
| 2. Reachability judgment | Implemented. A3 computes distance from current A3 pose to A2 end-effector pose, checks workspace bounds, max reach, safety distance, and configured blocked zones. | `decide_a3_assist`, `WorkspaceBounds`, `A3Capability`, `BlockedZone` |
| `reachable` and `distance_to_a2_mm` output | Implemented. The sample packet returns `reachable=true` and `distance_to_a2_mm=82.614`. | Unit test `test_sample_packet_returns_expected_assist_decision` |
| 3. Time budget judgment | Implemented. A3 estimates time as `420 + distance_mm * 0.45` ms and compares it with `time_budget_ms`. | `decide_a3_assist` |
| Overtime should not blindly assist/takeover | Implemented. If assist/takeover would exceed budget, A3 returns `decision=manual_check`, `strategy=manual_check`, `result=needs_review`. | Unit test `test_overtime_assist_is_manual_check` |
| 4. Assist/takeover decision by risk level | Implemented. `normal -> observe`, `gray -> assist`, `high -> takeover`, `critical -> takeover`. | Unit test `test_risk_level_mapping` |
| Unreachable case returns reject | Implemented. Outside workspace or max reach returns `decision=reject`, `strategy=manual_check`, `result=rejected`. | Unit test `test_unreachable_pose_is_rejected`; offline regression has 4 rejected packets |
| 5. Concrete assist strategy | Implemented. Strategies include `continue_monitoring`, `reorient_and_stabilize_grasp`, `support_object`, `handover_and_continue_line`, `emergency_stop_or_safe_pose`, and `manual_check`. | `A3Strategy` enum and `_base_action` |
| 6. Standard response format | Implemented. Responses are validated by `A3AssistResponse` and include all required fields. | `A3AssistResponse`; offline 24-packet schema regression |
| OpenClaw+skills access | Implemented as backend-hosted deterministic skill. OpenClaw Docker can call `a3.assist_decision` through HTTP and does not directly control robot action. | `A2A/app/services/a3_skill_registry.py`, `/skills/run` |

## 3. Test Results

Commands run on `/home/find-agent/a2a/A2A`:

```bash
python -m unittest tests.test_a3_decision_policy -v
```

Result:

```text
Ran 6 tests in 0.001s
OK
```

Covered cases:

| Test case | Result |
| --- | --- |
| Minimal sample packet returns expected assist decision. | Passed |
| Unreachable pose returns `reject`. | Passed |
| Overtime assist returns `manual_check`. | Passed |
| Risk mapping for `normal/gray/high/critical`. | Passed |
| Assist endpoint accepts the minimal packet without `timestamp/cycle/num`. | Passed |
| Skill endpoint `a3.assist_decision` returns the same decision shape. | Passed |

Offline regression over `gray_event_experiment/a2_a3_outputs/a2_semantic_packets.json`:

| Metric | Value |
| --- | --- |
| Packet count | 24 |
| Accepted | 20 |
| Rejected | 4 |
| Needs review | 0 |
| `assist` decisions | 17 |
| `takeover` decisions | 3 |
| `reject` decisions | 4 |

Sample endpoint result for `F004-A2-1-2`:

```json
{
  "request_id": "F004-A2-1-2",
  "agent": "Arm_A3",
  "reachable": true,
  "distance_to_a2_mm": 82.614,
  "estimated_time_ms": 457,
  "time_budget_ms": 1000,
  "within_time_budget": true,
  "decision": "assist",
  "strategy": "reorient_and_stabilize_grasp",
  "result": "accepted",
  "reason": "Gray F004 risk is reachable within the time budget; A3 can assist A2."
}
```

The direct assist endpoint and the skill endpoint returned identical output for the sample packet.

## 4. Milestones

| Milestone | Scope | Status |
| --- | --- | --- |
| M1: A2 semantic packet contract | Define and validate A2-to-A3 minimal semantic packet. | Complete |
| M2: A3 deterministic decision policy | Implement reachability, time budget, safety gate, risk-level decision, and strategy selection. | Complete |
| M3: Standard A3 response | Fix response fields and enums for `decision`, `strategy`, and `result`. | Complete |
| M4: OpenClaw skills access | Expose backend-hosted `a3.assist_decision` for OpenClaw HTTP calls. | Complete |
| M5: Offline regression data | Recompute and validate 24 A2 semantic packets with the shared A3 policy. | Complete |
| M6: Real A3 state integration | Replace static A3 pose/workspace/blocked-zone defaults with live robot state and motion-planning feedback. | Pending |
| M7: Collision model integration | Connect real obstacle, A2 arm geometry, object size, and scene occupancy to the safety gate. | Pending |
| M8: Runtime graph integration | Feed the A3 decision result back into the running multi-agent runtime state, not only the HTTP/offline path. | Pending |

## 5. Remaining Engineering Notes

The v1 implementation is intentionally deterministic and conservative. It does not parse raw A2 sensor logs, and it does not let OpenClaw directly control robot motion.

Current limitations:

| Limitation | Required next step |
| --- | --- |
| A3 current pose is static by default: `(-460.0, 120.0, 150.0)`. | Bind `A3Capability.current_pose` to live robot state. |
| Collision checking is represented by safety distance and configured blocked zones only. | Add real A2/A3 geometry, object size, and occupied workspace checks. |
| Response time is estimated by a simple linear formula. | Replace or calibrate with motion planner ETA. |
| Runtime agent `arm_a3_agent` still performs local recovery in the graph path. | Make runtime recovery consume the same `a3.assist_decision` result before accepting assistance or takeover. |


a3_semantic_assist_milestone

# Data for AI 中文社区工作组例会 会议纪要

**时间：** 2026年5月19日 11:00–11:50
**形式：** 线上（腾讯会议）
**参会人：** Richard Lin（主持）、林知渝、王禹昊、刘镔辉

---

## 一、社区现状介绍

Richard 向新成员禹昊和镔辉系统介绍了 Data for AI 社区的定位与现状：

- **定位：** 聚焦数据工程与 AI 基础建设生态的国际化社区，面向数据工程从业者和 AI Infra 从业者，提供有深度、有连接价值的交流平台。
- **活动阵地：** 硅谷以 Luma 平台为主（luma.com/data-for-ai），2025 年已主办 5 场高质量技术 Meetup；中国区在北上深杭均有活动，2025 年全年目标 15~18 场（含硅谷）。
- **近期活动：** 6 月 3 日将在 Snowflake Summit 期间举办 Side Event（硅谷第 5 场）。
- **历史背景：** 社区起源于硅谷，中国区从 2024 年 12 月上海站开始正式落地，曾在中国开源年会（COSCon）以出品人身份举办两天专题分论坛。

---

## 二、当前三大问题

### 1. 文档混乱且不开放

- 现有社区文档分散、结构不清晰，存放在飞书，对外缺乏开放性。
- 外部人员和 AI 工具均难以访问，影响社区传播和协作效率。

### 2. 志愿者参与度低

- 微信群有 33 人，飞书仅同步了 25 人，信息不统一。
- 志愿者普遍预期仅为线下活动当天服务，缺乏长期投入意愿。
- 现有任务在飞书工作组中虽有罗列，但缺乏足够人力推进。
- 4 月三场活动暴露出质量问题（录音断片、问卷缺失等），根因在于未提前召开协调会、活动 SOP 未落地执行。

### 3. 线上内容运营薄弱

- 社区拥有微信个人号、公众号、视频号三个账号，目前归属于前成员史少锋，需完成 Ownership 转移。
- Richard 因 IP 在台北，被判定为"异地直播"，需重新认证，今日直播资质尚在审核中。
- 活动结束后缺乏系统性内容沉淀（回顾文章、视频剪辑等）。

---

## 三、讨论要点与方向

### 文档整理方向

- **方案 A（飞书优先）：** 继续使用飞书，借助其 L1–L4 文档安全分级，区分公开内容与内部内容，整理现有文档树状目录。
- **方案 B（GitHub 优先）：** 将可公开内容迁移至 GitHub，提升搜索可见度，社区 issue 等开放讨论也在 GitHub 上进行。
- **理想方向（双轨同步）：** 以飞书作为主要协作平台，通过 AI 工作流将公开文档定期同步至 GitHub，兼顾协作效率与开放性。
- 刘镔辉提到飞书可接入本地部署的 OpenClaw（龙虾），实现 AI 辅助文档整理，并可通过飞书 API 将内容导出同步至 GitHub，可进一步调研落地。

### 志愿者管理方向

- 明确反对积分/兑换礼品的驱动机制（"没有社区灵魂"），强调应吸引真正对 Data for AI 议题感兴趣的人。
- 建议对所有现有志愿者重新访谈，确认参与意愿；明确分组与职责。
- 未来每场活动前必须召开线上协调会（此前疏漏是 4 月三场出问题的直接原因）。
- 建议完善并落地活动 SOP Checklist，负责人需逐项确认执行。

### 线上内容运营方向

- 王禹昊将主要承接内容产出工作，目标：每场活动结束后本周内发出议题视频回看及 Panel 内容总结文章。
- 后续持续招募对内容创作有兴趣的志愿者，也可向行业优质作者约稿或申请转载授权。
- Richard 有意分享 AI 辅助写作的交互过程（提示词记录），供团队参考；Claude Code 对话记录导出方式待探索。

### 设计资源

- 现有志愿者图图（非专业）可支撑基本需求。
- 杭州志愿者"星星"已能用 ChatGPT Image 生成高质量活动海报，可持续利用。
- 刘镔辉可通过 ChatGPT Plus 承接 AI 出图需求，先以 AI 方式试做，不达标再考虑外包。
- Richard 计划为社区制作 Swag（贴纸、T 恤、徽章等），可同步制作 Gravitino Swag 用于各大展会。

---

## 四、待办事项

| 责任人               | 事项                                                         | 备注           |
| ----------------- | ---------------------------------------------------------- | ------------ |
| Richard + 知渝 + 禹昊 | 整理飞书文档目录结构，输出 Proposal                                     | 第一优先级        |
| Richard           | 推进微信三个账号 Ownership 从史少锋转移                                  | 含个人号/公众号/视频号 |
| Richard           | 跟进异地开播资质审核，尽快开通直播能力                                        | 当前资质审核中      |
| 禹昊                | 今日活动结束后本周内产出视频回看 + 文章                                      | 按议题拆解，每天一个   |
| Richard           | 向刘镔辉确认是否愿意承接飞书 OpenClaw（龙虾）接入与飞书→GitHub 同步的调研，确认意愿后再正式列为任务 | —            |
| 知渝                | 细化并更新活动 SOP Checklist                                      | 要求负责人逐项执行    |
| Richard + 知渝      | 对现有志愿者重新访谈，确认参与意愿                                          | —            |
| Richard           | 启动社区 Swag 设计（贴纸、T 恤等），同步 Gravitino Swag                    | —            |
| 刘镔辉 + 星星          | 用 AI 工具尝试设计物料，供质量评估                                        | —            |
| 全员                | 每场活动前必须召开线上协调会                                             | 已达成共识        |

---

## 五、其他提及事项

- 下一场硅谷活动：**6 月 3 日**（Snowflake Summit Side Event），Richard 5 月底再次前往美国。
- 今日腾讯会议直播能否成功取决于异地开播资质审批结果。
- Data for AI 新版 Logo 已在中国区启用，美国区待同步更新。

---

*本纪要由 AI 辅助整理，如有遗漏请在群内补充。*


20260519_工作组例会-会议纪要

记录人工智能、视频理解、多模态大模型、模型部署与科研学习过程

《穹顶、琉璃球与移灯人》

A3 Semantic Assist Milestone

Data for AI 中文社区工作组例会 会议纪要

Data for AI 中文社区工作组例会会议纪要