


```
(Optional) pip3 install torch==2.7.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

sudo apt-get -y install libopenmpi-dev && pip3 install --upgrade pip setuptools && pip3 install tensorrt_llm
```


tensorrt-llm

推理变量阅读指南

SMIA

### 《穹顶、琉璃球与移灯人》

在全景城的最深处，皇家测绘局得到了一颗传说中的宝石，名为“海妖之眼”。这颗宝石有着不可思议的魔力：只要将它放在城中心的高塔上，它一眼就能收尽整座城市乃至地平线上的全部风景。

皇帝非常高兴，命令首席画师立刻把“海妖之眼”看到的景象拓印在一张平整的羊皮卷上，作为帝国的宏伟版图。

然而，当第一版地图呈上来时，皇帝大发雷霆。

“这是什么畸形的怪物？！”皇帝指着地图怒吼，“我那笔直的十字御街，为什么在这里弯曲成了两条肥硕的蚯蚓？我那高耸笔挺的城墙，为什么像个膨胀的面团一样向外凸出？地平线甚至首尾相连成了一个圈！”

画师们吓得瑟瑟发抖。他们尝试了各种办法，试图在羊皮卷上直接把那些弯曲的线条“拉直”。他们找来最强壮的工匠，拼命向外拉扯画卷的边缘。可是，越靠近边缘的地方，风景就被拉扯得越发模糊和撕裂，直到羊皮卷不堪重负，“嘶啦”一声碎成两半。直接在平摊的纸上与这种扭曲对抗，注定是徒劳的。

这时，一位名叫“梅”的盲眼老工匠走进了大殿。

“陛下，海妖之眼看到的是一整个苍穹，您却硬要把它按死在一张平整的纸上，暴力拉扯只会让世界撕裂。”老工匠说道，“请给我一颗绝对完美的空心琉璃圆球，半径必须是一尺，分毫不差。再给我一根可以上下滑动的烛台。”

工匠们按照他的要求准备好了。

梅老工匠将那颗“海妖之眼”放在了琉璃球的正中心，并点燃了那根蜡烛。奇异的事情发生了：海妖之眼里那些扭曲的街道、膨胀的城墙，化作一道道光影，投射在了这颗完美的琉璃球壳上。

“现在，我们要把它画到平整的羊皮卷上。”梅老工匠将羊皮卷平铺在琉璃球的正上方，紧紧贴着球的北极点。

年轻的画师准备从琉璃球的正中心（也就是海妖之眼的位置）向外看，去描绘投影。

“不，不要站在中心看。”老工匠拦住了他，双手握住中心的烛台，沿着垂直的灯柱，缓缓向下移动。

“往下移多少？”画师问。

“一个特殊的距离。这个距离，恰好是这颗海妖之眼独有的脾气。”老工匠凭着直觉，将烛台向下移动了一段特定的距离，停在了琉璃球的南半部。

“现在，把你自己的眼睛放在烛台现在的这个位置，透过琉璃球，看向顶部的羊皮卷，把你看到的阴影描摹下来。”

画师蹲下身，从那个偏离重心的奇异位置向上望去。一瞬间，他倒吸了一口凉气。

奇迹发生了。

从这个偏置的视角看过去，琉璃球面上那些原本严重弯曲的光影，投射在上方平坦的羊皮卷上时，竟然不可思议地伸展成了笔直的线条。十字御街恢复了它如同刀劈斧砍般的笔直，城墙巍然耸立，不再有任何膨胀。

没有暴力的边缘拉扯，没有画面的撕裂。所有的扭曲，仅仅因为工匠将观察点在灯柱上悄悄向下滑动了那一段奇异的距离，就在平面的画卷上得到了完美的消解与统一。

皇帝看着这张完美无瑕、横平竖直的帝国版图，龙颜大悦，重赏了这位盲眼工匠。而全景城的画师们，从此也掌握了降服一切“海妖之眼”的秘宝。

---

### 寓言背后的概念：梅氏统一全景相机模型 (Mei's Unified Omnidirectional Camera Model)

在机器视觉和机器人部署中，常规的针孔相机（Pinhole）视场角很小。为了让机器人（比如四足机器狗）或自动驾驶汽车获得更大的环境感知范围，我们通常会使用视场角甚至超过 180° 的鱼眼相机（Fisheye）或折反射全景相机（Catadioptric）。

但这就带来了寓言开头的问题：**极度的非线性畸变**。在传统本科阶段，我们学过用布朗-康拉迪模型（Brown-Conrady）的径向畸变参数 $k_1, k_2, k_3$ 去做多项式修正。这就好比寓言中“拼命向外拉扯画卷的边缘”，对于轻微畸变管用，但对于鱼眼相机，视场角边缘的多项式会急剧发散，导致图像边缘严重丢失或拉扯撕裂。

为了优雅地解决这个问题，Christopher Mei 和 Patrick Rives 在 2007 年提出了一种研究生及研究员级别广泛使用的经典几何模型：**统一球面投影模型（Unified Spherical Model）**。

这个模型并没有在 2D 图像平面上死磕，而是巧妙地将 2D 投影升维到了 3D 空间中，这也就是寓言中老工匠那套“琉璃球与移灯”的操作。它的数学本质包含以下几个优雅的步骤：

1. **投影到单位球面 (Projection onto the unit sphere)**
对应寓言中的“将光影投射在完美的琉璃球壳上”。
假设空间中有一个三维点 $X_c = [x, y, z]^T$。第一步，我们将这个点强制投影到一个半径为 1 的单位球面上，得到球面上的点：

$$X_s = \frac{X_c}{\|X_c\|}$$



这一步将现实中不同距离的光线，统一规范化到了一个封闭的完美球体表面。
2. **移动投影中心 (Shift of the projection center)**
对应寓言中的“将烛台向下移动一个特殊的距离”。这是该模型最核心的灵魂！
在传统的针孔模型中，投影中心（相机光心）位于原点 $[0, 0, 0]^T$。但在 Mei 的模型中，我们将投影中心沿着 Z 轴（光轴）向下平移一个参数 $\xi$（寓言中的那个特定距离）。
此时，相对于新的观察点，刚才球面上的点坐标变成了：

$$X_s' = [x_s, y_s, z_s + \xi]^T$$



*注：对于不同的镜头，$\xi$ 是不同的。对于纯抛物面折反射相机 $\xi = 1$，对于某些鱼眼相机，$\xi$ 是一个介于 0 和 1 之间的待标定参数。*
3. **透视投影到归一化平面 (Perspective projection onto the normalized plane)**
对应寓言中的“从偏置位置向上望，画在羊皮卷上”。
现在，从这个向下偏移了 $\xi$ 的新原点出发，使用普通的针孔透视原理，将光线打到 $Z=1$ 的归一化平面上：

$$m = \left[ \frac{x_s}{z_s + \xi}, \frac{y_s}{z_s + \xi} \right]^T$$


4. **内参矩阵映射 (Camera Intrinsic Matrix)**
最后，再乘上相机的内参矩阵 $K$（焦距和光心），就得到了最终在图像上的像素坐标。

**为什么它如此重要？**
因为这个模型极其优雅，它用一个统一的参数 $\xi$，就把传统针孔、鱼眼、乃至各种复杂的折反射相机全部统一进了一个数学框架里。在基于 ROS 的机器人视觉里程计（如 VINS-Mono）算法部署中，当我们需要对前端视觉的宽视野特征点进行精确追踪和三角化时，Mei 氏模型（或类似思想的 Kannala-Brandt 模型）是保证空间几何结构不崩溃的底层基石。

穹顶、琉璃球与移灯人

phase1_pareto_implementation

记录人工智能、视频理解、多模态大模型、模型部署与科研学习过程

推理变量源码阅读：llama.cpp 与 TensorRT-LLM

《穹顶、琉璃球与移灯人》