视觉图像坐标转换

1. 透镜成像

相机的镜头系统将三维场景中的光线聚焦到一个平面（即传感器）。这个过程可以用小孔成像模型来近似描述，尽管实际相机使用复杂的透镜系统来减少畸变和提高成像质量。

小孔成像模型： 假设有一个理想的小孔，光线通过小孔后在对面形成倒立的实像。 在小孔成像模型中，物体到小孔的距离 Z Z Z、焦距 f f f（小孔到成像平面的距离）、物体的实际尺寸 Y Y Y 和 X X X 以及物体在成像平面上的投影尺寸 y y y 和 x x x 之间的关系如下：

Z f = Y y = X x \frac{Z}{f} = \frac{Y}{y} = \frac{X}{x} fZ​=yY​=xX​ 其中，

Z Z Z 是物体到小孔的距离。 f f f 是焦距（小孔到成像平面的距离）。 Y Y Y 和 X X X 是物体的实际尺寸。 y y y 和 x x x 是物体在成像平面上的投影尺寸

这个模型假设有一个理想的小孔，光线通过小孔后在对面形成倒立的实像。虽然现实中没有完全理想的小孔，但这个模型有助于理解基本原理。

2. 相机内参数

内参数描述了相机的内部几何特性，包括焦距、主点位置、像素比例等。这些参数通常通过相机标定过程获得，并用于将三维空间中的点投影到二维图像平面上。

三种坐标系的变换

2.1 主要内参数

焦距（Focal Length）：

通常用 f x f_x fx​ 和 f y f_y fy​ 表示，分别对应X轴和Y轴方向上的焦距。焦距决定了相机的视角和放大倍数。

主点（Principal Point）：

通常用 c x c_x cx​ 和 c y c_y cy​ 表示，表示光轴与成像平面的交点，即图像中心的像素坐标。

畸变系数（Distortion Coefficients）：

包括径向畸变（Radial Distortion）和切向畸变（Tangential Distortion）系数。这些系数用于校正镜头引起的图像失真。 2.2 内参数矩阵

内参数通常以一个3x3的矩阵 K K K 表示：

K = [ f x 0 c x 0 f y c y 0 0 1 ] K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} K= ​fx​00​0fy​0​cx​cy​1​ ​

其中：

f x f_x fx​ 和 f y f_y fy​ 是焦距（以像素为单位）。 c x c_x cx​ 和 c y c_y cy​ 是主点坐标（通常是图像中心）。 2.3 作用 投影变换：将三维空间中的点投影到二维图像平面上。校正畸变：利用畸变系数校正图像中的失真现象，提高图像质量。 3. 外参数

外参数（Extrinsic Parameters）描述了相机相对于某个固定的世界坐标系的位置和姿态，包括旋转矩阵 R R R 和平移向量 t t t。 获取这些参数通常需要通过特定的方法或技术进行标定或估计。以下是几种常见的获取外参数的方法：

3.1 相机标定（Camera Calibration）

相机标定不仅用于获取内参数，还可以同时获得外参数。常用的方法之一是使用已知几何结构的标定板（如棋盘格），通过多个视角拍摄标定板图像，然后利用这些图像来计算相机的内外参数。

使用OpenCV进行相机标定

OpenCV 提供了一套完整的工具来进行相机标定，可以同时获取内参数和外参数。以下是一个简化的步骤说明：

准备标定板：使用一个已知尺寸的棋盘格作为标定板。采集图像：从不同角度拍摄多张包含标定板的图像。角点检测：在每张图像中找到棋盘格的角点位置。标定过程：使用这些角点信息来计算相机的内外参数。 import cv2 import numpy as np def calibrate_camera(images, pattern_size=(9, 6)): """ Calibrate the camera using a set of images with a known chessboard pattern. Parameters: - images: List of image paths containing the chessboard pattern. - pattern_size: Tuple (rows, cols) representing the number of inner corners per a chessboard row and column. Returns: - Intrinsic matrix K, distortion coefficients, rotation vectors, and translation vectors. """ # Prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0) objp = np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:,:2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1,2) # Arrays to store object points and image points from all the images. objpoints = [] # 3d point in real world space imgpoints = [] # 2d points in image plane. for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # Find the chess board corners ret, corners = cv2.findChessboardCorners(gray, pattern_size, None) # If found, add object points, image points (after refining them) if ret == True: objpoints.append(objp) corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) imgpoints.append(corners2) # Perform camera calibration ret, K, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None) return K, dist, rvecs, tvecs # Example usage if __name__ == "__main__": # Camera calibration using chessboard images images = ["image1.jpg", "image2.jpg", "image3.jpg"] # Replace with actual image paths criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) K, dist, rvecs, tvecs = calibrate_camera(images) print("Intrinsic matrix K:\n", K) print("Distortion coefficients:", dist) print("Rotation vectors:", rvecs) print("Translation vectors:", tvecs) 3.2 主要外参数 3.2.1旋转矩阵（Rotation Matrix） 旋转矩阵：通常用 $ R $ 表示，是一个3x3的正交矩阵，描述了相机相对于世界坐标系的旋转角度。 3.2.2平移向量（Translation Vector） 平移向量：通常用 $ t $ 表示，是一个3x1的向量，描述了相机相对于世界坐标系的平移距离。 3.3 外参数矩阵

外参数通常以一个4x4的齐次变换矩阵 T T T 表示：

T = [ R t 0 T 1 ] T = \begin{bmatrix} R & t \\ 0^T & 1 \end{bmatrix} T=[R0T​t1​]

其中：

R R R 是旋转矩阵。$t $ 是平移向量。 0 T 0^T 0T 是一个1x3的零向量。 3.3 作用 坐标变换：将三维世界坐标系中的点转换到相机坐标系中。姿态估计：确定相机在世界坐标系中的位置和方向，常用于SLAM（同步定位与地图构建）、AR（增强现实）等应用。