从EWA Splatting到3DGS：投影变换的‘线性化’魔法是如何炼成的？

从EWA Splatting到3DGS投影变换的‘线性化’魔法是如何炼成的在计算机图形学的演进历程中投影变换的处理始终是连接三维世界与二维图像的核心技术难题。2002年《EWA Volume Splatting》论文提出的局部仿射近似方法为这一领域埋下了关键的思想种子。二十年后当3D高斯泼溅3D Gaussian Splatting简称3DGS技术横空出世时人们惊讶地发现这项现代技术竟与二十年前的经典方法有着深刻的思想传承。本文将带您穿越技术时空揭开投影变换线性化背后的数学魔法探寻从EWA Splatting到3DGS的技术基因传递。1. 投影变换的本质挑战任何试图将三维场景渲染到二维图像的技术都必须面对投影变换这一不可回避的数学难题。在传统的三角形渲染管线中这个问题被巧妙地规避了——通过先在三维空间进行裁剪再将顶点投影到二维平面。但当我们需要直接处理三维空间中的连续表示如体积数据或高斯分布时投影变换的非线性特性就成为了必须正面攻克的堡垒。投影变换的非线性本质源于透视除法这一操作。考虑一个简单的针孔相机模型u f_x \frac{x}{z} c_x \\ v f_y \frac{y}{z} c_y这个看似简单的z倒数关系却使得整个变换失去了线性变换最宝贵的两个性质叠加性f(ab) ≠ f(a)f(b)齐次性f(k·a) ≠ k·f(a)这种非线性带来的直接后果是一个完美的三维高斯分布经过投影后在图像平面上可能变成各种奇怪的形状而不再保持优美的椭圆特性。这对于依赖高斯分布进行高效渲染的技术如EWA Splatting和3DGS而言无疑是灾难性的。2. EWA Splatting的智慧启示2002年Marc Zwicker等人在《EWA Volume Splatting》论文中提出了一个革命性的解决方案——局部仿射近似。这项工作的精妙之处在于它没有试图全局解决非线性问题而是巧妙地利用了微积分中的泰勒展开工具在局部将非线性问题转化为线性问题。EWA的核心数学工具是一阶泰勒展开F(\mathbf{p} \Delta\mathbf{p}) \approx F(\mathbf{p}) J(\mathbf{p})\Delta\mathbf{p}其中J是投影函数F在点p处的雅可比矩阵。这个近似意味着在点p的微小邻域内复杂的非线性投影可以被视为一个线性变换。这一发现使得体积渲染中能够保持滤波核通常是高斯核在经过投影后的数学特性。EWA Splatting的贡献不仅在于提出了这一方法更重要的是建立了投影变换下滤波核变形的完整理论框架。该框架清晰地展示了如何通过雅可比矩阵来变换滤波核的协方差矩阵\Sigma J \Sigma J^T这一公式成为了后来所有基于高斯分布的渲染技术的数学基础包括我们今天要讨论的3DGS。3. 3DGS中的工程化创新当我们将目光转向3D高斯泼溅技术时会发现它在继承EWA Splatting数学核心的同时进行了一系列精妙的工程化改进。这些改进使得该方法特别适合现代GPU并行计算架构实现了实时的神经渲染。3DGS的关键突破在于它将EWA的理论与当代可微分渲染的需求完美结合离散高斯表示不同于EWA处理连续体积数据3DGS使用大量离散的3D高斯作为场景表示可微分参数每个高斯的均值、协方差和透明度都是可优化参数硬件友好设计整个渲染管线设计充分考虑了GPU并行特性在投影变换处理上3DGS基本遵循了EWA的局部仿射近似框架但在实现细节上做了重要优化// 3DGS中的协方差矩阵变换核心代码 glm::mat3 J glm::mat3( focal_x / t.z, 0.0f, -(focal_x * t.x) / (t.z * t.z), 0.0f, focal_y / t.z, -(focal_y * t.y) / (t.z * t.z), 0, 0, 0 ); glm::mat3 W glm::mat3( viewmatrix[0], viewmatrix[4], viewmatrix[8], viewmatrix[1], viewmatrix[5], viewmatrix[9], viewmatrix[2], viewmatrix[6], viewmatrix[10] ); glm::mat3 T W * J; glm::mat3 cov glm::transpose(T) * glm::transpose(Vrk) * T;这段代码清晰地展示了视图变换矩阵W与投影雅可比矩阵J的联合作用最终得到2D协方差矩阵的计算过程。值得注意的是由于GLM数学库使用列主序存储矩阵这里的矩阵乘法顺序与理论推导略有不同但数学本质完全一致。4. 数学一致性与实现差异虽然EWA Splatting和3DGS共享相同的数学基础但在具体实现上却存在值得关注的差异。理解这些差异对于深入掌握这两种技术至关重要。关键实现差异对比特性EWA Splatting3D Gaussian Splatting数据表示连续体积数据离散高斯集合滤波目的抗锯齿场景表示与渲染协方差初始化根据采样率确定通过优化学习得到硬件考量早期GPU兼容现代GPU并行优化微分性非主要考虑因素核心设计需求在视图变换处理上3DGS需要特别注意旋转矩阵的提取。由于视图矩阵通常包含旋转和平移两部分而只有旋转会影响协方差矩阵因此需要单独提取旋转部分// 从4x4视图矩阵中提取3x3旋转部分 glm::mat3 W glm::mat3( viewmatrix[0], viewmatrix[4], viewmatrix[8], // 第一列 viewmatrix[1], viewmatrix[5], viewmatrix[9], // 第二列 viewmatrix[2], viewmatrix[6], viewmatrix[10] // 第三列 );这种实现细节上的差异反映了3DGS在继承经典理论的同时为适应现代计算机图形学需求所做的创新调整。5. 实践中的挑战与解决方案在实际实现投影变换的线性化近似时开发者往往会遇到几个典型挑战。这些问题看似琐碎却直接影响最终渲染的质量和稳定性。深度裁剪的艺术在将三维点投影到图像平面时必须谨慎处理靠近或位于相机后面的点。3DGS采用了一种巧妙的限制策略const float limx 1.3f * tan_fovx; const float limy 1.3f * tan_fovy; const float txtz t.x / t.z; const float tytz t.y / t.z; t.x min(limx, max(-limx, txtz)) * t.z; t.y min(limy, max(-limy, tytz)) * t.z;这段代码实现了两个重要功能将点的投影坐标限制在视锥体范围内带1.3倍扩展系数保持原始深度信息仅调整x,y坐标数值稳定性陷阱当点的z坐标接近零时投影计算可能产生数值不稳定。实践中需要添加微小epsilon值防止除零错误这在原始论文中未提及却是工程实现中不可或缺的细节。矩阵顺序的迷惑不同数学库的矩阵存储顺序行主序vs列主序常常导致实现混淆。3DGS中由于使用GLM列主序矩阵乘法顺序与数学推导看起来相反这需要开发者特别留意// 注意由于GLM是列主序这里的T实际是理论中的转置 glm::mat3 cov glm::transpose(T) * glm::transpose(Vrk) * T;理解这些实践细节才能真正掌握从理论到实现的完整链条避免在自主实现时陷入难以调试的困境。