爱游戏网页.大视听PLUS｜实时可编辑3D重建！鼠标拖拽就能控

发布时间：2024-04-27 22:07:15 来源：爱游戏网页入口 作者：爱游戏版本

大视听PLUS｜实时可编辑3D重建！鼠标拖拽就能控

　　（Gaussian Splatting）在新视角合成领域掀起了一轮性浪潮，取代上一代技术神经辐射场（NeRF）成为学界业界顶流。而真实场景往往是动态的，如何合成动态场景的新视角是更具价值与挑战的领域。

　　随着图形学与AI的发展，数字资产的创造日益引起人们的重视。对于重建的真实场景进行编辑也是AIGC领域业内关注的热门方向，其为制作数字资产提供了高效与便捷。

　　香港大学CVMI实验室携手3D大模型公司VAST与浙江大学，提出了目前SOTA的动态高斯溅射模型SC-GS，并支持用户交互式实时编辑重建的场景。

　　SC-GS的灵感来源于对自然世界大多数动态过程的观察，由于物质大多数都是刚性或连续的，因此物体的移动往往可以由稀疏的变形基底表示，并不需要稠密的变形场进行建模。

　　摒弃了大多数现有方法对动态场景的变形场进行稠密建模的方案，SC-GS突破性地引入稀疏的控制点对动态场景的变形进行表示与建模，并由一个神经网络预测每个控制点在不同时刻的运动状态，从而驱动整个场景中的动态高斯进行变形。

　　SC-GS首先初始化少数各向同性的球状高斯结合神经网络预测的运动进行渲染，使用渲染结果拟合动态场景的多视角图片，得到粗糙但不过拟合的变形场建模。

　　通过对这些球状高斯进行降采样，得到预设数量的稀疏控制点，并通过径向基函数插值得到标准空间中各个高斯在不同时刻的变形参数进行驱动变形。

　　研究团队发现稀疏控制点虽然能够完美解决变形场过拟合到训练视角的问题，但其重建的变形也会出现不符合真实物理的现象。这是由于控制点的运动缺乏物理约束，容易出现交错与碰撞。

　　因此研究团队引入了局部刚性约束，限制控制点与邻接点形成的边在运动过程发生非刚性变形，以让控制点的运动规律尽可能地符合真实物理。

　　基于训练完成的模型，通过分析控制点的轨迹，能够得到控制点连接形成的图结构与各个边上的刚性权重。通过对该图进行“尽可能刚性”（ARAP）的变形，能够以符合物理的条件对建模场景进行编辑。

　　由于变形的对象是稀疏的控制点，因此变形过程能够实时进行，这也为交互式编辑提供了可能，让用户能够更高效，更便捷的创建属于自己的数字资产。

　　此外，SC-GS能够以SOTA的性能合成动态场景的新视角图片，对于精细的几何纹理细节都有着最高的保真度。对于手指，恐龙骨骼等精细部位的渲染都有着精准的复现。

　　定量实验同样表明，SC-GS远超现有方法，在DNeRF数据集上实现了均值超过40的PSNR指标。

　　SC-GS让我们看到了高斯溅射在动态场景与交互式编辑方面的潜力，我们期待2024年会有更精彩的工作与探索。

　　简介：「大视听PLUS.博览会」以聚焦、深耕、创新为定位，围绕数字内容、数字视效、数字音频、数字显示、数字舞美，数字文娱等新一代信息技术深度融合下的广电大视听新技术、新产品、新服务、新业态、新场景搭建生态平台，推动产、学、研、用多元合作，助力新时代大视听全产业链融合共生高质量发展。