高斯溅射王瓷砖 (Gāosī jiànshè wáng cízhuān)
GSWT: Gaussian Splatting Wang Tiles

原始链接: https://yunfan.zone/gswt_webpage/

给定场景的多视图图像,我们的目标是构建可用于在任意表面上平铺并在我们的新型GSWT渲染器中实时渲染的 Gaussian Splatting Wang Tiles (GSWT)。整个流程的概述如下。我们首先在多个LOD(细节层次)下重建3DGS示例。对于每个级别,我们通过采样边缘和中心补丁并应用语义感知图割算法来生成一组Wang Tiles。在渲染之前,我们对每个tile进行预排序,以实现高效的无排序splatting,并在运行时执行动态平铺,从而实现高效的基于GSWT的地形合成和渲染。(a) 给定输入图像,我们使用不同的细节层次(LOD)多次构建示例。(b) 我们构建tile集并在渲染前对其进行预处理。(c) 工作线程在运行时对表面进行平铺,而主线程渲染每一帧。

## 高斯溅射 Wang 瓦片:摘要 一个名为“高斯溅射 Wang 瓦片”(GSWT)的新项目,探索了一种使用高斯溅射生成 3D 纹理环境的方法。其核心思想是使用单个高斯溅射“瓦片”,并通过策略性的切割/重叠副本来创建具有明确邻居约束的不同瓦片——灵感来自 Wang 瓦片。这使得创建可重复的 3D 片段成为可能,适用于诸如田野或洞穴等环境。 讨论强调了将 GSWT 与波函数坍缩算法结合用于程序化生成的潜力。虽然浏览器中的演示令人印象深刻,但性能在不同机器之间差异很大(M1 Pro 上为 2fps,M4 上更好)。 用户对游戏开发和电影环境的可能性感到兴奋,特别是解决了高斯溅射内容创作的挑战。想法从程序化生成到动画化摇曳的草地等元素,尽管目前的实现大多是静态的。进一步的开发可能涉及对溅射数据的语义理解,以实现更复杂的动画。
相关文章

原文

Given multi-view images of an exemplar scene, our goal is to construct Gaussian Splatting Wang Tiles (GSWT) that can be tiled on arbitrary surfaces and rendered in real time with our novel GSWT renderer. An overview of the entire pipeline is illustrated below. We begin by reconstructing the 3DGS exemplar at multiple LODs. For each level, we generate a set of Wang Tiles by sampling the edge and center patches and applying a semantic-aware graph cut algorithm. Prior to rendering, we pre-sort each tile for efficient sort-free splatting, and during runtime, we perform tiling on the fly, allowing efficient GSWT-based terrain synthesis and rendering.

Pipeline

(a) Given the input images, we construct the exemplar multiple times with different Level of Detail (LOD).
(b) We construct the tile set and preprocess it before rendering.
(c) The surface is tiled at run-time on the worker thread, while the main thread renders each frame.

联系我们 contact @ memedata.com