MeshGPT:使用仅限解码器的变压器生成三角形网格
MeshGPT: Generating triangle meshes with decoder-only transformers

原始链接: https://nihalsid.github.io/mesh-gpt/

在计算机图形和 3D 建模领域,MeshGPT 引入了一种突破性的新方法来生成紧凑、详细且美观的三角形网格。 与基于等值面或体积表示的传统方法(往往会创建过于密集、复杂且不直观的网格)不同,MeshGPT 采用受强大自然语言处理模型启发的基于序列的方法。 该方法涉及学习几何嵌入词汇表,表示网格内的离散区域。 然后,这些嵌入被排序并解码为一系列三角形,可以准确地重新创建原始网格,同时产生锐利的边缘和复杂的细节。 与其他最先进的技术相比,MeshGPT 提供了卓越的结果,这通过增加的形状覆盖范围和更高的 FID 分数保真度来证明。 此外,MeshGPT 还提供形状补全功能等优势,只需给定形状的一部分即可实现多个合理的形状补全。 MeshGPT 的应用范围从资产创建、场景设计到科学可视化,有望在计算 3D 图形领域取得重大突破。 要进一步探索,请访问下面列出的相关网站以获取更多见解、源代码和支持。

用户可能会争辩说,与 PolyGen 相比,使用自回归模型限制了该技术的适用性,因为它严重依赖于重建过程中添加顶点的顺序。 然而,根据提供的材料,这种自回归模型在性能指标方面优于 PolyGen。 因此,无论模型是否使用自回归,这种方法固有的主要缺点(即处理“分布外”数据)仍然存在。 可能需要进一步的研究来应对这一挑战并进一步扩展该技术的功能和应用。 尽管如此,提及该模型超越 PolyGen 表明人工智能领域在网格生成方面取得了令人兴奋的发展。
相关文章

原文

We introduce MeshGPT, a new approach for generating triangle meshes that reflects the compactness typical of artist-created meshes, in contrast to dense triangle meshes extracted by iso-surfacing methods from neural fields. Inspired by recent advances in powerful large language models, we adopt a sequence-based approach to autoregressively generate triangle meshes as sequences of triangles.

We first learn a vocabulary of latent quantized embeddings, using graph convolutions, which inform these embeddings of the local mesh geometry and topology. These embeddings are sequenced and decoded into triangles by a decoder, ensuring that they can effectively reconstruct the mesh. A transformer is then trained on this learned vocabulary to predict the index of the next embedding given previous embeddings. Once trained, our model can be autoregressively sampled to generate new triangle meshes, directly generating compact meshes with sharp edges, more closely imitating the efficient triangulation patterns of human-crafted meshes.

MeshGPT demonstrates a notable improvement over state of the art mesh generation methods, with a 9% increase in shape coverage and a 30-point enhancement in FID scores across various categories.

联系我们 contact @ memedata.com