Mesh2Splat: Gaussian Splatting from 3D Geometry and Materials
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Mesh2Splat : Gaussian Splatting från 3D-geometri och Material (Swedish)
Abstract [en]
The field of Computer Graphics continually seeks methods to enhance the realism and efficiency of rendering 3D scenes. This thesis presents a method for directly converting 3D meshes and materials into a 3D Gaussian Splatting (3DGS) format, with the goal of producing an output suitable for real-time rendering with dynamic lighting. 3DGS, a novel view synthesis and point-based rendering technique, serves as both the final representation and the rendering method for visualizing the converted data. The primary problem addressed is the current absence of a direct conversion method from 3D meshes to a 3DGS format without relying on time-consuming optimization processes. Current optimization-based methods are not tailored for synthetic data, requiring extensive computations to estimate 3D geometry from image-based inputs, which hampers their practicality for production applications.
The significance of this problem lies in the necessity for more efficient, flexible, and high-fidelity rendering techniques in real-time applications, particularly within the gaming industry. Existing options are either computationally prohibitive or fail to reproduce the target ground truth visual fidelity, thus impeding their adoption. The novelty and rapidly evolving nature of Gaussian Splatting mean that standards and methods are still under development, making this a timely and relevant topic for a Master's thesis.
This project introduces Mesh2Splat, a method that directly converts 3D meshes into Gaussian Splatting representations without the need for intermediate optimization steps. By leveraging the detailed information contained within the 3D meshes, Mesh2Splat aims to improve visual fidelity and computational efficiency compared to existing methods. The method involves developing C++ code to create Gaussian Splatting files from static 3D models, evaluating visual accuracy using metrics like SSIM and PSNR, and comparing performance against classical Gaussian Splatting pipelines.
Key results demonstrate that Mesh2Splat significantly reduces computation time bringing the conversion time from several minutes to milliseconds, while maintaining and improving visual accuracy for most non-volumetric input 3D meshes with explicit surfaces. This efficiency supports the seamless conversion of 3D mesh formats into a customized Gaussian Splatting representations. Although a complete, user-validated tool was not developed, Mesh2Splat not only advances the understanding and application of 3D Gaussian Splatting but also provides a foundation for further research and development in the field.
Abstract [sv]
Fältet för Computer Graphics strävar kontinuerligt efter metoder för att förbättra realismen och effektiviteten vid rendering av 3D-scener. Denna avhandling utforskar potentialen hos 3D Gaussian Splatting, en ny teknik för volymrendering, för att konvertera och rendera befintliga 3D-meshar och geometrier i ett Gaussian Splatting-format. Huvudproblemet som adresseras är den nuvarande avsaknaden av en direkt konverteringsmetod från 3D-meshar till Gaussian splats utan att förlita sig på tidskrävande optimeringsprocesser. Traditionella metoder är ineffektiva och kräver omfattande beräkningar för att uppskatta 3D-geometri från bildbaserade indata, vilket hindrar deras användbarhet för realtidsapplikationer.
Betydelsen av detta problem ligger i behovet av mer effektiva, flexibla och högkvalitativa renderingstekniker för realtidsapplikationer, särskilt inom spelindustrin. Befintliga lösningar är antingen beräkningsmässigt krävande eller misslyckas med att reproducera den önskade visuella kvaliteten, vilket förhindrar deras adoption. Den nya och snabbt utvecklande naturen hos Gaussian Splatting innebär att standarder och metoder fortfarande utvecklas, vilket gör detta till ett aktuellt och relevant ämne för en masteruppsats.
Detta projekt introducerar Mesh2Splat, en metod som direkt konverterar 3D-meshar till Gaussian Splatting-representationer utan behov av mellanliggande optimeringssteg. Genom att utnyttja den detaljerade informationen som finns i 3D-meshar syftar Mesh2Splat till att förbättra visuell kvalitet och beräkningseffektivitet jämfört med traditionella metoder (hänvisat till gamla 3DGS-implementationer). Metoden innebär att utveckla C++-kod för att skapa Gaussian Splatting-filer från statiska 3D-modeller, utvärdera visuell noggrannhet med hjälp av mätvärden som SSIM och PSNR samt jämföra prestanda med klassiska Gaussian Splatting-pipelines.
Nyckelresultat visar att Mesh2Splat avsevärt minskar beräkningstiden, vilket förkortar konverteringstiden från flera minuter till millisekunder, samtidigt som den bibehåller och förbättrar visuell noggrannhet för de flesta icke-volymetriska 3D-meshar med explicita ytor. Denna effektivitet stöder en sömlös konvertering av 3D-meshformat till Gaussian Splatting-representationer och inte bara främjar förståelsen och tillämpningen av 3D Gaussian Splatting, utan ger också en grund för vidare forskning och utveckling inom området.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology , 2024. , p. 74
Series
TRITA-EECS-EX ; 2024:794
Keywords [en]
Computer Graphics, 3D Gaussian Splatting, Rendering
Keywords [sv]
Computer Graphics, 3D Gaussian Splatting, Rendering
National Category
Computer Sciences Computer Engineering
Identifiers
URN: urn:nbn:se:kth:diva-359582OAI: oai:DiVA.org:kth-359582DiVA, id: diva2:1934675
External cooperation
Electronic Arts (EA SEED)
Supervisors
Examiners
2025-02-042025-02-042025-02-04Bibliographically approved