kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Mesh2Splat: Gaussian Splatting from 3D Geometry and Materials
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Mesh2Splat : Gaussian Splatting från 3D-geometri och Material (Swedish)
Abstract [en]

The field of Computer Graphics continually seeks methods to enhance the realism and efficiency of rendering 3D scenes. This thesis presents a method for directly converting 3D meshes and materials into a 3D Gaussian Splatting (3DGS) format, with the goal of producing an output suitable for real-time rendering with dynamic lighting. 3DGS, a novel view synthesis and point-based rendering technique, serves as both the final representation and the rendering method for visualizing the converted data. The primary problem addressed is the current absence of a direct conversion method from 3D meshes to a 3DGS format without relying on time-consuming optimization processes. Current optimization-based methods are not tailored for synthetic data, requiring extensive computations to estimate 3D geometry from image-based inputs, which hampers their practicality for production applications.

The significance of this problem lies in the necessity for more efficient, flexible, and high-fidelity rendering techniques in real-time applications, particularly within the gaming industry. Existing options are either computationally prohibitive or fail to reproduce the target ground truth visual fidelity, thus impeding their adoption. The novelty and rapidly evolving nature of Gaussian Splatting mean that standards and methods are still under development, making this a timely and relevant topic for a Master's thesis.

This project introduces Mesh2Splat, a method that directly converts 3D meshes into Gaussian Splatting representations without the need for intermediate optimization steps. By leveraging the detailed information contained within the 3D meshes, Mesh2Splat aims to improve visual fidelity and computational efficiency compared to existing methods. The method involves developing C++ code to create Gaussian Splatting files from static 3D models, evaluating visual accuracy using metrics like SSIM and PSNR, and comparing performance against classical Gaussian Splatting pipelines.

Key results demonstrate that Mesh2Splat significantly reduces computation time bringing the conversion time from several minutes to milliseconds, while maintaining and improving visual accuracy for most non-volumetric input 3D meshes with explicit surfaces. This efficiency supports the seamless conversion of 3D mesh formats into a customized Gaussian Splatting representations. Although a complete, user-validated tool was not developed, Mesh2Splat not only advances the understanding and application of 3D Gaussian Splatting but also provides a foundation for further research and development in the field.

Abstract [sv]

Fältet för Computer Graphics strävar kontinuerligt efter metoder för att förbättra realismen och effektiviteten vid rendering av 3D-scener. Denna avhandling utforskar potentialen hos 3D Gaussian Splatting, en ny teknik för volymrendering, för att konvertera och rendera befintliga 3D-meshar och geometrier i ett Gaussian Splatting-format. Huvudproblemet som adresseras är den nuvarande avsaknaden av en direkt konverteringsmetod från 3D-meshar till Gaussian splats utan att förlita sig på tidskrävande optimeringsprocesser. Traditionella metoder är ineffektiva och kräver omfattande beräkningar för att uppskatta 3D-geometri från bildbaserade indata, vilket hindrar deras användbarhet för realtidsapplikationer.

Betydelsen av detta problem ligger i behovet av mer effektiva, flexibla och högkvalitativa renderingstekniker för realtidsapplikationer, särskilt inom spelindustrin. Befintliga lösningar är antingen beräkningsmässigt krävande eller misslyckas med att reproducera den önskade visuella kvaliteten, vilket förhindrar deras adoption. Den nya och snabbt utvecklande naturen hos Gaussian Splatting innebär att standarder och metoder fortfarande utvecklas, vilket gör detta till ett aktuellt och relevant ämne för en masteruppsats.

Detta projekt introducerar Mesh2Splat, en metod som direkt konverterar 3D-meshar till Gaussian Splatting-representationer utan behov av mellanliggande optimeringssteg. Genom att utnyttja den detaljerade informationen som finns i 3D-meshar syftar Mesh2Splat till att förbättra visuell kvalitet och beräkningseffektivitet jämfört med traditionella metoder (hänvisat till gamla 3DGS-implementationer). Metoden innebär att utveckla C++-kod för att skapa Gaussian Splatting-filer från statiska 3D-modeller, utvärdera visuell noggrannhet med hjälp av mätvärden som SSIM och PSNR samt jämföra prestanda med klassiska Gaussian Splatting-pipelines.

Nyckelresultat visar att Mesh2Splat avsevärt minskar beräkningstiden, vilket förkortar konverteringstiden från flera minuter till millisekunder, samtidigt som den bibehåller och förbättrar visuell noggrannhet för de flesta icke-volymetriska 3D-meshar med explicita ytor. Denna effektivitet stöder en sömlös konvertering av 3D-meshformat till Gaussian Splatting-representationer och inte bara främjar förståelsen och tillämpningen av 3D Gaussian Splatting, utan ger också en grund för vidare forskning och utveckling inom området.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology , 2024. , p. 74
Series
TRITA-EECS-EX ; 2024:794
Keywords [en]
Computer Graphics, 3D Gaussian Splatting, Rendering
Keywords [sv]
Computer Graphics, 3D Gaussian Splatting, Rendering
National Category
Computer Sciences Computer Engineering
Identifiers
URN: urn:nbn:se:kth:diva-359582OAI: oai:DiVA.org:kth-359582DiVA, id: diva2:1934675
External cooperation
Electronic Arts (EA SEED)
Supervisors
Examiners
Available from: 2025-02-04 Created: 2025-02-04 Last updated: 2025-02-04Bibliographically approved

Open Access in DiVA

fulltext(37351 kB)288 downloads
File information
File name FULLTEXT01.pdfFile size 37351 kBChecksum SHA-512
a2e9f001081d3c0e7274caa6658753d2cbb427b58bdd6b122033b82bdb7646980a0c91527dbf43eae08f4cbbc6b4c5241bd963093b082efe5aa1385bbe27a1f5
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer SciencesComputer Engineering

Search outside of DiVA

GoogleGoogle Scholar
Total: 288 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 1877 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf