Budapest University of Technology and EconomicsFaculty of Civil Engineering - Since 1782

A kutatás célja a neurális hálózatokon alapuló térrekonstrukciós modellek – mint például a Gauss-folt (Gaussian splat) és a neurális sugárzási mező (Neural Radiance Field, NeRF) – alkalmazhatóságának vizsgálata, valamint ezekre építve új vagy újszerű modellek kidolgozása nagy pontosságú ortofotók előállítására. A téma középpontjában a hagyományos fotogrammetriai eljárások és a modern neurális reprezentációk összehasonlítása áll, különös tekintettel a geometriai és radiometriai pontosságra. A kutatás továbbá foglalkozik ezen modellek számítási igényének csökkentésével, kihasználva az ortofotók és az ortografikus leképezés sajátosságait.
A légi- vagy drónfelvételekből előállított ortofotók a gyakorlati földmérési és távérzékelési feladatok fontos végtermékei, mivel lehetővé teszik a torzulásmentes, közvetlen méréseket. A jelenleg alkalmazott módszerekkel készített ortofotók azonban különböző torzulásokat tartalmazhatnak, valamint gyakran megfigyelhetők rajtuk „varrási” határok. Ennek egyik oka, hogy ezek az eljárások jellemzően a meglévő képek textúráját vetítik rá egy felszín modellre, új textúra előállítására nem képesek. Ezzel szemben a neurális alapú modellek – például a Gauss-foltok és a NeRF-ek – képesek térben folytonos, valósághű reprezentációk létrehozására, még hiányos képfedettség esetén is, ezáltal implicit módon „interpolálva” a hiányzó információt. A kutatás célja ennek megfelelően olyan ortorektifikált képek előállítása, amelyek vizuálisan valósághűek, az eredeti felvételek minőségét megközelítik, ugyanakkor geometriailag is helyesek.
A vizsgált modellek egyik jelentős hátránya a magas számítási igény és a dedikált grafikus hardver szükségessége. Ez különösen problémás a légi és drónos fotogrammetriában, ahol a feldolgozandó adathalmazok nagy felbontásúak és nagy elemszámúak. A szakirodalomban szereplő módszerek elsősorban általános 3D térrekonstrukcióra készültek, így nem veszik figyelembe az ortoprojekció speciális kényszereit. Feltételezhető, hogy ezen kényszerek beépítésével a modell struktúrája egyszerűsíthető, a paraméterek száma és ezáltal a számítási igény csökkenthető. További vizsgálati irány a különböző inicializálási stratégiák elemzése: míg a jelenlegi megközelítések jellemzően ritka pontfelhőre támaszkodnak, kérdés, hogy a fotogrammetriai feldolgozás során előállított sűrű pontfelhő miként használható fel a futási idő és a hardverigény csökkentésére. Emellett fontos kutatási kérdés, hogy a radiance field alapú modellek milyen hatékonysággal kezelik a kitakarásokat és a változó megvilágítási viszonyokat.
A kutatás megvalósításához megfelelő tesztadathalmaz összeállítása és rendszerezése is szükséges. Bár a vizsgált modellek alapvetően nem igényelnek klasszikus értelemben vett tanítóhalmazt, egy egységes adatkészlet megléte elengedhetetlen az objektív összehasonlításhoz és az algoritmusfejlesztéshez. További kutatási irányként vizsgálható a NeRF-alapú modellek kiterjesztése tanulható paraméterekkel, amelyek optimalizálása ezen adathalmazokon végezhető el.
Összefoglaló jelleggel alábbiakban összefoglalom a kidolgozandó feladatrészeket:

• neurális térreprezentációs módszerek áttekintése és fotogrammetriai értelmezése
• hagyományos és neurális ortofotó-előállítás összehasonlítása
• ortofotó-specifikus neurális modellek fejlesztése
• számítási igény csökkentése ortoprojekciós kényszerekkel
• inicializálási stratégiák vizsgálata (ritka/sűrű pontfelhő)
• kitakarások és megvilágítás kezelése
• tesztadatok és kiértékelési módszertan kialakítása
• minőségi és skálázhatósági elemzés
• hibrid módszerek kidolgozása

***

The aim of the research is to investigate the applicability of neural network-based scene reconstruction models—such as Gaussian splatting and Neural Radiance Fields (NeRF)—and to develop new or novel approaches based on these methods for the generation of high-accuracy orthophotos. The focus of the study is the comparison of traditional photogrammetric workflows and modern neural representations, with particular emphasis on geometric and radiometric accuracy. Furthermore, the research addresses the reduction of computational requirements by exploiting the specific properties of orthophotos and orthographic projection.
Orthophotos derived from aerial or drone imagery are essential end products in surveying and remote sensing applications, as they enable direct, distortion-free measurements. However, orthophotos generated using current methods often exhibit geometric distortions and visible seamlines. One of the main reasons for this is that these approaches typically project existing image textures onto a surface model, without the ability to generate new texture information. In contrast, neural approaches—such as Gaussian splatting and NeRF—are capable of producing spatially continuous and photorealistic representations, even in cases of incomplete image coverage, thereby implicitly interpolating missing information. Accordingly, the objective of the research is to generate orthorectified images that are both visually realistic and geometrically accurate, closely matching the quality of the original imagery.
A major limitation of the investigated models is their high computational cost and reliance on dedicated GPU hardware. This is particularly challenging in aerial and drone photogrammetry, where datasets are typically large in both resolution and number of images. Furthermore, existing approaches in the literature are primarily designed for general 3D scene reconstruction and do not explicitly consider the constraints of orthographic projection. It is hypothesized that incorporating these constraints can simplify the model structure, reduce the number of parameters, and consequently decrease computational demands. Another research direction is the analysis of different initialization strategies: while current methods typically rely on sparse point clouds, it remains an open question how dense point clouds obtained during photogrammetric processing can be utilized to reduce runtime and hardware requirements. In addition, an important research question is how effectively radiance field-based models can handle occlusions and varying illumination conditions.
The research also requires the creation and organization of suitable test datasets. Although the investigated models do not necessarily require traditional training datasets, the availability of a standardized dataset is essential for objective comparison and algorithm development. A further research direction is the extension of NeRF-based models with learnable parameters, which can be optimized using these datasets.
Main tasks:
• review of neural scene representation methods and their photogrammetric interpretation
• comparison of traditional and neural orthophoto generation approaches
• development of orthophoto-specific neural models
• reduction of computational cost using orthographic constraints
• investigation of initialization strategies (sparse vs. dense point clouds)
• handling of occlusions and varying illumination conditions
• creation of test datasets and evaluation methodology
• quality assessment and scalability analysis
• development of hybrid approaches combining classical and neural methods