Photogrammetry는 사진을 이용해 물체나 장면의 3D 모델을 생성하는 기술이다. 이 기술은 주로 항공 촬영, 측량, 건축, 문화유산 보존 등 다양한 분야에서 활용된다.

Photogrammetry의 기본 원리는 다음과 같다.

1. 이미지 캡처: 여러 각도에서 대상 물체나 장면의 사진을 촬영한다. 이때 촬영된 이미지들은 서로 겹치도록 해야 한다. 일반적으로 60% 이상의 겹침이 필요하다.

2. 특징점 추출: 촬영된 이미지에서 특정한 특징점을 자동으로 추출한다. 이 특징점은 이미지의 고유한 패턴이나 텍스처를 기반으로 하며, 각 이미지에서 동일한 점을 인식하는 데 사용된다.

3. 정합(Alignment): 추출된 특징점을 기반으로 여러 이미지 간의 정합을 수행한다. 이 과정에서 각 이미지의 카메라 위치와 방향이 계산되며, 이를 통해 3D 공간에서의 상대적인 위치 관계가 결정된다.

4. 3D 재구성: 정합된 이미지를 바탕으로 3D 포인트 클라우드를 생성한다. 포인트 클라우드는 각각의 특징점이 3D 좌표로 변환된 데이터 집합이다. 이 포인트 클라우드는 물체의 형태와 구조를 나타낸다.

5. 메쉬 생성: 포인트 클라우드에서 삼각형 메쉬를 생성하여 표면을 모델링한다. 이 과정은 다양한 알고리즘을 통해 수행되며, 최종적으로 3D 모델이 형성된다.

6. 텍스처 매핑: 생성된 3D 메쉬에 원래 사진에서 추출한 텍스처를 적용하여 사실적인 외관을 부여한다. 이 단계에서는 각 메쉬의 면에 적절한 이미지를 매핑하여 현실감 있는 모델을 완성한다.

Photogrammetry는 정밀한 측량과 시각적 표현을 동시에 가능하게 하며, 실제 환경을 디지털로 재현하는 데 효과적인 방법이다. 이 기술은 특히 대규모 환경이나 복잡한 구조물을 모델링하는 데 유용하다.

NeRF(Neural Radiance Fields)는 3D 장면을 재구성하는 딥러닝 기반의 기술이다. 이 기술은 특히 사진과 같은 2D 이미지를 사용해 3D 공간에서의 물체의 형태와 색상을 모델링하는 데 중점을 둔다. NeRF는 주어진 카메라 위치에서 장면의 광선에 대한 색상과 밀도를 예측하여 3D 장면을 표현한다.

Instant-ngp는 NeRF의 확장된 버전으로, 성능을 극대화하고 처리 속도를 획기적으로 개선한 기술이다. Instant-ngp의 주요 원리는 다음과 같다.

1. 속도 개선: 기존 NeRF는 3D 장면을 렌더링하는 데 오랜 시간이 걸리지만, Instant-ngp는 GPU의 효율적인 사용과 최적화된 데이터 구조를 통해 렌더링 속도를 크게 향상시킨다. 이를 통해 실시간에 가까운 속도로 3D 장면을 생성할 수 있다.

2. 다층 퍼셉트론(MLP): Instant-ngp는 다층 퍼셉트론을 사용하여 입력된 카메라 위치와 방향에 따라 해당 위치에서의 색상과 밀도를 예측한다. 이 신경망은 고속으로 학습하고 예측할 수 있도록 설계되어 있다.

3. 포지션 인코딩: 이 기술에서는 입력된 3D 좌표를 고차원 공간으로 변환하기 위해 포지션 인코딩을 사용한다. 이를 통해 신경망이 더 복잡한 패턴을 학습할 수 있게 하며, 결과적으로 더 높은 품질의 이미지를 생성한다.

4. 효율적인 메모리 사용: Instant-ngp는 메모리 사용을 최적화하여 대규모 장면을 처리할 수 있도록 한다. 전통적인 NeRF는 많은 메모리를 요구하지만, Instant-ngp는 효율적인 데이터 구조를 통해 필요 메모리를 줄인다.

5. 학습 및 최적화: Instant-ngp는 기존의 NeRF보다 더 빠르게 학습할 수 있도록 설계되어, 적은 수의 이미지로도 고품질의 3D 모델을 생성할 수 있다. 이는 다양한 환경에서의 활용 가능성을 높인다.

이러한 특성 덕분에 Instant-ngp는 3D 장면 재구성에서 실시간 처리와 높은 품질을 동시에 달성할 수 있는 혁신적인 기술로 자리 잡았다.

Gaussian Splatting은 3D 장면을 재구성하는 새로운 방법으로, 특히 비정형 데이터와 복잡한 형태의 표현에서 강력한 성능을 발휘한다. 이 기술은 주로 포인트 클라우드 데이터를 활용하여 3D 모델을 생성하는 방식이다.

Gaussian Splatting의 주요 원리는 다음과 같다.

1. 포인트 클라우드 표현: Gaussian Splatting은 3D 공간에서 각 점을 Gaussian 분포로 모델링한다. 이는 각 점이 단순한 위치 정보뿐만 아니라, 크기와 형태를 포함한 더 많은 정보를 가진다는 것을 의미한다.

2. 스플래팅(Splatting) 기법: 각 Gaussian은 3D 공간에서 일정한 영역을 차지하게 되며, 이 영역은 점의 밀도와 색상을 반영한다. 이를 통해 포인트 클라우드의 각 점이 주변 환경과 부드럽게 혼합되어 시각적으로 연속적인 표면을 생성한다.

3. 렌더링 속도: Gaussian Splatting은 전통적인 메쉬 기반 모델링 방식보다 빠르게 렌더링할 수 있다. 각 Gaussian이 제공하는 정보는 GPU에서 효율적으로 처리될 수 있어 실시간 렌더링에 유리하다.

4. 고품질 재구성: Gaussian 분포를 사용함으로써 경계가 부드럽고 자연스러운 형태를 유지할 수 있다. 이는 특히 복잡한 구조나 질감이 많은 장면에서 뛰어난 결과를 제공한다.

5. 적응형 샘플링: Gaussian Splatting은 장면의 복잡도에 따라 적응적으로 샘플링을 조절한다. 이는 고해상도 영역에서 더 많은 Gaussian을 사용하고, 덜 중요한 영역에서는 적은 수의 Gaussian을 사용하여 효율성을 높인다.

이러한 방식 덕분에 Gaussian Splatting은 3D 장면의 표현과 렌더링에서 혁신적인 접근 방식을 제공하며, 다양한 응용 분야에서 그 가능성을 보여주고 있다.