[3DGS 구현] 2. Kaggle에서 데이터셋 다운받기

 

 

 

 

↓ ↓ 이전 글 ↓ ↓

[PyTorch] 3DGS 구현 1 - 환경 세팅

 

↓ ↓ 3DGS 논문 ↓ ↓

[CV 논문] 3D Gaussian Splatting for Real-Time Radiance Field Rendering

 

 

3DGS의 기본적인 동작을 다시 생각해보면, COLMAP데이터를 받아 이 점을 기본으로 가우시안들을 배치하고 파라미터 학습을 통해 모양을 바꿔가며 최종 물체와 비슷하게 만드는 방식이다.

 

COLMAP은 SfM의 원리를 사용한 소프트웨어로 같은 물체를 다양한 각도에서 찍은 여러 2D이미지를 받아 특징점의 정보,카메라 정보 등을 제공한다.

 

실습을 할 때 2D이미지 여러개를 가지고 매번 직접 COLMAP을 돌리기에는 비효율적이라는 생각이 든다.

그래서 COLMAP의 결과물인 bin파일이 포함된 데이터셋을 올려놓는 사람들이 있다.

편안한 3DGS 실습을 위해 이 데이터셋을 이용해보자.

---

먼저 다운을 받아야한다.

Kaggle: Your Machine Learning and Data Science Community

Kaggle이라는 위 사이트에 회원가입을 해준다.

 

로그인 후 원하는 데이터셋을 찾아서 다운로드 버튼을 누르면 된다.

나의 경우 아래 데이터셋에서 360_v2를 다운받았다.

용량이 11GB가 넘기 때문에 시간이 조금 필요하다.

https://www.kaggle.com/datasets/thnhdg/testing/data?select=360_v2

Mip-NeRF 360

 

이 데이터셋의 구조를 알아보자.

 

bicycle, bonsai, counter, garden등 여러 대상을 찍어놓은 데이터셋들이 모여있다.

이중 bicycle폴더를 자세히 보자.

내부에는 images로 시작하는 폴더가 4개 있고, sparse/0/ 폴더가 있다.

images로 시작하는 폴더는 기본적으로 같은 폴더들인데, 해상도에서 차이가 있다.

images가 원본, 뒤에 2/4/8의 숫자가 커질 수록 저화질의 사진 데이터이다.

정확히는 1/숫자 만큼 축소된 이미지이다.

학습 시 gpu메모리 점유율을 줄이고 빠른 학습이 가능하다는 점에서 장점이 있다.

 

sparse/0/ 폴더

이곳이 우리가 찾는 bn파일들이 있는 곳이다.

 

cameras.bin: 렌즈의 왜곡, 초점 거리 등 Intrinsic 정보.

images.bin: 카메라가 세계 어디에 있는지($R, T$)에 대한 Extrinsic 정보.

points3D.bin: 가우시안의 시작점이 될 Sparse Point Cloud.

 

poses_bounds.npy

이 파일은 우리와 관련 없는 파일이므로 넘어가자.

3DGS가 아닌 다른 모델에 필요한 파일이다.

---

이 bin파일은 vscode등의 에디터로 볼 수 없는 바이너리 파일이다.

하지만 내용을 보고 싶다면 extension에서 Hex Editor를 다운 받으면 내용을 볼 수 있다.

 

볼 수 있게 되었지만 이해하기는 여전히 힘들다.

다음 글에서는 각 bin파일의 구조를 알아보고 파싱하여 숨어있는 정보를 알아내보자.