전체 글 160

[CV 논문] R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 기존 시뮬레이터들은 외부 에셋 구축 비용이 크고, 실제 데이터에 적용했을 때 차이가 있다는 문제가 있다. 이 논문의 모델은 외부의 완전한 3D에셋을 가져올 때 그림자/조명효과를 1step 디퓨전을 사용해 실시간 생성을 한다.반사율, 광원 위치 방향 등을 추정해야하는 PBR방식을 우회하고, L..

[CV 논문] RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 자율주행과 관련해서는 위험한 상황의 시나리오에 어떻게 대응할지가 중요하다.3DGS를 사용해 주행장면을 재구성하고 객체를 삽입하는 등의 연구가 나오지만, 아직 시뮬레이션과 현실의 갭이 너무 크다. 이 모델은 객체를 삽입할 때 스티커 붙인 듯한 부자연스러움을 없애고 자연스럽게 추가하는 기능을 가..

[CV 논문] Real2Sim: A Physics-driven and Editable Gaussian Splatting Framework for Autonomous Driving Scenes

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 이전에 이 블로그에서 리뷰했었던 HUGSIM과 비슷한 시뮬레이터인 Real2Sim에 대한 논문이다. Real2Sim은 주행 데이터를 받아 물리법칙이 적용되는 자유로운 편집가능한 시뮬레이션으로 만들어준다.기본적으로 4DGS를 사용하고, 각 객체에 질량, 마찰력, 반발계수를 부여한다.물리법칙에 따..

[CV 논문] DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 이번 논문은 새로운 뷰(Novel View)에서의 렌더링 퀄리티가 낮은 문제를 해결하는 논문이다.또 다른 객체를 추가할 때도 그림자 등 빛 효과에서 어색할 경우가 많다. 이 논문은 기존의 multi step 이미지 디퓨전 모델의 느린 속도를 해결하는, 1step 모델을 제안한다. 디퓨전으로..

[CV 논문] CtRL-Sim: Reactive and Controllable Driving Agents with Offline Reinforcement Learning

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 자율주행과 관련된 시뮬레이션을 할 때, 다른 객체(에이전트)들의 움직임은 데이터셋 그대로 replay만 되는 경우가 많다.이 객체들은 자율주행 알고리즘의 동작에 반응하지 않는다. 이걸 해결하는 방법들은 여러가지가 제시되었지만 몇가지 문제가 있었다.그래서 이 논문에서는 RL을 사용해 에이전..

HUGSIM 직접 돌려보기

이번에 환경구축을 해볼 것은 HUGSIM이라는 프레임워크이다.간단히 얘기하면 자율주행 시뮬레이션을 할 수 있는 모델이라고 생각하면 된다. 3DGS 또는 이를 사용한 자율주행 관련 모델/프레임워크를 세팅할 때 환경설정이 제일 골치아플 것이다.역시나 이 HUGSIM도 쉽지 않다. 이 HUGSIM에 대한 논문 리뷰는 아래 글에 있다. [CV 논문] HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 이번 논문은 최근 내 관심사와 매우 유사한 논문이다.3DGS를 사용하여1. 실시간 렌더링april2901.tis..

WeatherGS: 3D Scene Reconstruction in Adverse Weather Conditions via Gaussian Splatting

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 최근 자율주행 관련 글들을 많이 올렸었는데, 이 논문은 자율주행은 아니다.기존의 3DGS에서 카메라 흔들림, 조명 등의 처리를 해서 3D장면 재구성 퀄리티를 높인 논문들은 좀 있었지만,악천후의 상황에서 재구성하는 논문이 없어 이 프레임워크(모델)을 만들었다고 소개하며 논문이 시작된다. 관련..

[CV 논문] DrivingGaussian++: Towards Realistic Reconstruction and Editable Simulation for Surrounding Dynamic Driving Scenes

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com1. 서론자율주행에서는 시뮬레이션이 중요하다.다양하고 일어나기 힘든 일들을 학습할 수 있기 때문이다. 기존 연구들은 하나의 작업에만 특화되어있거나, 연산량이 너무 많기 때문에 이를 해결하고자이 논문에서는 Driving Gaussian++라는 프레임워크를 제안한다. 텍스처, 날씨 , 객체를 모두 ..

[CV 논문] AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 기존의 3DGS를 사용한 자율주행 장면 재구성에서는 몇가지 문제가 있었다.기본적으로 정적인 장면을 가정하고,카메라 뷰가 제한되어있으며,배경들에 대한 제약이 없었다. 논문에서는 이런 이유들 때문에 상당한 퀄리티 감소가 있었다고 얘기한다. 3DGS계열 자율주행 복원에서 PVG, Driving Ga..

[CV 논문] SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다. 읽은 논문들 정리[목차]지속적으로 업데이트 중, 번호는 모델발전 순서가 아닌 읽은 순서에 따라 정렬.1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전Segmentation3D 처리2. Natural Language Processapril2901.tistory.com 이번 논문은 SplatAD라고 부르는 논문이다.새로운 시점에서의 이미지만 만들던 이전 논문들과 달리 이 논문은 라이다 데이터도 만든다.이전 연구들을 보면 NeRF기반 모델에서는 라이다 데이터까지 만드는 것들이 있었다.대표적으로 이 블로그의 글로도 썼던 UniSim이 있다.더 단순화된 네트워크와..