KAIST MOBILE Institute 메인으로 이동

01연구 배경 및 목표

고정밀지도의 필요성과 구축 한계

• HD Map은 차선, 정지선, 횡단보도, 도로경계를 cm 정밀도의 벡터로 표현해 자율주행의 위치 추정과 경로 계획에 필수 정보를 제공함
• 전통적 MMS 기반 구축은 방대한 데이터 수집과 전문가의 수작업 라벨링·검수에 의존해 막대한 비용과 유지보수 부담이 발생함

지상-드론 영상 융합 연구 목표

• 위성 영상은 광역 매핑에 유리하나 해상도가 낮고 3차원 형태 정보가 부족해 차선, 신호등, 표지판의 정밀 인식이 어려움
• 드론 영상은 위성 대비 높은 공간 해상도와 정밀한 3차원 정보를 제공하며 저고도 촬영으로 도심 세부 구조를 명확히 식별할 수 있음
• 본 연구는 지상·항공 벤치마크 데이터셋 구축, 정합·융합 알고리즘 개발, cm 단위 도로요소 자동 추출 및 벡터화를 목표로 함

02기술 동향 및 기존 연구 비교

딥러닝 기반 HD Map 구축 동향

• HDMapNet은 서라운드 카메라와 라이다 데이터를 조감도로 투영한 뒤 의미론적 분할과 후처리를 거쳐 벡터 형태의 요소를 생성함
• VectorMapNet은 벡터 후처리 없이 곡선 기반 폴리라인 시퀀스를 직접 예측하는 종단간 모델로 HD Map의 벡터 구조를 학습함

기존 이론의 가정과 본 연구의 차별성

• 고전적 다중 시점 기하학은 충분한 대응 특징점을 전제로 하나 전방 지상 카메라와 하향 드론 시점은 공통 특징이 부족해 신뢰도가 낮음
• 센서 융합 이론의 관측 일관성 가정 역시 동일 대상을 근본적으로 다르게 관측하는 지상-드론 문제에서는 성립하기 어려움
• 본 연구는 자동화된 3D 벡터화 고정밀지도 구축을 위해 지상 및 항공 뷰를 통합하는 최초의 시도로 자리매김함

03지상-드론 융합 방법론

가변 관점을 위한 적응형 3D 정렬

• 단일 매핑 임무에서 고도 50~400피트, 시야각 0~45도의 영상이 생성되어 고정 호모그래피 변환으로는 치명적 오정렬이 발생함
• 드론 고도와 시야각, 카메라 내부행렬, 상대 회전·이동을 조건으로 하는 변환 함수를 정의하여 비행 중 지속적인 변화에 적응함

관점 인식 융합과 시간적 일관성

• 지상 경로는 BEVFormer 스타일 구조로 미세 질감을, 드론 경로는 다중 스케일 FPN으로 고도별 1~5cm/픽셀 해상도 변화를 처리함
• 교차 어텐션 기반 융합 모듈이 가림 여부에 따라 지상과 드론 특징의 가중치를 동적으로 학습하며 신뢰도 추정으로 관점 불일치를 처리함
• ConvGRU 기반 특징 전파, 다중 프레임 합의, 칼만 필터 기반 스무딩으로 시퀀스 전반의 기하학적 안정성을 확보함

04실험 설계 및 검증 계획

데이터 획득과 평가지표 설계

• CARLA 확장을 통해 5개 도시 환경에서 500개의 동기화된 지상-드론 시퀀스 쌍을 생성하고 가려짐을 0~80%로 통제함
• AirSim으로 최대 5m/s의 바람 드리프트와 센서 노이즈를 포함한 비행 시나리오를 구성하며 실제 데이터는 고도 10~150m에서 수집함
• 정렬 성능은 평균 재투영 오차와 3D 위치 오차, 관점 견고성 점수로, 탐지 성능은 클래스별 F1과 가려짐 견고성 지표로 평가함

가설 검증 체계와 비교 기준

• 적응형 정렬의 견고성, 가려짐 상황에서의 융합 효과, 실제 도시 환경에서의 정확도 향상을 세 가지 핵심 가설로 설정함
• 지상 단독의 HDMapNet·VectorMapNet, 항공 융합의 SatelliteFusion·NaiveFusion, 자체 변형 모델 세 범주와 비교함

실험 데이터 획득 조건 및 규모

구분	시뮬레이션 데이터	실제 데이터
플랫폼	CARLA 확장, AirSim	드론 및 지상 카메라
규모	5개 도시환경 500개 시퀀스 쌍	복잡도 3단계 도시 환경
촬영 고도	50~400피트	10~150m
시야각	0~45도	0~45도
기타 조건	가려짐 0~80%, 바람 5m/s	RTK-GPS 100ms 미만 동기화

05기대효과 및 활용방안

시스템 구현과 실시간성 확보

• PyTorch 기반으로 구현하며 광도 최적화와 특징 워핑은 맞춤형 CUDA 커널로 최적화하여 실시간 성능을 확보함
• 모듈식 구조로 지상과 드론 스트림의 병렬 처리를 허용해 다중 GPU 및 임베디드 플랫폼 배포에 적합하도록 설계함

연구 기여 및 기대 파급효과

• 차량 카메라의 세밀한 디테일과 드론의 광역 공간 범위를 결합해 가려짐, 전역 맥락 부족, 강건성 제약 문제를 효과적으로 해결함
• 자율주행차의 위치 추정과 경로 계획 정확도를 향상시키고 스마트시티 인프라 유지관리를 위한 확장 가능한 실시간 매핑을 지원함