농업 환경 자율주행을 위한 VLM 기반 UWB-비전 융합 고신뢰 상태추정 및 주행제어 기술 개발
협력기업 : ㈜더로보틱스
연구책임자 / 실무 리드
최경환 / 김지윤 연구원 (연구 지원 :
Mouri 박사)
01연구의 개요
최종 목표
- ㈜더로보틱스의 UWB 기반 농업로봇 측위 기술과 KAIST의 상태추정·제어 역량을 결합하여 VLM 기반 UWB-비전 융합 상태추정 및 불확실성 인지 주행제어 요소기술을 개발
세부 목표
- UWB·비전·IMU/odometry를 활용한 농업로봇 주행 상태표현 정의 및 VLM 기반 과수 환경 맥락 인식·센서 신뢰도 추론 모듈 개발
- 상태추정 불확실성을 반영하는 row-following / waypoint 주행제어 구조 설계 및 더로보틱스 UWB 시스템·로그 replay 환경에서 pilot 검증
연구 범위
- 대규모 제품화나 완전한 상용 자율주행 시스템 구현을 목표로 하지 않으며 핵심 요소기술 구현과 pilot 수준 검증에 집중
02연구 배경 및 필요성
UWB 측위의 강점과 과수 환경의 제약
- UWB는 anchor와 tag 간 통신으로 GNSS 음영 환경에서도 절대 위치 단서를 제공해 노지·반구조화 환경에서 GPS·LiDAR 중심 접근의 한계를 보완
- 다만 과수 환경은 수관·지지대·경사지·금속 구조물·먼지·직사광·반복 열구조로 UWB 측정값과 비전 정보가 동시에 불안정해질 수 있음
- UWB는 NLOS·다중경로로 순간적 큰 오차가 발생하고 비전은 반복 구조와 조도 변화에 취약하여, 위치 좌표만으로는 안정적 주행 판단이 어려움
VLM의 역할
- VLM을 경로를 직접 생성하는 black-box planner로 쓰기보다, 작물 열 내부·row end·회차 공간·주행 가능 영역 같은 장면 맥락을 구조화해 상태추정 및 제어에 연결하는 접근이 필요
03핵심 연구 내용
| WP | 주요 내용 및 산출물 |
|---|---|
| WP1 맥락 인식 및 상태표현 정의 | UWB anchor/tag 측위값·신호 품질 정보 정리, 카메라 영상 기반 장면 맥락 정의, vision foundation model 기반 scene context 추출 및 structured output 설계 → 제어용 상태표현 schema, pilot dataset |
| WP2 융합 상태추정 및 불확실성 모델링 | UWB·비전/VIO·IMU를 결합한 경량 상태추정기 구현, NLOS·outlier 상황의 measurement confidence 추정, covariance·confidence score·failure flag 출력 → 상태추정 prototype, UWB 단독 대비 성능 비교 |
| WP3 불확실성 인지 주행계획 및 제어 | row following·waypoint tracking 제어 문제 정의, 불확실성·주행 corridor·row-relative pose를 포함하는 제어 입력 설계, MPC·경로추종 prototype 검토, 속도 저감·재관측·정지 등 fallback 설계 |
04추진 일정 및 협력 체계
| 기간 | 주요 내용 | 마일스톤 |
|---|---|---|
| 1분기 | 요구사항 정리, UWB 데이터 인터페이스 확인, VLM 기반 scene context 정의 | 상태표현 초안 |
| 2분기 | UWB-비전 융합 상태추정 prototype, 센서 신뢰도 추론 모듈 개발 | 추정·신뢰도 prototype |
| 3분기 | 불확실성 인지 주행계획·제어 구조 설계, simulation / log replay 검증 | 제어 prototype 및 비교 |
| 4분기 | 더로보틱스 데이터·로봇 연동 pilot 검증, 후속과제 제안 패키지 정리 | pilot demo 및 제안 자료 |
협력기관 역할
- ㈜더로보틱스는 UWB 장비 정보·측위값·신호 품질 및 실패 사례, 농업로봇 주행 로그, pilot 검증용 이동체와 테스트 환경, 상용화 관점의 제약조건 피드백을 제공
05기대효과
기술적 성과
- 농업 환경 자율주행에서 localization·인지 불확실성을 제어 입력으로 활용하는 주행계획 및 제어 요소기술 확보
- VLM을 black-box planner가 아니라 장면 맥락 및 센서 신뢰도 추론 모듈로 활용하는 실용적 구조 제시
산학협력 기반
- 더로보틱스 UWB 측위 기술을 제어 연구실 역량과 연결하는 산학협력 기반을 마련하고 후속 정부과제로 확장 가능한 기술 패키지 확보