강화학습
On-policy와 off-policy 학습을 결합해 정책을 개선하는 방법을 연구하고 있습니다.
- 두 학습 방식의 장점을 함께 활용할 수 있는 조건을 살펴보고 있습니다.
- 관련 논문을 검토하며 연구 주제를 구체화하고, 로봇학습에 적용할 가능성을 살펴보고 있습니다.
Research
로봇학습과 자율주행을 중심으로 강화학습, VLA, 실패 인지 기반 경로 계획을 살펴봅니다.
연구 분야
Robot Learning
강화학습과 VLA를 중심으로 로봇이 행동을 학습하는 방법을 살펴봅니다.
VLA
로봇이 시각 정보와 언어 지시를 바탕으로 상황에 맞는 행동을 수행하는 방법에 관심이 있습니다.
- AI 펫시터 프로젝트에서는 YOLOE 인식 결과를 EXAONE 4.5에 전달하여 위험 상황을 판단하고, 그 결과를 로봇 제어 명령과 음성 경고로 연결했습니다.
- 현재 Prebot 프로젝트에서 SmolVLA와 학습 기반 로봇 조작을 살펴보고 있으며, 로봇팔을 로봇학습 방법의 적용과 검증을 위한 실험 도구로 활용하고 있습니다.
Autonomous Navigation
이동 로봇의 주행 실패를 감지하고 경유점을 다시 계획하는 방법을 연구합니다.
실패 인지 기반 자율주행
이동 로봇이 장애물에 막혀 진행하지 못할 때, 실패를 감지하고 경로를 다시 계획하는 방법을 연구했습니다.
- 로봇의 진행 상태와 복구 동작을 확인하여 필요한 시점에만 LLM이 새로운 waypoint를 생성하도록 하는 실패 인지 기반 LLM-DWA 시스템을 개발했습니다.
- 정적 U자형 장애물과 이동 장애물이 있는 미로에서 목표 도달 성능을 평가하고, 경로를 다시 계획하는 시점이 주행 결과에 미치는 영향을 분석했습니다.
경로 계획
전체 경로 계획과 지역 제어를 연결하여 로봇이 장애물 주변에서 이동을 이어가는 방법에 관심이 있습니다.
- LLM-DWA 연구에서는 LLM이 생성한 waypoint를 중간 목표로 사용하고, NavFn으로 경로를 계획하며 DWA 기반 지역 제어로 이동하도록 구성했습니다.
- 장애물 때문에 기존 경유점을 따라가기 어려워지면, 주행을 불필요하게 끊지 않으면서 경로를 다시 계획하는 방법을 살펴봤습니다.