← Robotics
Robotics · 2026년 9월 – 2026년 12월 · 진행 중
Prebot
카페 주문 준비를 위한 학습 기반 로봇 조작
개요
Prebot은 가천대학교 P-커리어캐치Ⅱ 프로그램을 통해 졸업작품으로 개발하고 있는 프로젝트입니다. 주문 정보, 시각 관찰, 학습 기반 로봇 조작을 결합하여 컵, 뚜껑, 빨대, 티슈 등의 준비를 자동화하는 것을 목표로 합니다.
OpenMANIPULATOR-X 로봇팔을 활용하고, Pick-and-Place 작업을 위한 모방학습, 강화학습, VLA 모델을 탐색합니다. 초기 검증은 미니어처 카페 작업환경에서 수행하며, 작업 성공률과 물품 배치 변화에 대한 강건성을 중심으로 평가할 계획입니다.
문제
주문별 소모품 준비는 카페 운영에서 반복적으로 발생하는 업무로, 주문이 집중되는 시간에는 음료 제조와 고객 응대에 사용할 시간을 줄일 수 있습니다. 이를 자동화하려면 서로 다른 주문 조건과 작업환경의 변화에 대응할 수 있어야 합니다.
고정 위치를 전제로 한 동작은 물품 위치가 달라졌을 때 그대로 활용하기 어렵습니다. 이에 현재의 시각 정보와 작업 지시를 바탕으로 다양한 물품 배치에서 Pick-and-Place를 수행하는 정책을 탐색하고 있습니다.
담당 역할
- 로봇 조작과 VLA를 맡아 시각 정보와 작업 지시를 로봇의 실제 동작으로 연결할 계획입니다.
- 로봇 조작 영역에서는 OMX 제어 환경 구축, 시연 데이터 기반 모방학습, 이후 정책 개선을 위한 강화학습 적용을 추진합니다.
- VLA 영역에서는 SmolVLA와 Diffusion 기반 행동 생성을 탐색하고, 물체 위치와 작업대 배치 변화에 따른 성능을 평가할 계획입니다.
접근 방식
- 로봇 제어 환경을 구축하고 기본 Pick-and-Place 작업의 시연 데이터를 수집하는 단계부터 시작합니다.
- 모방학습으로 초기 조작 정책을 학습한 뒤, 강화학습을 적용하여 작업 성공률과 환경 변화에 대한 적응 성능을 개선하는 방향을 탐색합니다.
- 병행하여 SmolVLA로 카메라 관찰과 작업 지시를 로봇 행동에 연결하고, Diffusion 기반 행동 생성 기법의 적용을 검토합니다.
- 시뮬레이션과 실제 로봇에서 물품 배치를 변경하며 성능을 비교할 계획입니다.
시스템 구성
- 구상 중인 흐름: 주문 지시 → LLM 작업 해석 → SmolVLA 조작 추론 → OMX 집기·놓기 제어
- 주문 인터페이스: 주문 조건을 입력받고 작업 진행 상태와 결과를 표시합니다.
- 시각 입력: 고정형 카메라로 작업대의 물품과 배치를 관찰합니다.
- 로봇학습: 조작 정책과 VLA 모델로 필요한 물품을 선택하고 배치하는 행동을 결정합니다.
- 실행: 로봇 제어와 경로 계획 시스템을 통해 OMX 로봇팔의 Pick-and-Place 작업을 수행합니다.
- 배포·실험 관리: 모델 최적화와 배포, 학습 실험 관리, 작업 로그 수집을 위한 구성요소를 개발합니다.
사용 기술
현재 진행 중
- 현재는 OMX 조작 환경 구축과 기본 학습 정책 개발에 집중하고 있습니다.
- 로봇 조작과 VLA를 함께 살펴보고 있습니다. 모방학습을 시작으로 강화학습과 Diffusion 기반 행동 생성도 검토하고 있습니다.