← Robotics
Robotics · 2026년 7월 – 2026년 8월
AI Pet-Sitter Robot Service
반려동물의 위험 행동을 감지하고 먼저 대응하는 돌봄 로봇
개요
AI 루키 대회를 위해 개발한 프로젝트로, YOLOE 기반 인식과 EXAONE 위험 추론을 이동 로봇, 로봇팔, 음성 경고에 연결했습니다. 대표 시나리오는 반려동물이 포도, 초콜릿, 마늘에 접근하는 상황입니다.
반려동물과 위험물 사이의 거리와 접근 상태를 고려하여 관찰 유지, 음성 경고, 접근 차단, 위험물 회수 중 필요한 대응을 결정합니다. 모바일 앱에서는 보호자에게 위험 알림과 로봇의 대응 정보를 제공합니다. 프로젝트는 대회 본선에 진출했습니다.
문제
보호자가 외출한 동안 반려동물의 일상적인 탐색 행동이 위험물이나 유해 식품과의 접촉으로 이어질 수 있습니다. 모니터링 카메라로 상황을 확인할 수는 있지만, 적시에 개입하려면 보호자가 위험을 발견하고 원격으로 대응해야 합니다.
객체 검출만으로 개입 여부를 결정하기에도 한계가 있습니다. 반려동물과 위험물이 같은 화면에 있다는 이유만으로 항상 대응할 필요는 없기 때문입니다. 이에 공간 관계와 접근 행동을 함께 고려하여 일반적인 탐색과 대응이 필요한 상황을 구분하도록 했습니다.
담당 역할
- 시각 인식 결과를 JSON으로 받아 위험 여부와 대응 행동을 판단하는 EXAONE 추론 모듈을 구현했습니다.
- 구조화된 모델 출력을 로봇 행동 명령과 음성 경고 요청에 연결했습니다.
- NC VARCO Custom TTS를 연동하여 보호자 음성 기반 경고를 구현하고, 사전에 정의한 경고 문구와 음성 캐시를 활용했습니다.
- 음성 처리를 비동기로 구성하여 TTS 지연이나 실패가 긴급한 로봇 개입을 지연시키지 않도록 했습니다.
접근 방식
- YOLOE 인식 결과와 RGB-D 거리 정보를 결합하고, 객체 종류·검출 신뢰도·상대 위치·접근 상태를 JSON으로 정리했습니다.
- EXAONE은 이를 바탕으로 위험 판단과 권장 대응을 구조화된 형태로 출력합니다.
- 반려동물의 탐색 행동과 그 행동이 초래할 수 있는 위험 결과 사이의 간극을 ‘Intent Gap’으로 정의했습니다.
- 거리, 방향, 접근 상태의 지속시간을 고려하여 관찰, 경고, 접근 차단, 위험물 회수 중 대응을 선택합니다.
- 음성 경고는 사전에 정의된 문구에서 선택하고 NC VARCO Custom TTS로 생성합니다.
시스템 구성
- 인식: YOLOE와 RGB-D 카메라로 객체 인식 결과와 거리 정보를 확보합니다.
- 위험 추론: EXAONE이 구조화된 관찰 정보를 입력받아 위험 판단과 판단 근거를 출력합니다.
- 행동 정책: 정책 계층에서 판단 결과를 관찰, 경고, 접근 차단, 위험물 회수 명령으로 변환합니다.
- 물리적 대응: TurtleBot이 이동 기반 개입을 수행하고, OpenMANIPULATOR-X 로봇팔이 위험물 회수를 담당합니다.
- 음성·보호자 인터페이스: NC VARCO로 보호자 음성 경고를 제공하고, 모바일 앱에 위험 알림과 대응 정보를 표시합니다.
사용 기술
결과
- AI 루키 대회 본선에 진출했습니다.