https://github.com/JisuHann/chess-teacher https://youtu.be/p1ADruJ302M?si=5PpSGc41PIVYHab4

<aside> 💡

Task & Goal

</aside>

• 목표: 실제 환경에서 체스를 가르칠 수 있는 Real-world 로봇 교사 시스템 구축

1. VLM을 통한 추론 체계 구축
   • Coach-level reasoning: 현재 게임 상황을 전략적으로 분석하고 “B4가 더 나은 공격 선택이었다”와 같은 전술·전략 조언 제공
   • Player-level reasoning: 학습자의 부족한 능력(예: 킹 식별 어려움)을 파악하고, 이를 개선하기 위한 시나리오·체스 말 배치 계획 생성
2. Skill-based manipulation: 고수준 reasoning을 실제 행동으로 연결하여 체스 말을 직접 다룸

<aside> 💡

Pipeline & Method

</aside>

1. VLM을 통한 Chess reasoning
   • Role-conditioned Reasoning (Coach / Player)
2. Isaac-Gr00t를 통한 low-level action manipulation
   • 1. Meta Quest3 Teleoperation을 통한 Dataset 수집
   • 2. 모델 학습을 위한 dataset post-processing
3. Real-world inference를 위한 Inference strategy
   • 1. Data & Training (학습 데이터 최적화)
   • 2. Inference strategy (실환경 추론 전략)

<aside> 💡

Real-world Execution Demo

</aside>

1. Single task train result (Move knight from D4 to F6)
   • Demonstration video (Success rate 80 %)
   • Zero-shot video (Move knight from {New position} to F6)
   • Failure recovery behavior
2. Multi-task train result (Move knight from D4 to F6/C5)
   • Demonstration video (Success rate 100 %)
   • Zero-shot video (Move knight from D4 to {New position})
3. Multi-object, Multi-task train result (Move “chess object” from ?? to ??)
   • Demonstration video

<aside> 💡

Tips & know-how

</aside>

데이터셋 수집 관련

1. Scene의 semantic diversity를 최대한을 줄여야 한다.
   • e.g., Camera view, Image semantics (e.g., light/background color/object location)