인간의 피드백을 통한 AI 훈련

운전을 배우기 시작하면 강사가 모든 움직임에 대한 즉각적인 팁을 제공한다. 심지어 핸들을 잡고 "브레이크!"라고 소리치며 안전을 유지할 수도 있다. 이러한 직접적인 교육은 시간이 지남에 따라 운전 기술을 향상시킨다. 그러나 인공지능(AI)에게 운전이나 작업 수행을 가르치는 것은 다르다. AI는 일반적으로 운전 코치로부터 받는 실시간 조언이 아닌 방대한 양의 데이터에서 학습한다.

이제 듀크 대학교와 육군 연구소의 연구원들이 새로운 AI 교육 방법인 GUIDE를 만들었다. GUIDE는 실시간 피드백을 통해 AI가 인간처럼 학습하도록 돕는다. 그들은 밴쿠버에서 열리는 신경 정보 처리 시스템 컨퍼런스(NeurIPS 2024)에서 GUIDE를 선보일 예정이다. 듀크 대학교의 교수인 보위안 첸은 AI가 종종 적은 정보에 기반한 빠른 결정이 필요한 작업에 어려움을 겪는다고 설명한다. GUIDE는 방대한 데이터 세트 대신 지속적인 인간의 피드백을 사용하여 이를 바꾼다.

빠른 인간 지원 AI 교육

GUDE에서 인간은 AI가 하는 일을 지켜보고 운전 코치처럼 자세한 지침을 제공한다. 한 연구에서 그들은 GUIDE를 사용하여 AI에게 숨바꼭질을 가르쳤다. 여기에서 인간 트레이너는 장애물이 있는 경기장에서 녹색 플레이어를 찾도록 AI가 제어하는 ​​빨간색 플레이어를 안내한다. 인간은 단순히 좋거나 나쁘다고 말하는 것이 아니라 척도를 사용하여 피드백을 제공하여 더 정확한 안내를 제공한다.

특별한 훈련을 받지 않은 50명을 대상으로 한 이 연구에서는 10분 분량의 피드백만으로도 AI 성능을 30%까지 높일 수 있음을 보여주었다. 인간 코칭 후 AI는 시뮬레이션 코치로부터 계속 학습할 수 있었으며, 인간의 안내가 간단하면서도 효과적일 수 있음을 보여주었다. 첸은 코치가 해당 업무에 가장 뛰어나지 않더라도 많은 스포츠 코치처럼 여전히 잘 가르칠 수 있다고 지적한다.

연구원들은 빠른 생각이나 공간 이해와 같은 사람들의 다양한 기술이 AI를 얼마나 잘 안내할 수 있는지에 영향을 미친다는 것을 발견했다. 이 발견은 인간과 AI를 모두 더 잘 훈련할 수 있는 새로운 방법을 열어준다.

GUIDE는 AI를 더 적응력 있고 직관적으로 만들어 제한된 정보로도 잘 작동할 수 있으므로 사물이 빠르게 변하는 실제 상황에서 AI를 더 유용하게 만들 수 있다.