AI는 딥페이크(우연히도 AI를 사용하여 만들어 짐)를 감지하는 것부터 포커에서 승리하는 것, 합성생물학 실험에 힘을 실어주는 것에 이르기까지 지속적으로 새로운 도전을 하고 있다. 이러한 인상적인 업적은 부분적으로 시스템이 훈련된 거대한 데이터 세트에서 비롯된다. 이러한 교육은 비용과 시간이 많이 소요되며 실제로 한 가지만 잘 수행할 수 있는 AI를 생성한다.

예를 들어 AI가 강아지 사진과 고양이 사진을 구분하도록 훈련시키기 위해 개와 고양이의 라벨이 지정된 이미지를 수백만 개는 아니더라도 수천 개에 공급한다. 반면에 어린이는 개나 고양이를 한두 번만보고 어느 것이 무엇인지 기억할 수 있다. AI가 아이들처럼 더 많이 배우도록 하려면 어떻게 해야 할까?

온타리오에 있는 워털루 대학의 한 팀은 AI 훈련 방식을 바꾸는 답을 가지고 있다.

AI 교육에 일반적으로 사용되는 데이터 세트에 대한 내용은 거대할 뿐 아니라 매우 구체적이다. 개 사진은 개 사진일 수 있지 않나? 그러나 긴 꼬리를 가진 정말 작은 개는 어떨까? 그런 종류의 개는 여전히 개이지만 완전히 자란 골든 리트리버 보다 고양이처럼 보인다.

이 개념이 워털루 팀의 방법론의 기반이다. 그들은 지난달 사전 인쇄 (또는 동료 심사를 거치지 않은) 서버 arXiv에 게시된 논문에서 자신의 작업을 설명했다. 하나의 예를 사용하여 새로운 클래스의 객체를 식별하도록 AI 시스템을 가르치는 것이 "One-shot 학습"이라고 부르는 것이다. 그러나 그들은 한 단계 더 나아가 “1회 미만 학습”또는 간단히 LO-shot 학습에 집중한다.

LO-shot 학습은 카테고리 수 보다 적은 수의 예를 기반으로 다양한 카테고리를 분류하는 시스템 학습으로 구성된다. 그것은 머리를 감싸는 가장 간단한 개념이 아니므로 개와 고양이 예로 돌아가 보겠다. AI에게 개, 고양이, 캥거루를 식별하도록 가르치고 싶다고 가정해 보겠다. 각 동물에 대한 몇 가지 명확한 예없이 어떻게 그렇게 할 수 있을까?

워털루 팀은 핵심은 소프트 라벨이라고 부르는 것이다. 데이터 포인트에 특정 클래스에 속하는 것으로 레이블을 지정하는 하드 레이블과 달리 소프트 레이블은 해당 데이터 포인트와 여러 클래스 간의 관계 또는 유사성 정도를 알려준다. 개와 고양이만을 대상으로 훈련된 AI의 경우, 캥거루와 같은 세 번째 종류의 물체는 개와 같은 60%, 고양이와 같은 40%로 설명될 수 있다 (나는 알고 있다. 캥거루는 아마도 최고의 동물이 아닐 것이다. 세 번째 범주에 포함).

"소프트 라벨은 클래스보다 적은 수의 프로토 타입을 사용하여 훈련 세트를 표현하는 데 사용할 수 있으므로 일반(하드 라벨) 프로토 타입에 비해 샘플 효율성이 크게 향상된다." AI에게 캥거루는 일부 고양이와 일부 개 (둘 다 보고 잘 알고 있음)라고 말하면 캥거루를 한 번도 보지 않고도 캥거루를 식별할 수 있다.

소프트 라벨이 충분히 미묘한 경우 이론적으로 AI에게 훨씬 적은 수의 학습 예제를 기반으로 많은 범주를 식별하도록 가르칠 수 있다.

이 논문의 저자는 kNN (k-nearest neighbors)이라는 간단한 기계학습 알고리즘을 사용하여 이 아이디어를 더 깊이 탐구한다. 알고리즘은 유사한 것들이 서로 가까이 있을 가능성이 가장 높다는 가정하에 작동한다. 개 공원에 가면 개는 많지만 고양이나 캥거루는 없다. 호주 초원으로 가면 캥거루는 있지만 고양이나 개는 등등은 없다.

범주를 구별하기 위해 kNN 알고리즘을 훈련하려면 각 범주를 나타내는 특정 기능을 선택한다 (즉, 동물의 경우 무게 또는 크기를 기능으로 사용할 수 있음). 하나의 기능은 x 축에 있고 다른 하나는 y 축에 있는 알고리즘은 서로 유사한 데이터 포인트가 서로 가까이 모여 있는 그래프를 생성한다. 중앙 아래에 있는 선은 범주를 나누며, 알고리즘이 선의 어느 쪽에 새로운 데이터 포인트가 있어야 하는지 식별하는 것은 매우 간단하다.

워털루 팀은 이를 단순하게 유지하고 2D그래프에서 색상 플롯을 사용했다. 그래프의 색상과 위치를 사용하여 팀은 합성 데이터 세트와 함께 소프트 라벨을 만들었다. 보다 단순한 그래프 중 하나가 원형 차트 형태의 부드러운 레이블과 함께 아래 그림에 나와 있다.

이미지 출처: Ilia Sucholutsky & Matthias Schonlau

팀이 이러한 소프트 라벨을 기반으로 다양한 색상의 경계선을 그리는 알고리즘을 사용했을 때 소프트 라벨에 제공된 데이터 포인트 수보다 더 많은 색상으로 플롯을 분할할 수 있었다.

결과는 고무적이지만 팀은 이것이 단지 첫 번째 단계에 불과하며 이 개념에 대한 탐색이 아직 완료되지 않았음을 인정한다. kNN 알고리즘은 가장 덜 복잡한 모델 중 하나이다. LO-shot 학습이 훨씬 더 복잡한 알고리즘에 적용될 때 어떻게 될까? 또한 이를 적용하려면 더 큰 데이터 세트를 소프트 라벨로 추출해야 한다.

팀이 이미 작업중인 한 가지 아이디어는 LO-shot을 사용하여 훈련될 알고리즘에 대한 소프트 라벨을 다른 알고리즘이 생성하도록 하는 것이다. 수동으로 소프트 라벨을 디자인하는 것이 원형 차트를 다른 색상으로 분할하는 것만 큼 쉬운 일은 아니다.

작동하는 AI 시스템을 생성하는 데 필요한 교육 데이터의 양을 줄일 수 있는 LO-shot의 잠재력은 유망하다. 이 방법은 새로운 모델을 교육하는 데 필요한 비용과 시간을 줄이는 것 외에도 대규모 데이터 세트에 액세스 할 수 없는 산업, 회사 또는 개인이 AI에 더 쉽게 액세스 할 수 있도록 만들 수 있다. 이는 AI의 민주화를 위한 중요한 단계이다.

이미지 출처: Pixabay/snoopdogg