미래는 이미 와 있다. 단지 고르게 분배되지 않았을 뿐이다: William Gibson  

우리는 기술적 특이점에 끌리고 있다. Louis Rosenberg, Ray Kurzweil, Patrick Winston과 같은 미래학자들은 '수퍼 지능'(2030-2045년 사이)의 기간을 예측했다. 그러나 이러한 일정이 현실적인가? 그리고 어떤 접근 방식(지도, 반지도 또는 비지도 학습)이 우리를 거기에 이르게 할까?

Landing AI의 창립자이자 CEO인 Andrew Ng는 스마트한 크기의 "데이터 중심" AI를 맹세하지만 Meta의 부사장 겸 수석 AI 과학자인 Yann LeCun은 "혁명은 감독되지 않을 것"이라고 생각한다. 대신 그는 자기 지도 학습을 사용하여 상식을 가진 AI 시스템을 구축할 것을 제안하여 인간 수준의 지능에 한 걸음 더 다가갈 수 있다.

데이터

지도 학습은 레이블이 지정된 데이터 세트를 사용하여 입력을 원하는 출력에 매핑하는 방법을 모델에 가르친다. 알고리즘은 손실 함수를 통해 정확도를 측정하여 오류가 최소화될 때까지 조정한다. 지도 학습은 현재 사기 탐지, 판매 예측 및 재고 최적화에 응용 프로그램과 함께 가장 널리 사용되는 머신러닝 접근 방식이다.

최근 O'Reilly 연구에 따르면 응답자의 82%는 회사가 비지도 또는 반 지도 학습보다 지도 학습을 선호한다고 말했다. Gartner에 따르면 지도 학습은 2022년에도 계속해서 가장 인기 있는 머신러닝 유형이 될 것이다.

“지난 10년은 딥 러닝으로 도약했다. 10년은 데이터 중심 AI가 된다.”라고 Andrew Ng가 말했다. 딥 러닝 네트워크는 지난 10년 동안 엄청난 발전을 이루었다. 그는 신경망 아키텍처를 고정된 상태로 유지하면서 데이터 세트를 개선하는 것이 앞으로의 길이라고 믿는다.

편향을 깨다

편향되거나 중복된 데이터는 AI 시스템의 성능을 저해하는 또 다른 문제이다. Yann LeCun에 따르면 지도 학습은 경계가 잘 정의된 영역에서 잘 작동한다. 배포 중에 표시되는 입력 유형은 교육 중에 사용되는 입력 유형과 크게 다르지 않다. 그러나 깨끗하고 편향되지 않은 레이블이 지정된 데이터 세트를 대량으로 구축하는 것은 쉽지 않다.

Yann LeCun은 데이터 문제를 해결하기 위해 자기 지도 학습을 권장한다. SSL은 작업 독립적인 방식으로 입력의 좋은 표현을 학습하도록 시스템을 훈련한다. 레이블이 지정되지 않은 데이터를 사용하여 대규모 훈련 세트에서 표현을 학습한다. 그런 다음 레이블이 지정된 데이터의 일부를 사용하여 감독 작업에서 좋은 성능을 얻는다. 학습하는 데 레이블이 지정된 데이터가 거의 필요하지 않으며 시스템은 훈련 샘플과 다른 입력을 처리할 수 있다. SSL은 또한 데이터의 편향에 대한 시스템의 민감도를 줄인다.

Andrew에 따르면 편향된 데이터는 편향된 시스템으로 이어진다. 데이터 중심 AI는 데이터의 하위 집합을 엔지니어링할 수 있는 기능을 제공한다. 성능이 데이터의 하위 집합에 편향되어 있지만 대부분의 데이터 집합에 대해 작동하는 경우 전체 신경망 아키텍처를 변경하여 해당 하위 집합의 성능을 향상시키는 것은 역효과이다. 그러나 데이터의 하위 집합을 엔지니어링할 수 있다면 목표 방식으로 문제를 해결할 수 있다.

당신이 그것을 만들 때까지 그것을 위조

하지만 먼저 데이터가 충분하지 않다면 어떻게 해야 할까? Andrew에 따르면 시스템을 훈련하는 데 항상 거대한 데이터 세트가 필요한 것은 아니다. 신경망이 학습해야 하는 내용을 이해하려면 신중하게 설계된 50개의 예제가 충분할 것이다. 즉, 빅데이터에서 좋은 데이터로 초점을 옮겨야 한다.

Gartner는 AI 시스템을 교육하는 데 사용되는 데이터의 60%가 합성 데이터일 것이라고 예측한다. NVIDIA는 신경망 훈련을 위한 강력한 합성 데이터 생성 엔진인 Omniverse Replicator를 출시했다.

합성 데이터는 데이터 중심 AI에서 중추적인 역할을 한다. Andrew NG는 합성 데이터의 사용은 학습 알고리즘을 위한 데이터 세트를 늘리기 위한 전 처리 단계를 넘어선다고 말했다. 그러나 합성 데이터의 적용이 논란의 여지가 있기 때문에 데이터 증대, 라벨링 일관성 개선 또는 더 많은 데이터 수집과 같은 방법도 의미가 있다.

지도 학습은 훈련 데이터 세트가 제대로 검증되지 않은 경우 재앙적인 결과를 초래할 수 있다. 예를 들어 ImageNet의 이전 버전에는 알몸의 어린이, 포르노 배우, 대학 파티 등의 사진이 포함되어 있었다. 이 사진은 모두 동의 없이 인터넷에서 스크랩했다. 한편, 8천만 개의 작은 이미지에는 N 단어로 표시된 거의 2,000개의 이미지와 "강간 용의자" 및 "아동 성추행범"과 같은 레이블을 포함하여 다양한 인종차별, 성차별 및 기타 모욕적인 주석이 포함되어 있다.

SSL을 집중 조명한다.

Yann LeCun은 AI의 진정한 진보는 기계가 세상이 어떻게 작동하는지(인간과 동물처럼) 배우게 하는 방법을 찾는 데 달려 있다고 말했다. 그러한 세계 모델을 통해 우리는 인식하고, 해석하고, 추론하고, 계획하고, 행동할 수 있다. 그렇다면 기계는 어떻게 세계 모델을 학습할 수 있을까? 그는 물었다. 여기에서 고려해야 할 두 가지 관련 질문은 다음과 같다.

첫째, 세계 모델을 훈련하기 위해 어떤 학습 패러다임을 사용해야 할까? Yann LeCun의 대답은 SSL이다. 그는 예를 들어 그것을 인용했다. 기계에게 비디오를 보고 비디오에서 다음에 일어날 일을 배우도록 지시한다. 결과적으로 기계는 인간과 동물이 학습하는 방식과 같이 세상이 작동하는 방식에 대한 방대한 양의 배경 지식을 습득할 수 있다.

둘째, 세계 모델은 어떤 아키텍처를 사용해야 할까? Yann LeCun은 H-JEPA(Hierarchical Joint Embedding Predictive Architecture)라는 새로운 심층 매크로 아키텍처를 제안했다. 예를 들어, JEPA는 비디오 클립의 미래 프레임을 예측하는 대신 비디오 클립의 추상적 표현과 클립의 미래를 학습하여 후자가 전자에 대한 이해를 기반으로 쉽게 예측할 수 있도록 한다. 이것은 비대조적 SSL 방법, 특히 VICReg(Variance, Invariance, Covariance Regularization)로 알려진 방법의 최신 기술을 사용하여 달성할 수 있다고 그는 말했다.

실제 AI 시스템에서 우리는 다양한 작업을 위해 레이블이 지정되지 않은 대량의 데이터에 대해 SSL로 사전 훈련된 더 큰 아키텍처에 기대고 있다. Meta AI는 수백 개의 언어를 처리할 수 있는 언어 번역 시스템(단일 신경망)을 갖추고 있다. Meta는 또한 주석이 달린 데이터는 고사하고 매우 적은 데이터로 언어를 처리할 수 있는 다국어 음성 인식 시스템을 가지고 있다고 Yann LeCun은 말했다.