AI의 대부 중 한 명인 AI 전설 Yann LeCun
인공지능 분야는 빠르게 움직인다. 2012년 ImageNet 대회에서 딥러닝의 현대 AI시대가 시작된 지 불과 8년이 지났다. 그 이후로 현장에서의 진전은 숨이 멎을 듯이 끊임없이 진행되었다.
이 맹렬한 속도는 점점 더 가속화되고 있다. 지금부터 5년 후 AI분야는 오늘날과는 매우 다르게 보일 것이다. 현재 최첨단으로 간주되는 방법은 구식이 될 것이다. 오늘날 초기단계이거나 변방에 있던 것들이 주류가 될 것이다.
차세대 인공지능은 어떤 모습일까? 어떤 새로운 AI접근방식이 기술과 비즈니스에서 현재 상상할 수없는 가능성을 열어 줄까? 앞으로 몇 년 동안 분야와 사회를 재정의 할 AI 기술발전 3가지 새로운 영역을 집중 조명한다.
1. 비 지도학습
오늘날 AI 세계에서 지배적인 패러다임은 지도학습이다. 지도학습에서 AI모델은 사전 정의된 카테고리에 따라 인간이 큐레이팅하고 라벨을 지정한 데이터 세트에서 학습한다. "지도학습"이라는 용어는 인간 "감독자"가 데이터를 미리 준비한다는 사실에서 비롯된다.
지도학습이 지난 10년 동안 자율주행차량에서 음성비서에 이르기까지 AI에서 괄목할만한 발전을 주도했지만 심각한 한계가 있다.
수천 또는 수백만 개의 데이터 포인트에 수동으로 레이블을 지정하는 프로세스는 엄청나게 비싸고 번거로울 수 있다. 기계학습모델이 데이터를 수집하기 전에 사람이 직접 데이터에 레이블을 지정해야한다는 사실은 AI의 주요 병목현상이되었다.
더 깊은 수준에서지도 학습은 좁고 제한된 형태의 학습을 나타낸다. 감독된 알고리즘은 주어진 데이터 세트에서 모든 잠재정보, 관계 및 의미를 탐색하고 흡수 할 수있는 대신 연구자가 미리 식별한 개념과 범주에만 집중한다.
대조적으로, 비 지도학습은 알고리즘이 사람이 제공한 레이블이나 지침없이 데이터에서 학습하는 AI 접근방식이다. 많은 AI리더들은 비 지도학습을 인공지능의 다음 위대한 개척자로보고 있다. A 전설 Yann LeCun의 말 :“차세대 AI혁명은 감독되지 않을 것이다.” UC Berkeley 교수 Jitenda Malik은 이를 더욱 다채롭게 표현했다. "라벨은 기계 학습연구원의 아편이다."
비 지도학습은 어떻게 작동하나? 시스템은 세계의 다른 부분을 기반으로 세계의 일부에 대해 학습한다. 예를 들어, 텍스트의 단어 또는 비디오의 사람과 같은 엔티티 간의 행동, 패턴 및 관계를 관찰함으로써 시스템은 환경에 대한 전반적인 이해를 부트 스트랩한다. 일부 연구자들은 이를 "다른 모든 것으로부터 모든 것을 예측"하는 문구로 요약한다.
비 지도학습은 지도학습의 "훈련 바퀴"가 필요없는 개방형 탐색 및 추론을 통해 인간이 세상에 대해 배우는 방식을 더 가깝게 반영한다. 근본적인 장점 중 하나는 레이블이없는 데이터가 항상 세상에서 레이블이 지정된 데이터보다 훨씬 더 많다는 것이다 레이블이 없는 데이터는 훨씬 쉽게 얻을 수 있다.
"자기 지도학습"이라는 밀접한 관련 용어를 선호하는 LeCun은 다음과 같이 말한다. "자기지도 학습에서 입력의 일부는 입력의 나머지 부분을 예측하기위한 감독 신호로 사용된다… 세상의 구조는 [다른 AI 패러다임]에서 보다 자율학습을 통해 학습 할 수 있다. 데이터가 무제한이고 각 사례에서 제공하는 피드백의 양이 엄청 나기 때문이다. "
비 지도학습은 이미 자연어 처리에 혁신적인 영향을 미치고 있다. NLP는 최근 약 3년 전에 Google에서 시작된 Transformer로 알려진 새로운 비 지도학습 아키텍처 덕분에 놀라운 발전을 이루었다.
비 지도학습을 AI의 다른 영역에 적용하려는 노력은 아직 초기 단계이지만 빠른 진전이 이루어지고 있다. 한 가지 예를 들어, Helm.ai라는 신생기업은 자율주행차 업계의 리더로 도약하기 위해 비 지도학습을 사용하려고한다.
많은 연구자들은 비 지도학습을 인간수준의 AI개발의 핵심으로보고 있다. LeCun에 따르면 비 지도학습을 마스터하는 것은 "향후 몇 년 동안 ML 및 AI분야에서 가장 큰 도전"이다.
2. 연합 학습
디지털 시대의 가장 중요한 과제 중 하나는 데이터 프라이버시이다. 데이터는 현대 인공지능의 생명선이기 때문에 데이터 프라이버시 문제는 AI의 궤적에서 종종 제한적이기는 하지만 큰 역할을한다.
개인정보보호 인공지능 (AI 모델이 개인 정보를 침해하지 않고 데이터 세트에서 학습 할 수있는 방법)은 점점 더 중요한 추구가되고 있다. 개인정보보호 AI에 대한 가장 유망한 접근 방식은 아마도 연합학습 일 것이다.
연합학습의 개념은 2017년 초 Google 연구원에 의해 처음 공식화되었다. 지난 1년 동안 연합학습에 대한 관심이 폭발적으로 증가했다. 2020년 첫 6개월 동안 1,000개가 넘는 연합학습 연구논문이 출간 되었으나 2018년에는 단 180개에 불과했었다.
오늘날 기계학습 모델을 구축하는 표준 접근방식은 모든 학습데이터를 한곳 (종종 클라우드)에 수집한 다음 데이터에 대해 모델을 학습시키는 것이다. 그러나 이러한 접근 방식은 개인정보보호 및 보안상의 이유로 중앙데이터저장소로 이동할 수없는 전 세계 데이터의 대부분에 대해 실행이 가능하지 않다. 이것은 전통적인 AI기술에 제한이 없다.
통합학습은 AI에 대한 기존의 접근방식을 뒤집어 이 문제를 해결한다. 통합학습은 모델 학습을 위해 하나의 통합 데이터 세트를 요구하는 대신 데이터를 그대로두고 에지의 수많은 장치와 서버에 분산시킨다. 대신, 많은 버전의 모델이 훈련 데이터와 함께 각 장치에 하나씩 전송되고 각 데이터 하위 집합에 대해 로컬로 훈련된다. 학습데이터 자체가 아닌 결과 모델 매개 변수가 클라우드로 다시 전송된다. 이러한 "미니 모델"이 모두 집계되면 결과는 전체 데이터 세트에 대해 한 번에 학습된 것처럼 작동하는 하나의 전체모델이된다.
원래의 연합학습 사용 사례는 수십억 개의 모바일 장치에 분산된 개인데이터에 대해 AI모델을 훈련하는 것이었다. 연구원들은 다음과 같이 요약했다. “최신 모바일 장치는 머신러닝 모델에 적합한 풍부한 데이터에 액세스 할 수 있다…. 그러나이 풍부한 데이터는 종종 개인정보보호에 민감하거나 대량이거나 둘 다 이므로 데이터센터에 대한 로깅을 방해 할 수 있다. 우리는 모바일 장치에 배포된 교육데이터를 남겨두고 로컬에서 계산된 업데이트를 집계하여 공유모델을 학습하는 대안을 옹호한다."
최근에는 의료가 연합학습의 적용을위한 유망한 분야로 부상했다. 이유를 쉽게 알 수 있다. 한편으로는 의료분야에서 가치있는 AI사용 사례가 엄청나게 많다. 반면에 의료 데이터, 특히 환자의 개인식별정보는 매우 민감하다. HIPAA와 같은 많은 규정은 사용과 이동을 제한한다. 연합학습을 통해 연구원은 민감한 건강기록을 출처에서 이동하거나 개인정보 침해에 노출하지 않고도 생명을 구하는 의료 AI도구를 개발할 수 있다.
의료분야에서 연합학습을 추구하기 위해 많은 신생기업이 등장했다. 가장 잘 알려진 곳은 파리에 본사를 둔 Owkin이다. 초기단계의 플레이어로는 Lynx.MD, Ferrum Health 및 Secure AI Labs가 있다.
의료 외에도 연합학습은 금융서비스에서 자율주행차량, 정부 사용 사례에서 모든 종류의 소비자제품에 이르기까지 민감한 데이터를 포함하는 모든 AI애플리케이션의 개발에서 중요한 역할을 할 수 있다. 차등 프라이버시 및 동형 암호화와 같은 다른 프라이버시 보호기술과 결합된 연합학습은 데이터 프라이버시라는 까다로운 문제를 완화하면서 AI의 방대한 잠재력을 잠금해제하는 열쇠를 제공 할 수 있다.
오늘날 전 세계적으로 제정되는 데이터 개인정보보호법의 물결 (GDPR 및 CCPA로 시작하여 곧 많은 유사한 법률이 제공될 예정 임)은 이러한 개인정보보호 기술의 필요성을 가속화 할 것이다. 연합학습이 앞으로 몇 년 동안 AI기술 스택의 중요한 부분이 될 것이다.
3. 병렬 언어처리 GPT-3
우리는 자연어 처리의 황금기에 들어 섰다. OpenAI가 지금까지 구축 한 가장 강력한 언어모델 인 GPT-3의 출시는 올 여름 기술 세계를 사로 잡았다. NLP의 새로운 표준을 설정했다. 인상적인 시를 작성하고, 작동하는 코드를 생성하고, 사려깊은 비즈니스 메모를 작성하고, 자체에 대한 기사를 작성하는 등의 작업을 할 수 있다.
GPT-3은 유사하게 설계된 NLP 모델 (Google의 BERT, OpenAI의 GPT-2, Facebook의 RoBERTa 등) 중 최신 가장 큰 모델로 NLP에서 가능한 것을 재정의한다.
언어AI의 혁명의 기반이되는 핵심 기술혁신은 Transformer이다. 트랜스포머는 2017년 획기적인 연구논문에서 소개되었다. 이전에는 최첨단 NLP 방법이 모두 반복 신경망 (예 : LSTM)을 기반으로했다. 정의에 따라 반복 신경망은 데이터를 순차적으로, 즉 단어가 나타나는 순서대로 한 번에 한 단어 씩 처리한다.
Transformers의 위대한 혁신은 언어 처리를 병렬화하는 것이다. 주어진 텍스트 본문의 모든 토큰은 순서가 아닌 동시에 분석된다. 이 병렬화를 지원하기 위해 Transformers는주의라는 AI메커니즘에 크게 의존한다. 주의력을 사용하면 모델이 단어가 얼마나 떨어져 있는지에 관계없이 단어 간의 관계를 고려하고 "주의를 기울이는"데 가장 중요한 구절의 단어와 구를 결정할 수 있다.
병렬화가 그토록 가치있는 이유는 무엇인가? Transformers를 RNN보다 훨씬 더 계산적으로 효율적으로 만들기 때문에 훨씬 더 큰 데이터 세트에서 학습 할 수 있다. GPT-3은 약 5천억 단어로 훈련되었으며 1,750억 개의 매개 변수로 구성되어 존재하는 모든 RNN을 축소한다.
트랜스포머는 GPT-3과 같은 모델의 성공 덕분에 현재까지 거의 독점적으로 NLP와 관련이있었다. 하지만 이번 달에 Transformers를 컴퓨터비전에 성공적으로 적용한 획기적인 새 논문이 발표되었다. 많은 AI연구원들은 이 작업이 컴퓨터 비전의 새로운 시대를 예고 할 수 있다고 믿는다. 저명한 ML연구원 Oriol Vinyals가 간단히 말했듯이, "내 생각은 이제 작별인사이다. 모든 것이 달라진다."
Google 및 Facebook과 같은 선도적인 AI기업이 Transformer기반 모델을 생산에 투입하기 시작했지만 대부분의 조직은 이 기술을 생산하고 상용화하는 초기단계에 있다. OpenAI는 GPT-3를 API를 통해 상업적으로 액세스 할 수 있도록 계획을 발표했으며, 이를 통해 애플리케이션을 구축하는 스타트업 생태계 전체를 지원할 것이다.
AI가 비 지도학습, 연합학습, 언어병렬화 등을 시작하였고, 이런 트랜스포머가 자연어를 시작으로 앞으로 몇 년 동안 완전히 새로운 세대의 AI기능의 기반이 될 것으로 기대한다. 지난 10년 동안 인공지능 분야에서 흥미진진한 경험이 있었지만, 앞으로 10년의 전주곡 일뿐이다. Forbes.com