광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

비엔나 대학의 Philip Walther 박사가 이끄는 국제 협력은 양자컴퓨팅 및 강화학습이 더 빠른 AI를 만들기 위해 힘을 합치고 있다. 이것은 양자컴퓨팅을 추가하면 AI 에이전트의 실제 학습 프로세스 속도를 높일 수 있다는 것을 보여주는 첫 번째 테스트 중 하나이다.

https://singularityhub.com/2021/03/16/quantum-computing-and-reinforcement-learning-are-joining-forces-to-make-faster-ai/

JM Kim | 기사입력 2021/03/18 [00:00]

비엔나 대학의 Philip Walther 박사가 이끄는 국제 협력은 양자컴퓨팅 및 강화학습이 더 빠른 AI를 만들기 위해 힘을 합치고 있다. 이것은 양자컴퓨팅을 추가하면 AI 에이전트의 실제 학습 프로세스 속도를 높일 수 있다는 것을 보여주는 첫 번째 테스트 중 하나이다.

https://singularityhub.com/2021/03/16/quantum-computing-and-reinforcement-learning-are-joining-forces-to-make-faster-ai/

JM Kim | 입력 : 2021/03/18 [00:00]

 

심층 강화 학습은 슈퍼 스타의 순간을 보내고 있다.

 

더 스마트한 로봇을 지원한다. 인간 신경망 시뮬레이션. 의료 진단을 받고 의사를 부추 기고 Go Atari에서 인류 최고의 게이머를 분쇄한다. 인간에게 자연스럽게 나오는 유연하고 빠른 사고를 달성하는 것과는 거리가 먼 이 강력한 머신러닝 아이디어는 더 나은 사고 기계의 선구자로서 멈출 수 없는 것처럼 보인다.

 

막대한 장애물이 있는 것을 제외하고는 실행하는 데 시간이 오래 걸린다. 이러한 알고리즘의 개념은 시행착오를 기반으로 하기 때문에 강화 학습 AI "에이전트"는 올바른 결정에 대한 보상을 받은 후에만 ​​학습한다. 복잡한 문제의 경우 AI 에이전트가 솔루션 학습을 시도하고 실패하는 데 걸리는 시간이 금방 유지될 수 없게 된다.

 

하지만 한 번에 여러 솔루션을 시도할 수 있다면 어떨까?

 

이번 주 비엔나 대학의 Philip Walther 박사가 이끄는 국제 협력은 강화 학습의 "고전적인"개념을 채택하여 양자 스핀을 제공했다. 그들은 양자 및 평범한 클래식 컴퓨팅에 모두 의존하는 하이브리드 AI를 설계했으며, 양자 기이함 덕분에 문제를 해결하는 여러 가지 방법을 동시에 선별할 수 있음을 보여주었다.

 

그 결과 비 양자 지원 동료보다 60% 이상 빠르게 학습한 강화 학습 AI가 탄생했다. 이것은 양자컴퓨팅을 추가하면 AI 에이전트의 실제 학습 프로세스 속도를 높일 수 있다는 것을 보여주는 첫 번째 테스트 중 하나라고 저자는 설명했다.

 

연구에서 "장난감 문제"로만 도전했지만, 일단 확장된 하이브리드 AI는 효율적인 양자 인터넷 구축과 같은 실제 문제에 영향을 미칠 수 있다. 이 설정은미래의 대규모 양자 통신 네트워크에 쉽게 통합될 수있을 것이라고 저자는 썼다.

 

 

 

병목 현상

 

시행착오를 통해 배우는 것은 직관적으로 우리 뇌에 전달된다. 지도 없이 새로운 복잡한 캠프장을 탐색하려 한다고 가정해 보겠다. 목표는 공동 화장실에서 캠프장으로 돌아가는 것이다. 막 다른 골목과 혼란스러운 루프가 많다. 우리는 도로의 모든 지점에서 좌회전 또는 우회전을 결정하여 문제를 해결한다. 하나는 우리를 목표에 더 가깝게 만들 것이다. 다른 하나는 30분 동안 원을 그리며 걷는다. 결국 우리의 뇌 화학은 올바른 결정에 대한 보상을 제공하므로 점차 올바른 경로를 배웁니다. (궁금하다면그렇다, 실화이다.)

 

강화 학습 AI 에이전트는 유사한 시행 착오 방식으로 작동한다. 문제가 더 복잡해짐에 따라 각 시행 횟수와 시간도 급증한다.

 

"적당히 현실적인 환경에서도 주어진 상황에 합리적으로 대응하는 데 너무 오래 걸릴 수 있다."라고 오스트리아 인스브루크 대학의 연구 저자인 Hans Briegel 박사 설명했으며 이전에 양자 역학을 사용하여 AI 의사 결정 속도를 높이기 위한 노력을 주도했다.

 

"응답을 위한 특정 시간만 허용하는 압력이 있는 경우 에이전트는 상황에 대처하고 전혀 학습하지 못할 수 있다"고 그는 썼다.

 

많은 시도가 강화 학습 속도를 높이려고 시도했다. AI 에이전트에게 단기 "메모리"를 제공한다. 뇌와 더 닮은 뉴로모픽 컴퓨팅을 활용한다. 2014 Briegel과 동료들은 일종의 '양자 두뇌'가 학습 후 AI 에이전트의 의사 결정 프로세스를 추진하는 데 도움이 될 수 있음을 보여주었다. 그러나 학습 과정 자체의 속도를 높이는 것은 최선의 시도를 피했다.

 

 

 

하이브리드 AI

 

새로운 연구는 이전에는 견딜 수 없었던 경정맥에 대해 곧바로 진행되었다.

 

팀의 핵심 통찰력은 양자컴퓨팅과 클래식 컴퓨팅이라는 두 가지 장점을 모두 활용하는 것이었다. 양자 역학을 사용하여 전체 강화 학습 시스템을 구축하는 대신 더 실용적인 것으로 입증될 수 있는 하이브리드 접근 방식으로 전환했다. 여기에서 AI 에이전트는 새로운 접근 방식, 즉 시행 착오의 "시행"을 시도할 때 양자 이상을 사용한다. 그런 다음 시스템은 배턴을 클래식 컴퓨터로 전달하여 성능에 따라 AI에 보상을 제공하거나 그렇지 않다.

 

양자“시험”과정의 핵심은 중첩이라는 특이한 점이다. 우리의 컴퓨터는 0 또는 1의 두 가지 상태만 나타낼 수 있는 전자에 의해 구동된다. 양자 역학은 광자(빛의 입자)가 동시에 0 1이 될 수 있다는 점에서 "쪽으로 기울일"확률이 약간 다르다.

 

이 비 확약적 기이함은 양자컴퓨팅을 매우 강력하게 만드는 요소의 일부이다. 새로운 캠프장을 탐색하는 강화 학습 예를 들어보고 전 세계에서 우리와 AI는 교차로에서 좌회전 또는 우회전을 결정해야한다. 그러나 양자 설정에서 AI (어떤 의미에서) 동시에 왼쪽과 오른쪽으로 돌 수 있다. 따라서 홈베이스로 돌아가는 올바른 경로를 찾을 때 양자 시스템은 여러 경로를 동시에 탐색할 수 있어 기존의 연속적인 추적 및 오류보다 훨씬 빠르다.

 

"결과적으로 중첩된 환경을 탐색할 수 있는 에이전트는 기존의 에이전트보다 훨씬 빠르게 학습할 수 있다." Briegel은 말했다.

 

모든 이론이 아니다. 그들의 아이디어를 테스트하기 위해 팀은 나노 광자 프로세서라고하는 프로그래밍 가능한 칩으로 전환했다. CPU와 같은 컴퓨터 칩이라고 생각하면 전기가 아니라 광자인 빛의 입자를 처리한다. 이 빛으로 구동되는 칩은 오랜 시간 동안 제작되었다. 예를 들어 2017년에 MIT의 팀은 딥 러닝을 강화하기 위해 완전한 광학 신경망을 광학 칩에 구축했다.

 

칩이 그다지 이국적인 것은 아니다. 나노 포토닉 프로세서는 안경과 같은 역할을 하는데, 이를 통해 통과하는 빛을 변환하는 복잡한 계산을 수행할 수 있다. 안경 케이스에서는 사람들이 더 잘 볼 수 있다. 광 기반 컴퓨터 칩의 경우 계산이 가능하다. 전기 케이블을 사용하는 대신 칩은 "웨이브 가이드"를 사용하여 광자를 셔틀하고 상호 작용을 기반으로 계산을 수행한다.

 

새 하드웨어의 "오류"또는 "보상"부분은 기존 컴퓨터에서 비롯된다. 나노 광자 프로세서는 기존의 컴퓨터에 연결되며, 후자는 양자 회로에 피드백을 제공한다. , 솔루션에 대한 보상 여부이다. 팀은 이 설정을 통해 실시간으로 학습 속도 향상을 보다 객관적으로 판단할 수 있다고 설명한다.

 

이러한 방식으로 하이브리드 강화 학습 에이전트는 양자컴퓨팅과 고전 컴퓨팅을 번갈아 가며 흔들리는 "다중"땅에서 아이디어를 시험하면서 접지된 고전 물리학 "정상성"에 대한 피드백을 얻는다.

 

 

 

양자 부스트

 

10,000개의 AI 에이전트와 165건의 실험에서 얻은 실제 실험 데이터를 사용한 시뮬레이션에서 하이브리드 접근 방식은 더 복잡한 문제에 도전했을 때 분명한 다리를 보여주었다.

 

핵심 단어는 "복잡함"이다. 팀은 AI 에이전트가 어쨌든 해결책을 알아낼 가능성이 높다면 (간단한 문제에 대해) 고전 컴퓨팅이 꽤 잘 작동한다는 것을 발견했다. 양자의 이점은 작업이 더 복잡해지거나 어려워질 때 꽃을 피워 양자 역학이 중첩 근육을 완전히 구부릴 수 있게 한다. 이러한 문제의 경우 하이브리드 AI는 기존의 강화 학습에 비해 솔루션 학습 속도가 63% 빨라져 학습 노력이 270개에서 100개로 감소했다.

 

이제 과학자들이 강화 학습 속도에 대한 양자적 향상을 보여주었으므로 차세대 컴퓨팅을 위한 경쟁은 더욱 빛을 발한다. 장거리 광 기반 통신에 필요한 포토닉스 하드웨어는 신호 품질을 향상시키면서 빠르게 축소되고 있다. 저자들은 부분 양자 설정은 원활하게 실행되는 인터넷에서 흔히 볼 수 있는 "빈번한 검색이 필요한 문제 (: 네트워크 라우팅 문제)에 특히 도움이 될 수 있다."고 썼다. 퀀텀 부스트를 통해 강화 학습은 현재 가능한 것보다 훨씬 더 복잡한 문제 (실제 세계의 문제)를 해결할 수 있다.

 

“우리는 이제 양자 인공지능의 가능성을 이해하기 시작했다.”고 수석 저자인 Walther는 말했다.

 

 
양자컴퓨팅, 강화학습 관련기사목록
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
최신기사