글쓴이: ––Dylan Matthews, @dylanmatt

많은 사람들과 마찬가지로 2021년에 내 결심 중 하나는 더 많은 책을 읽는 것이었고, 매일 할 일없이 갇혀 있는 지루함이 그 목표를 달성하는 것을 놀라울 정도로 쉽게 만들었다. 이 뉴스레터를 읽는 사람이라면 누구나 쉽게 이해할 수 있다. Brian Christian의 정렬 문제이다.

AI 연구의 세계에 푹 빠져 있다면 바로 제목을 알아볼 수 있다. AI의 "정렬 문제"는 AI 에이전트의 목표를 확인하는 것이다. 예를 들어 범죄 용의자가 재판 전에 구금되는지, 누가 대출 제안을 받는지, 어떤 구직자가 관리자를 고용하여 재검토를 받는지를 결정하는 데 사용되는 소프트웨어와 같이 – 인간의 목표와 일치한다. 이와 같은 AI 에이전트가 결정을 내릴 때 우리는 그들이 우리 인간이 가진 규범을 위반하지 않았는지 확인하고 싶다 (예: 인종이나 성별에 따라 차별하지 않음).

무수한 예를 통해 Brian Christian의 세부 사항처럼 해결하기 쉬운 문제가 아니다. AI 프로그램의 "보상 기능"(프로그램이 실제로 작동하거나 최대화하려고 하는 것)은 종종 잘못 지정이다.

책 초반에 Christian은 2016년에 컴퓨터 게임을 하기 위해 범용 AI를 개발하고 있던 AI 연구원 Dario Amodei의 이야기를 들려준다. AI는 보트 경주에 갇혀 있었다. 경주에서 이기려고 하는 대신 배를 영원히 빙빙 돌고 있었다. 문제는 단순한 것으로 판명되었다. AI는 레이스에서 승리하기 보다는 "포인트"를 최대화하도록 최적화되었다. 연구원들은 포인트가 적절한 근사치라고 생각했지만 대신 AI는 파워 업을 영원히 얻을 수 있는 물의 일부를 발견하고 레이스를 시도하지 않고 포인트를 쌓아가는 데 머물렀다.

이는 AI 정렬 연구의 핵심을 보여준다. 인간은 AI 에이전트에 대해 원하는 보상 기능을 잘 표현하지 못한다. 우리는 "실제로 이 보트가 경주를 끝내기를 원한다"와 같은 중요한 정보를 항상 생략한다.

이 책의 가장 흥미로운 부분 중 일부는 그 자체로 정렬과는 아무런 관련이 없다. 대신에 딥 러닝, 강화학습, 모방학습 및 기타 방법이 AI 성능을 향상시키는 데 이룩한 극적인 진전과 놀라운 유사점을 기록한다. 그들이 작동하는 방식과 인간의 뇌가 작동하는 방식 사이에서 발견했다.

이 책은 인공 신경망이 뇌의 문자 그대로 신경망이 어떻게 기능하는지 예측하는 데 믿을 수 없을 정도로 좋은 순간을 계속 식별한다. 특히 드러나는 도파민에 대한 전체 섹션이 있다.

효과적인 이타주의 자로 식별하고 AI 위험을 가장 신경 쓰는 원인 중 하나로 간주하는 EA 친구(예: 동료 Kelsey Piper)가 많은 사람으로서, 나는 이 책이 더 많은 정보를 얻을 수 있는 침대 시트로 매우 유용하다는 것을 알게 되었다. 이 책은 방정식에 대해서는 가볍고 명확한 예에 대해서는 무겁다. 평신도들에게 인간이 만들고 있는 지능형 기계의 안전에 대해 더 신경을 쓰도록 설득하기 위해 평신도에게 권장하는 책이다.

내 유일한 불만은 현장이 충분히 빠르게 움직여서 최신 개발을 이해하는 정기 업데이트를 사용할 수 있다는 것이다. 우리는 Future Perfect에서 그 중 일부를 시도하지만 머신 러닝의 속도로 이를 수행하려면 많이 성장해야 한다!