1990년 여름, 3대의 트럭이 2개의 미 해군 기지, 나리타 공항, 황궁 등 도쿄와 그 주변의 여러 장소에 노란색 액체를 뿌렸다. 공격자들은 그들의 종교적 이상에 따라 질서가 잡힌 새로운 사회의 부상을 위한 공간을 만들고 문명의 붕괴를 일으키는 것을 목표로 하는 일본 컬트인 옴진리교(Aum Shinrikyo)라는 그룹에 속해 있었다. 5년 후 옴 진리교는 도쿄 지하철에서 사린 가스 공격을 감행하여 13명을 죽이고 수천 명을 다치게 함으로써 악명을 얻었다.

 

옴진리교는 인간에게 알려진 가장 독성이 강한 생물학적 물질 중 하나인 보툴리눔 독소를 함유하기 위해 1990년 여름에 분산된 노란색 액체를 의도했다. 그러나 그해 여름 공격으로 아무도 죽지 않았다. 실패의 한 가지 가능한 요인은 옴진리교가 중요한 지식이 부족하다는 것이다. 즉, 클로스트리디움 보툴리눔 박테리아를 퍼뜨리는 것과 그것이 생산하는 매우 치명적인 보툴리눔 독소를 퍼뜨리는 것 사이의 차이이다. 옴진리교가 독소 생성 형태의 박테리아를 획득했는지 여부는 불분명하며 옴진리교의 공격이 실패한 다른 원인도 있다.

 

그러나 최신 인공지능 도구에 접근할 수 있었다면 옴진리교 또는 이와 유사한 악의적인 그룹은 이러한 실수를 저지르지 않았을 것이다. ChatGPT는 보툴리눔 독소 생산을 포함하여 질문에 답하고 지식을 제공하는 데 매우 능숙하다. 옴 진리교가 ChatGPT에 액세스할 수 있었다면 1990년 여름의 공격이 역사상 최악의 생물 테러 사건으로 기억될까?

 

인공지능의 발전은 과학과 건강에 긍정적인 영향을 미칠 수 있는 엄청난 잠재력을 가지고 있다. ChatGPT와 같은 도구는 사회가 작동하고 학습하는 방식을 혁신하고 있으며, 생물학에 적용된 인공지능은 10년 된 단백질 폴딩 문제를 해결하고 약물 발견을 변화시키고 있다. 그러나 인공지능이 생물 공학의 한계를 높이고 이러한 권한을 엄청난 수의 개인에게 분배하는 데 도움을 주기 때문에 옴진리교와 같은 악의적인 행위자가 잠재적으로 파괴적인 영향을 미칠 수 있는 심각한 위험이 있다. 최근 인쇄 전 논문에서 논의한 바와 같이 ChatGPT와 같은 대규모 언어 모델(LLM)과 새로운 AI 기반 생물학적 설계 도구는 생물학적 무기 및 생물 테러의 위험을 크게 증가시킬 수 있다.

 

AI 언어 모델이 생물 무기의 위협 승수인 방법

질문에 답하고 이중 용도 지식에 대해 가르치는 데 매우 능숙한 대규모 언어 모델은 특히 생물학 무기의 접근성을 높일 수 있다. MIT의 최근 실습에서 ChatGPT가 비과학자 학생들에게 4가지 잠재적 전염병 병원체에 대해 교육하는 데 단 1시간이 걸렸다. 실험실에서 이를 만드는 기술이 부족한 사람이 이를 획득할 수 있는 방법과 주문을 선별하지 않는 제공자로부터 유전 물질을 획득하여 탐지를 피하는 방법을 포함한다.

 

동시에 클로스트리디움 보툴리눔과 보툴리눔 독소의 차이에 대한 옴진리교의 지식 부족 이야기는 고립된 예가 아니다. 과거의 생물 무기 프로그램은 효과적인 생물 무기를 만드는 데 필요한 지식과 전문 지식을 갖춘 올바른 직원이 없어서 병목 현상이 자주 발생했다. 알카에다의 생물 테러 탐사는 원래 식량 생산과 관련된 미생물을 연구한 라우프 아흐메드가 주도하여 탄저균과 기타 병원균에 대해 빠르게 배우려고 노력했다. 2001년 동안 라우프(Rauf)는 자신의 과학적 자격 증명을 사용하여 탄저균 획득을 향한 진전을 이루었다. 그가 얼마나 멀리 갔는지는 공개적으로 알려지지 않았다. 그는 그해 12월에 체포되었다.

 

관련 장비에 접근할 수 있었음에도 불구하고 사담 후세인의 이라크는 탄저균 무기를 덜 강력한 액체 형태에서 훨씬 더 높고 더 예측 가능한 농도로 저장 및 방출할 수 있는 더 위험한 분말 형태로 바꾸지 않았다. 과학자들이 탄저병을 건조하고 제분하는 관련 공정에 대한 지식이 부족했기 때문일 수 있다. 그러나 챗봇이 더욱 정교해짐에 따라 악의적인 의도를 가진 개인이 해를 끼칠 수 있는 주제에 대해 기술을 향상하도록 의도치 않게 도울 수 있다.

 

그러나 AI 기반 실험실 조교로부터 얼마나 많은 것을 배울 수 있을까? 결국, 병원균이나 생물 무기를 만들려면 LLM이 제공할 수 있는 종류의 교육적 지식만 필요한 것이 아니라 실습 암묵적 지식이 필요하다. 암묵적 지식은 말로 표현할 수 없고 직접적인 경험을 통해서만 얻을 수 있는 모든 지식을 의미한다. 자전거를 타는 방법이나 피펫을 잡는 방법, 플라스크를 흔드는 방법 또는 세포를 치료하는 방법을 알아야 하는 분자 생물학 절차를 수행하는 방법을 생각해 보라. 이 암묵적 지식 장벽의 범위와 ChatGPT와 같은 LLM이 이를 낮추는 데 얼마나 많은 영향을 미칠 수 있는지 정의하기는 어렵다. 그러나 한 가지 사실은 분명해 보인다. 챗봇과 AI로 구동되는 실험실 조교가 생물학 작용제의 생성 및 수정에 더 쉽게 접근할 수 있게 한다면 더 많은 사람들이 시도할 가능성이 높다. 그리고 더 많이 시도할수록 결국 더 많은 사람이 성공할 것이다.

 

또한 ChatGPT는 언어 모델 및 관련 형태의 인공지능의 시작일 뿐이다. 이미 언어 모델은 과학자들이 실험실 로봇에게 수행할 작업을 지시할 수 있는 방식을 혁신하고 있다. 머지않아 인공지능 시스템은 실험 전략의 구상과 설계를 수행할 수 있게 될 것이다. 따라서 인공지능은 과학의 자동화 증가를 가능하게 하고 가속화하여 대규모 프로젝트를 진행하는 데 필요한 과학자의 수를 줄인다. 이것은 은밀하게 생물학 무기를 개발하는 것을 더 쉽게 만들 것이다.

생물학적 설계 도구는 생물 무기를 단순화할 수 있다.

 

대규모 언어 모델은 결국 생물학적 설계 기능의 한계를 뛰어넘을 수 있지만 더 전문화된 AI 도구는 이미 이를 수행하고 있다. 이러한 생물학적 설계 도구(BDT)에는 AlphaFold2와 같은 단백질 폴딩 모델과 RFdiffusion과 같은 단백질 설계 도구가 포함된다. 이러한 인공지능 도구는 일반적으로 유전자 서열과 같은 생물학적 데이터에 대해 훈련된다. 이들은 치료용 항체 개발과 같은 중요한 생물학적 설계 과제를 돕기 위해 다양한 회사와 학계에서 개발되었다. 생물학적 설계 도구가 더욱 강력해짐에 따라 새로운 단백질 또는 디자이너 바이러스를 기반으로 하는 새로운 약물 생성과 같은 많은 유익한 발전을 가능하게 할 것이다.

 

그러나 이러한 강력한 설계 기능은 생물학적 위험을 악화시킬 수도 있다. 극단적으로 생물학적 설계 도구는 전례 없는 특성을 가진 생물학적 제제를 설계할 수 있다. 자연 병원체는 전염성과 치명성 사이에 절충점이 있다는 가설이 제기되었다. 설계된 병원체는 그러한 진화적 제약을 특징으로 하지 않을 수 있다. 옴진리교와 같은 그룹은 잠재적으로 자연이 생성할 수 있는 것보다 훨씬 더 나쁜 대유행 바이러스를 만들 수 있으므로 생물학적 설계 도구는 전염병을 현재 치명적인 위험에서 진정한 실존적 위협으로 전환할 수 있다. 생물학적 설계 도구는 또한 특정 지역이나 인구를 대상으로 하는 생물학적 작용제를 생성할 수 있다.

 

단기적으로는 새로운 설계 기능이 위험한 독소 및 병원체에 대한 접근을 통제하기 위한 기존 조치에 도전할 수 있다. 기존의 보안 조치는 금지된 위험한 유기체 목록이나 알려진 위협적인 유전자 서열에 대한 스크리닝에 초점을 맞추는 경향이 있다. 그러나 설계 도구는 그러한 조치가 포착하지 못하는 유사한 위험한 속성을 가진 다른 에이전트를 생성할 수 있다.

 

 

좋은 소식은 적어도 처음에는 생물학적 설계 도구로 가능해진 새로운 최첨단 가능성이 합법적이고 유익한 목적으로 이러한 시설을 사용할 관리 가능한 수의 기존 전문가만 액세스할 수 있다는 것이다. 그러나 이 접근 장벽은 생물학적 디자인 도구가 매우 능숙해져서 그 결과에 추가 실험실 테스트가 거의 필요하지 않게 됨에 따라 무너질 것이다. 특히 AI 언어 모델은 도구와 효과적으로 인터페이스하는 방법을 학습한다. 언어 모델은 이미 특수 과학 도구와 연결되어 특정 작업을 지원하고 현재 작업에 적합한 도구를 자동으로 적용하고 있다. 따라서 악의적인 행위자를 포함하여 매우 많은 수의 개인이 생물학적 디자인의 정점에 빠르게 접근할 수 있다.

 

 

필수 유전자 합성 규칙이 필요한 이유

AI와 생물학의 교차점에서 발생하는 위험을 완화하기 위해 무엇을 할 수 있을까? 두 가지 중요한 측면이 있다. 일반적인 생물 보안 조치를 강화하고 새로운 인공지능 시스템에 특정한 위험 완화 접근 방식을 발전시키는 것이다.

 

점점 더 강력하고 접근하기 쉬운 생물학적 디자인 기능에 직면하여 한 가지 중요한 생물 보안 조치는 보편적인 유전자 합성 스크리닝이다. 단백질이나 유기체를 위한 유전적 빌딩 블록의 생산은 디지털 디자인을 물리적 에이전트로 전환하는 데 중요한 단계이다. 다양한 회사가 이러한 DNA 또는 RNA 빌딩 블록 생산을 전문으로 한다. 2010년부터 미국 정부는 이러한 유전자 합성 회사가 합법적인 연구자만 통제된 물질에 대한 유전 물질에 접근할 수 있도록 주문과 고객을 선별할 것을 권고했다. 많은 최첨단 유전자 합성 회사들이 이러한 스크리닝을 자발적으로 수행하고 이러한 활동을 조정하기 위해 국제 유전자 합성 컨소시엄을 구성했다. 그러나 상당수의 유전자 합성 제공자는 여전히 선별 검사를 하지 않는다. 실제로 MIT 실습에서 알 수 있듯이 ChatGPT는 이 사실을 지적하고 공급망 보안의 이러한 약점을 악용하는 방법에 대한 지침을 제공하는 데 매우 능숙하다.

 

필요한 것은 합성 DNA 제품을 스크리닝하기 위한 필수 기준선이다. 이러한 기준선 심사를 요구하는 것은 기업의 이익에 반하지 않는다. 미국과 영국의 업계 리더들은 자발적으로 주문을 심사해 왔으며 경쟁자들이 안전에 인색하지 않도록 규제 기준선을 적극적으로 요구하고 있다. 유전자 합성 스크리닝을 의무화하기 위한 조치는 점점 더 일반화되는 벤치탑 유전자 합성 장치를 포착해야 하며 관련 에이전트의 기능적 등가물에 대한 스크리닝을 포함하도록 미래에 대비해야 한다. 유기체를 합성하는 서비스를 제공하는 계약 연구 기관과 같이 디지털-물리 경계에 있는 다른 중요한 서비스 제공자에게도 유사한 고객 선별 기준이 필요하다.

 

인공지능의 거버넌스 향상

일반적인 차단방역 조치 외에도 인공지능에 특화된 개입도 필요하다. 첫 번째 초점은 대규모 언어 모델의 위험을 완화하는 것이다. 왜냐하면 이러한 모델은 이미 생물학적 오용에 대한 장벽을 낮출 가능성이 있을 뿐만 아니라 그 기능이 빠르고 예측할 수 없게 증가할 수 있기 때문이다. 대규모 언어 모델이 제기하는 모든 위험 범위에 적용되는 중요한 문제 중 하나는 새롭고 위험한 기능이 모델 릴리스 이후에만 명확해질 수 있다는 것이다.

 

LLM의 위험을 완화하는 데 특히 중요한 역할은 모델 기능의 출시 전 평가를 통해 수행할 수 있다. 이러한 사전 평가는 새 모델이 공개 시 위험한 기능을 포함하지 않도록 하기 위해 필요하다. 제3자에 의해 수행되는 경우 기업이 교육 및 미세 조정 중에 적절한 조치를 취하여 이러한 모델이 발생할 가능성을 줄일 수 있다. 생물학적 오용을 가능하게 할 수 있다. 웹 ChatGPT 인터페이스와 같은 구조화된 액세스 방법을 통해 모델을 릴리스하면 안전 장치를 지속적으로 업데이트할 수 있다. 반대로 강력한 LLM을 오픈 소싱하는 것은 미세 조정 및 보호 장치가 쉽게 제거될 수 있고 새로운 위험한 기능이 발견되면 모델을 철회하거나 보호 장치를 업데이트하는 것이 불가능하기 때문에 상당한 위험이 있다.

 

일반적으로 생물학적 오용의 위험에 대한 인공지능 도구의 잠재적 영향은 심오한 질문을 제기한다. 누가 이중 용도의 과학적 기능에 액세스할 수 있어야 할까? 이 질문에 답하려는 정책 입안자들에게는 다양한 분야, 인구 통계 및 지역에 걸쳐 다양한 목소리를 고려하는 것이 중요할 것이다. 이를 위해서는 병원체와 관련된 과학 분야의 개방성, 법 집행 및 불법 활동에 대한 데이터 스트림 모니터링, 오용 위험 증가 사이의 어려운 절충안이 필요하다.

 

한 가지 현명한 입장은 ChatGPT와 같은 언어 모델이 위험한 유행성 독감 변종을 생성하기 위해 상세한 단계별 지침을 누구에게도 제공할 필요가 없다는 것이다. 따라서 그러한 모델의 공개 버전이 이 주제 및 기타 이중 용도 주제에 대한 질문에 대한 자세한 답변을 제공하지 않는 것이 균형적으로 더 바람직할 수 있다. 특히 Anthropic이 최근 출시한 최첨단 언어 모델 Claude 2는 사용자에게 위험한 실험에 대한 자세한 지침을 전달하는 데 있어 GPT-4보다 현저히 높은 장벽을 갖추고 있다.

 

동시에 이러한 도구를 통해 과학자들이 적절한 교육을 받고 승인을 받아 새로운 약물과 백신을 개발할 수 있도록 하는 것이 중요하다. 따라서 AI 기반 실험실 조교 및 생물학적 설계 도구에 대한 차별화된 액세스 방법이 필요하다. 이를 위해서는 합법적인 과학자가 온라인에서 자신을 인증할 수 있는 진보된 방법이 필요할 수 있다. 예를 들어, 백신 설계에 정보를 제공하기 위해 인플루엔자 바이러스의 면역 회피 변종을 예측하는 모델 기능에 액세스하려면 과학자가 인증을 받고 생물학적 안전성 및 이중 사용 검토에 대한 적절한 문서를 제공해야 할 수 있다.

 

생물학적 보안 위험을 악화시키는 것 외에도 인공지능의 발전은 기회를 제공한다. AI의 발전이 보다 엄격한 유전자 합성 스크리닝에 박차를 가함에 따라 이는 생물학적 보안을 보다 광범위하게 강화할 것이다. 그리고 생물학적 위험이 대규모 언어 모델의 사전 출시 평가와 같은 AI 거버넌스 조치를 주도함에 따라 더 광범위한 인공지능 위험을 완화할 것이다. 정책 입안자들의 신속한 조치는 안전을 강화할 뿐만 아니라 인공지능의 많은 이점을 얻을 수 있는 길을 열 것이다.

 

조나스 샌드브링크(Jonas Sandbrink)는 옥스퍼드 대학교의 생물보안 연구원이자 영국 내각부의 생물보안 고문이다. 이 기사는 "인공지능과 생물학적 오용: 언어 모델과 생물학적 설계 도구의 위험 차별화"라는 제목의 최근 출판된 프리프린트를 기반으로 한다. 이 글은 저자의 의견만을 반영한 것이며 저자가 소속된 단체의 의견은 반영하지 않았다.