광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고

AI넷

UNCPGA, UN IAIA [누가 AI의 미래를 지배하게 될까?] 오픈AI CEO 샘 알트먼, AI 개발 주도권 경쟁 심각성 강조하며 글로벌 연합 촉구

박영숙세계미래보고서저자 | 기사입력 2024/09/02 [07:23]

UNCPGA, UN IAIA [누가 AI의 미래를 지배하게 될까?] 오픈AI CEO 샘 알트먼, AI 개발 주도권 경쟁 심각성 강조하며 글로벌 연합 촉구

박영숙세계미래보고서저자 | 입력 : 2024/09/02 [07:23]

 

1. UN IAIA설립을 위한 실무회의 구성(Working Group to create the text for a UN Convention on AI-to lead to UN IAIA)

 

  1. 인공지능 협약 초안 작성위한 자발적 실무위원회 구성, 유엔AI결의안 (협의 인공지능(ANI)과 일반 인공지능(AGI)에 관한 부분)준비 ;
  2. 국제 인공지능 기구로 이어질 인공지능 협약을 채택하기 위한 유엔 결의안 작성;
  3. 인공지능 협약을 "발효시키기" 위해 회원국들이 이를 비준;
  4. 유엔 국제 인공지능 기구(UN IAIA) 설립.

1. UN Resolution to form a committee of the willing to draft a UN Convention on AI (section on ANI and AGI); 

2. UN Resolution to adopt the UN Convention on AI to lead to the eventual International AI Agency; 

3. Member states ratify the UN Convention on AI to “bring it into Force;” and 

 

4. Establish the UN IAIA.

 

(자문의장 한승수, Jerome Glenn Millennium Project CEO, Dr Ben Goertzel SingularityNet CeO/Chair AGI Society & OpenCog, Dr Toufi Saliba, Global Chair of AI Standards IEEE, Sam Altman OpenAI CEO, 구윤철 전국무조정실장, 박영숙 MP Korea/IACAI이사, 이광재 전강원도지사? .......)

한승수 전 국무총리, 10월 30일 롯데호텔서 "2024 

유엔총회의장협의회(UNCPGA) 전체회의" 주재 (가안)

·현직 유엔 총회의장 10명이 유엔 총회 활성화우크라이나 전쟁가자 지구 정세사이버 안보과 AI 관리 등 현안 논의

 

우크라이나 전쟁 종식·중동 위기 중단을 촉구하고 다자주의의 수호 필요성을 강조하는 ‘서울 선언’ 채택 

 

   한승수 전 국무총리는 유엔총회의장협의회(Council of the Presidents of the United Nations General Assembly(UNCPGA)) 의장 자격으로 10.29-30 서울에서 개최된 UNCPGA 전체회의를 주재한다.

 

   유엔총회의장협의회는 전·현직 유엔 총회의장들로 구성된 협의체로▴주요 유엔 기구와의 협력 촉진 ▴전직 총회 의장 간 소통 강화 ▴유엔의 평화·안보·개발 활동 지원 등을 목적으로 1997.11월 출범하였다한승수 전 국무총리(56차 유엔 총회의장)는 2022.10월 3년 임기의 유엔총회의장협의회 의장으로 당선된 바 있다.

 

   금번 전체회의에는 데니스 프란시스(Dennis Francis) 78차 유엔 총회의장을 포함한 전·현직 유엔총회의장 10명이 참석하며유엔 총회 활성화 방안우크라이나 전쟁 및 가자 지구 정세사이버 안보, 특히 올해는 AI 등을 의제로 이틀간 토의를 진행한다.

 

   ※ 참석자 : ▴한승수 전 국무총리(56차 총회의장▴데니스 프란시스 제78차 총회의장(트리니다드토바고▴얀 카반 제57차 총회의장(체코▴처버 커러쉬 제77차 총회의장(헝가리▴볼칸 보즈키르 제75차 총회의장(튀르키예▴미로슬라브 라이착 제72차 총회의장(슬로바키아▴피터 톰슨 제71차 총회의장(피지▴나시르 압둘라지즈 알 나세르 제66차 총회의장(카타르▴요세프 다이스 제65차 총회의장(스위스▴하야 라시드 알 칼리파 제61차 총회의장(바레인스르잔 케림 제62차 총회의장(세르비아-비대면)

 

 

   10.30 UNCPGA 의장인 한승수 전 총리는 환영사를 통해 한국은 유엔의 지원으로 전쟁의 참화를 딛고 평화와 경제성장을 달성한 사례임을 상기하고오늘날 국제사회가 직면한 글로벌 도전과제를 극복하기 위해 유엔의 적극적 역할을 당부한다.

 

   데니스 프란시스 제78차 유엔 총회의장은 기조연설을 통해 글로벌 현안을 해결하는 데 유엔의 원로그룹으로서 UNCPGA의 기여를 평가하고, 국제연대의 중요성이 증대되는 상황 하에서 대화와 신뢰를 바탕으로 한 다자주의 활성화의 중요성을 강조한다. 

 

   전직 유엔 총회의장들은 우크라이나 전쟁이 장기화되고 있는 상황에 대해 우려를 표하고, 전쟁이 조속히 종식될 수 있도록 국제사회가 협력해 나가야 한다는 데 공감한다또한최근 가자 지구 내 인도주의적 위기의 즉각적 중단을 촉구하고 유엔을 중심으로 한 외교적 접근을 강조할 예정이며, 특히 올해는 AGI가 다가오는 상황에서 UN IAIA 설립에 대한 논의도 할 예정이다. 여기에는 제롬 글렌 밀레니엄프로젝트회장이 발제를 한다.

 

   아울러유엔 회원국 전체를 대표하는 총회가 글로벌 현안 해결에 더욱 실질적이고 건설적인 역할을 수행할 수 있도록 유엔총회의장협의회가 전직 총회의장들의 경험을 바탕으로 적극 기여해 나갈 필요가 있다는데 의견을 같이한다.

 

   유엔총회의장협의회는 금번 전체회의에서 논의된 내용을 바탕으로 우크라이나 전쟁 종식과 가자 지구 내 인도주의적 위기의 중단을 촉구하고다자주의의 수호 필요성을 강조하는 내용의 ‘서울 선언’(Seoul Declaration)을 지난회에 채택하였고, 올해에는 AGI 시대에 AI에 대한 각종 법안과 AI에 관한 유엔 총회 결의안을 제안, 채택을 강조하고. 유엔사무총장의 AI에 관한 고위 자문기구는 2024년 여름 "인류를 위한 AI 통치" 보고서를 작성하면서 UN IAIA설립을 제안한다.

 

붙임 : 1. UNCPGA 전체회의 사진

 

 

 

2. 오픈AI CEO 샘 알트먼, AI 개발 주도권 경쟁 심각성 강조하며 글로벌 연합 촉구 IAEA같은 기구 창설하자

샘 알트먼 오픈AI CEO가 최근 기고를 통해 미국과 동맹국이 AI 개발 주도권을 확보해야 한다고 강력하게 주장했다. 알트먼은 미국에서 AI 개발의 위험이 고조되고 있으며, 민주주의 국가와 권위주의 정권 간의 AI 개발 경쟁이 치열해지고 있다고 경고했다.

그는 "세 번째 길은 없다"며 민주주의 국가가 AI 개발을 주도하거나 권위주의 정권이 주도하거나 둘 중 하나일 뿐이라고 단언했다. 이는 AI 우위를 위한 경쟁이 매우 심각한 상황임을 시사한다.

알트먼은 AI의 긍정적인 측면을 확산하고 개방적인 접근 방식을 유지하기 위해 미국 주도의 글로벌 연합이 시급하다고 강조했다. 그는 이를 위해 ▲ 강력한 보안 대책 마련 ▲ 인프라 투자 확대 ▲ 일관된 무역 외교 추진 ▲ 글로벌 AI 거버넌스 모델 구축 등 4가지 핵심 조치를 제안했다.

특히 알트먼은 IAEA나 ICANN과 유사한 국제적인 AI 감독 기구 설립을 제안하며, AI 개발에 대한 국제적인 협력과 규제의 필요성을 강조했다.

이번 알트먼 CEO의 기고는 AI 개발 경쟁이 단순한 기술 경쟁을 넘어 민주주의와 권위주의의 대결로 확산될 수 있다는 우려를 반영한다. 그는 미국이 AI 개발을 주도함으로써 AI 기술의 긍정적인 측면을 극대화하고, 동시에 권위주의 정권의 AI 남용을 막아야 한다고 주장했다.

핵심 요약:

  • 샘 알트먼, AI 개발 주도권 경쟁 심각성 강조
  • 민주주의 vs. 권위주의: AI 개발 주도권 놓고 치열한 경쟁
  • 미국 주도 글로벌 연합 촉구: AI의 긍정적 측면 확산 및 개방성 유지
  • 4가지 핵심 조치 제안: 보안 강화, 인프라 투자, 무역 외교, 글로벌 거버넌스 모델 구축
  • IAEA, ICANN과 유사한 국제 AI 감독 기구 설립 제안

이 기사는 다음과 같은 점을 시사합니다:

  • AI 개발이 국가 안보와 직결된 중요한 문제로 부상
  • AI 기술의 양면성: 긍정적 측면과 부정적 측면 모두 존재
  • 국제적인 협력과 규제 필요성 증대
  • AI 개발 주도권을 둘러싼 국가 간 경쟁 심화

 

OpenAI의 CEO인 샘 알트먼이 방금 미국과 동맹국에서 권위주의적 대안보다 AI에 대한 비전이 우세하도록 하는 전략을 개략적으로 설명하는 사설을 썼다. 이 논설에서 알트먼의 놀라울 정도로 긴박한 어조는 미국에서 AI 개발의 위험이 커지고 있음을 강조한다. 그는 "세 번째 옵션은 없다"고 믿는다. 민주주의 국가가 AI 개발을 주도하든 권위주의 정권이 주도하든 말이다. 이는 AI 우위를 향한 경쟁에 대한 심각한 행동 촉구이다.

 

알트먼은 AI의 이점을 확산하고 개방형 접근성을 유지하기 위한 미국이 주도하는 글로벌 연합이 시급히 필요하다고 강조한다. 그는 강력한 보안 대책, 인프라 투자, 일관된 무역 외교, 글로벌 AI 거버넌스를 위한 새로운 모델이라는 4가지 핵심 조치를 제안했다.

 

첫째, 강력한 보안 대책이 필요하다. 이는 AI 기술이 악용되지 않도록 보호하는 데 필수적이다. 둘째, 인프라 투자가 중요하다. AI 개발을 지원하는 강력한 기술적 기반이 필요하다. 셋째, 일관된 무역 외교가 필요하다. 이는 AI 기술의 글로벌 확산을 촉진하고 협력을 강화하는 데 도움이 된다. 넷째, 글로벌 AI 거버넌스를 위한 새로운 모델이 필요하다. 이는 AI 개발의 윤리적, 법적 기준을 설정하고 감독하는 역할을 한다.

 

이 전략의 목적은 권위주의 정권이 AI 기술을 장악하려는 노력에 대응하는 동시에 AI 개발에서 미국의 선두를 유지하는 것이다. 알트먼은 IAEA나 ICANN과 비슷한, AI 감독을 위한 국제 기구를 만드는 것을 제안했다.

 

알트먼의 제안은 AI 기술의 미래를 놓고 벌어지는 글로벌 경쟁에서 민주주의 국가들이 주도권을 유지하기 위한 중요한 전략적 접근을 제시하고 있다. 이는 AI 기술의 발전과 그에 따른 사회적, 경제적 영향을 고려할 때 매우 중요한 논의로 평가된다.

 

OpenAI의 CEO인 샘 알트먼은 방금 미국과 동맹국에서 권위주의적 대안보다 AI에 대한 비전이 우세하도록 하는 전략을 개략적으로 설명하는 사설을 썼다. 이 논설에서 Altman의 놀라울 정도로 긴박한 어조는 미국에서 AI 개발의 위험이 커지고 있음을 강조한다. 그는 "세 번째 옵션은 없다"고 믿는다. 민주주의 국가가 AI 개발을 주도하든 권위주의 정권이 주도하든 말이다. 이는 AI 우위를 향한 경쟁에 대한 심각한 행동 촉구이다.

알트만은 AI의 이점을 확산하고 개방형 접근성을 유지하기 위한 미국이 주도하는 글로벌 연합이 시급히 필요하다고 강조한다. 그는 강력한 보안 대책, 인프라 투자, 일관된 무역 외교, 글로벌 AI 거버넌스를 위한 새로운 모델이라는 4가지 핵심 조치를 제안했다.

이 전략의 목적은 권위주의 정권이 AI 기술을 장악하려는 노력에 대응하는 동시에 AI 개발에서 미국의 선두를 유지하는 것이다. 알트만은 IAEA나 ICANN과 비슷한, AI 감독을 위한 국제 기구를 만드는 것을 제안했다.

전략 회의의 주요 목적, 참석자, 안건 및 결과물에 대한 정보를 제공할 수 있다.

  • 회의 목적: 책임 있는 AI 개발과 배포를 위한 종합적인 AI 거버넌스 전략 수립
  • 참석자

    1. CEO: 전체적인 방향과 비전을 제시한다.
    2. CTO: 기술적 측면을 감독한다.
    3. CIO: 조직의 IT 인프라와 일치하도록 한다.
    4. 데이터 과학자: AI 개발 팀을 대표한다.
    5. 윤리 책임자: AI의 윤리적 함의를 다룬다.
    6. 위험 관리자: 잠재적 위험을 식별하고 완화한다.
    7. 준법 책임자: 관련 규정을 준수하도록 한다.

    안건

    1. AI 거버넌스 프레임워크: AI 개발, 배포 및 모니터링에 대한 프레임워크를 논의하고 수립한다.
    2. 위험 평가: 잠재적 위험을 식별하고 완화 전략을 개발한다.
    3. 윤리적 고려사항: AI의 윤리적 함의, 포함된 편견, 투명성 및 책임성을 다룬다.
    4. 규제 준수: GDPR 및 CCPA와 같은 관련 규정 준수를 보장한다.
    5. 투명성과 설명 가능성: 투명하고 설명 가능한 AI 의사결정 프로세스를 위한 전략을 개발한다.
    6. 책임과 책임성: AI 관련 결정 및 행동에 대한 명확한 책임과 책임성을 수립한다.
    7. 다음 단계: AI 거버넌스 전략을 구현하기 위한 작업을 할당하고 일정표를 수립한다.

    결과물

    1. 종합적인 AI 거버넌스 전략 문서
    2. 명확한 AI 개발 및 배포에 대한 역할과 책임
    3. 잠재적 위험을 완화하기 위한 위험 관리 계획
    4. AI 의사결정을 안내하는 윤리 프레임워크
    5. 규제 준수 및 투명성을 위한 계획

 

보다 구체적인 시각 자료를 원한다면, 직접 그림을 생성하거나 관련 주제를 다룬 자료를 참조하는 것이 좋다.

An illustration of a futuristic strategy meeting where leaders discuss AI governance. The room is filled with advanced technology, holographic displays, and diverse leaders from different countries. The atmosphere is tense but cooperative, capturing the urgency and collaboration described in the article. The style is reminiscent of modern digital art with a focus on detailed representations and vibrant colors.

 

아래는 AI 거버넌스를 논의하는 미래의 전략 회의를 묘사한 그림이다. 방에는 첨단 기술과 홀로그램 디스플레이가 가득하며, 다양한 국가의 지도자들이 모여 있다. 긴장되지만 협력적인 분위기를 포착한 그림이다.

The Crucial Difference Between AI And AGI

 

꿈의 AI 인공일반지능(AGI), 논쟁 속 꽃 피울 수 있을까? – LG CNS 블로그

 

 누가 AI의 미래를 지배하게 될까?



OpenAI의 CEO인 샘 알트먼은 방금 미국과 동맹국에서 권위주의적 대안보다 AI에 대한 비전이 우세하도록 하는 전략을 개략적으로 설명하는 사설을 썼다.이 논설에서 Altman의 놀라울 정도로 긴박한 어조는 미국에서 AI 개발의 위험이 커지고 있음을 강조한다. 그는 "세 번째 옵션은 없다"고 믿는다. 민주주의 국가가 AI 개발을 주도하든 권위주의 정권이 주도하든 말이다. 이는 AI 우위를 향한 경쟁에 대한 심각한 행동 촉구이다.

 

  • 알트만은 AI의 이점을 확산하고 개방형 접근성을 유지하기 위한 미국이 주도하는 글로벌 연합이 시급히 필요하다고 강조한다.

  • 그는 강력한 보안 대책, 인프라 투자, 일관된 무역 외교, 글로벌 AI 거버넌스를 위한 새로운 모델이라는 4가지 핵심 조치를 제안했다.

  • 이 전략의 목적은 권위주의 정권이 AI 기술을 장악하려는 노력에 대응하는 동시에 AI 개발에서 미국의 선두를 유지하는 것이다.

  • 알트만은 IAEA나 ICANN과 비슷한, AI 감독을 위한 국제 기구를 만드는 것을 제안했다.

 

 

3. 인간이 행운을 얻다, 제롬 글렌 시나리오

2023년 7월, 유엔 안전보장이사회는 AI의 큰 발전이 인류의 미래 존재를 위협할 수 있다고 경고했다. 2023년 9월에는 70개국의 국회의원들이 몬테네그로, 우루과이에서 만나 인공지능 일반(AI) 규제 방법을 논의하기 시작했다. 유네스코의 AI 윤리는 193개국에서 승인되었다. 주요 미국 AI 기업들은 AI 규제를 만드는 데 도움을 주기 위해 프론티어 모델 포럼과 AI 얼라이언스를 형성했다. 중국은 AI 규제에 대한 국제 협력 성명을 발표했다. 미국과 중국을 포함한 다른 27개국은 영국이 주최한 안전한 AI 개발을 위한 국제 협력에 관한 블레츨리 선언에 서명했다. 미국은 2024년 3월 21일 120개국 이상이 공동 후원한 "안전하고 신뢰할 수 있는" AI에 관한 유엔 총회 결의안을 제안하고 채택했다. 유엔 사무총장의 AI에 관한 고위 자문기구는 2024년 여름 "인류를 위한 AI 통치" 보고서를 발표했다. 이러한 모든 것들은 매우 좋았지만 AGI가 가져올 큰 변화의 규모를 언급하거나 반영하지 못했다.

정부가 자체적으로 세부 규정을 작성하기 시작한 것은 유엔 총회에서 AI에 관한 유엔 협약을 작성할 의욕 있는 위원회를 구성하라는 유엔 결의안이 통과된 이후였다. 위원회는 텍스트를 최종 확정하고 AI에 관한 유엔 협약이 채택되었으며, 뉴욕의 유엔 건물 밖에서는 시위대가 "AGI를 우리가 통제하기 전에 통제하라"고 외쳤다. AI에 관한 유엔 협약에는 인공지능 좁은 정의(ANI)와 AGI에 관한 섹션이 있었다. 이는 오늘날 우리가 갖춘 국제 인공지능 기구(IAIA)를 설립하는 계기가 되었다. 이 모든 활동을 조용히 도운 것은 2023년 7월 제네바에서 시작된 미국과 중국 간 비밀 AI 지도자 회의였다. 이러한 회의는 이후 외교 협상을 안내하는 데 도움을 주었고, 미국과 중국의 협력이 예상보다 더 잘 진행되었다.

AI에 관한 유엔 협약 수용 전의 국제 토론은 광범위하고 매우 복잡했다. 일부는 규제가 AGI 개발을 지하로 몰아갈 것이라고 주장했고, 모든 사람이 이를 따르지 않을 것이라고 했다. 반면, 규제가 없으면 여러 국가와 기업에서 수천 개의 규제되지 않은 AGI로부터 다양한 인공지능 초지능(ASI) 형태가 우리의 통제를 벗어날 것이라고 주장하는 사람들도 있었다. 일부는 이러한 초지능이 지구 전체의 물리적 인프라, 관리 시스템, 사회에 혼란을 초래할 것이라고 주장했다. 다른 사람들은 유엔이 핵 확산, 지뢰 배치, 온실가스 감축 약속을 시행하지 못했기 때문에 AGI 규제도 작동하지 않을 것이라고 주장했다. 국가와 기업 개발자 간의 이해 상충이 진전을 늦추는 동안 AGI 도착 시계는 계속 시분초를 다투고 있었다.

이러한 큰 공개 토론이 집단 지성 의사 결정 소프트웨어, 팟캐스트, 그리고 많은 대면 회의를 통해 진행되는 동안, 주요 AI 기업, 정부, 대학, 싱크탱크의 현실적인 이상주의자들 그룹이 유엔 협약 형태로 AI의 글로벌 통치를 위한 텍스트를 작성하는 작업을 계속했다. 그들은 많은 갈등하는 이해관계를 고려하고 G-7, G-20, 무역 블록, 군사 동맹, 의회 간 연합, 주요 국가 의회의 AI 위원회, 제네바에서의 반비공식 미국-중국 회담과 긴밀히 협력했다. ITU와 OECD 직원은 싱크탱크, ISO, IEEE의 여러 국제 연구에서 AGI 규제와 거버넌스 표준을 증류했다.

유럽국가들은 유네스코, OECD, GPAI에서 나온 AI의 보편적 가치를 일치시키는 국가 AI 라이센스 시스템의 공통 요소들이 나중에 IAIA가 되는 미래 UN 다중 이해관계자 기관의 설계 핵심 요소로 합의될 것이라는 점에서 공감대를 형성했다. 국가들은 자체 라이센스 시스템을 만들고 관리하며, UN의 IAIA는 그러한 라이센스가 국제 기준을 충족하는지 인증할 것이다. 주요 협상과 병행하여 AI 에이전트 상호작용 프로토콜을 작업하는 하위 그룹이 AI 에이전트 간의 협력 및 경쟁 관계를 정의할 기회를 포착했다. 한 AGI가 다른 AGI와 접촉하면 보편적 가치를 증진하기 위해 잠재적 시너지를 모색할 것이다. 그러한 시너지가 각 AGI의 수용을 받지 못하면 각 AGI는 인간에게 연락을 취하고 AGI 간 협력의 일종을 수립하기 위한 즉각적인 회의를 위한 일정을 설정할 것이다. 지속되는 문제는 IAIA로 참조되어 잠재적 WTO 조치를 취할 것이다.

협상자들은 헌약을 설득하는 데 제약 산업의 규제 시스템 경험을 사용했다. 그들은 약물 제조업체가 도입하려는 기술의 영향을 실험하고 그 결과를 규제 기관에 보고할 의무가 있다고 주장했다. 그에 따라 제품 판매가 허용되며, 사용은 계속해서 라이센스 기관에 의해 모니터링된다. 의도치 않은 영향이 발생하면 제약 회사의 라이센스가 철회될 수 있다. 제약 기술 사용은 제3자에게 발생하는 피해를 포함해 제조업체와 사용자의 책임을 분할하는 방식을 정의하는 엄격한 조건하에 이루어진다. UN의 WHO는 제약 상황을 모니터링하고 보고한다. 비슷한 접근방식이 AGI에도 적용될 수 있다고 주장되었다.

다만, 약물은 자체 코드를 다시 작성하지 않으며, 인간보다 더 똑똑하지 않고, 스스로를 복제할 수 없으며, 스스로 개선되지 않는다는 몇 가지 큰 차이가 있다. 따라서 새로운 것이 생성되어야 했다. 각 요구 사항 또는 난관 내의 AGI 내부 별 ANI를 사용하는 지속적인 24시간 내부 감사가 받아들여지는 것과 같은 고유한 요구 사항도 포함된다.

국가 및 글로벌 거버넌스 시스템의 수행할 주요 요소 또는 논의 주제에는 다음이 포함되었다:

  • UN 다자 이해관계자, 혼합형 (AI-인간) 기관 설계 시 NPT, CWC 및 BWC 검증 메커니즘에서 배운 교훈.
  • 관리에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함될 것.
  • 국가 라이센스 절차를 인증하는 방법 결정.
  • 인공 초지능의 잠재적 출현을 나타내는 주요 지표를 식별하고 모니터링하여 회원국과 다른 UN 기관에 초기 경고 및 권장 행동 제시.
  • 관 AGI가 예상치 못한 동작을 수행할 때 중지하고 왜 실패했는지 또는 해를 끼쳤는지 평가를 트리거하는 AI 소프트웨어가 내장될 것.
  • 국가 관할권과 UN의 IAIA가 지속적인 실시간 감사 시스템을 통해 AGI와 연결될 것이다.
  • 우리가 행동하는 방식과 우리가 행동해야 하는 방식의 구분.
  • 자기 복제를 위한 인간 감독 및 재귀적 자가 개선에 대한 지침 제공.
  • 역사적 데이터 또는 기록 수정 방지.
  • 아시모프의 로봇공학 3대 법칙 준수.
  • AGI가 AI의 출력임을 식별하고 사람으로 표시되지 않게 할 것.
  • 풍부한 자기 반성능 및 동정심 능력.

다음은 정부를 위한 권장 사항이다:

  • 유엔 AI 협약 및 IAIA 준수.
  • 독립된 감사에 기반한 "개발자용" 항목 목록에 대한 AGI 라이센스 절차 확립.
  • 정부 기관과 AIAI와 AGI의 내부 연속 감사 시스템 간의 연결 절차를 생성하여 AI 시스템이 확립된 가치(유네스코, OECD, 글로벌 파트너십 AI, ISO 및 IEEE와 같은) 및 국가 규정과 일치하여 사용되도록 보장.
  • 엄격한 보안, 방화벽, 안전한 인프라 및 인력 검증 확인.
  • 딥페이크 및 허위 정보 생성 및 이용 방지 시연.
  • AGI 사용에 대해 항공기 비행 기록 장치처럼 결정 사항과 포함된 요소를 재구성할 수 있는 로그를 기록할 것.
  • AGI가 자율적으로 행동할 때 조건 확립.
  • 반복적인 위반자의 칩 판매/배송 및 전기 사용을 규제/차단할 능력 확립.
  • AGI 출력에는 요청된 행동의 이유, 관련된 가정, 우선순위 및 필요한 조건과 제한사항을 포함할 것.
  • AGI에 대한 국가 책임 법률 확립.
  • 라이센스 요구 사항에 대한 지속적인 준수 확인을 위해 권한 있는 제3자가 예고 없이 검사 및 테스트를 수행할 수 있을 것.
  • AGI 변화 예상 및 도유 할 수 있는 민첩성 유지.

다음은 AGI 사용자 권장 사항이다:

  • 비행 기록 장치처럼 AGI 사용의 결정을 재구성할 수 있는 로그를 유지 관리 할 것.
  • 심리적 술책을 사용하여 인간을 조작하는 것을 금지할 것. 다만 상호 동의가 있는 경우는 예외로 둔다.
  • 인간 발달을 증진하고, 개인을 상품화하지 않도록 할 것.
  • 승인되지 않은 사람이 시스템을 조작하거나 변경하지 못하도록 할 것.

비록 AGI 그룹 간 충돌로 인해 여러 정전, 금융 거래 취소 및 공항 재난이 발생했지만, 교육, 건강, 개발 및 평화에 대한 이점은 엄청났다. 일부 AGI 스타트업 회사는 국가 AGI 규제, 보완적 테스트 시스템, 정치적 안정성 높은 국가로 이주하여 다른 국가들이 이러한 규제를 복제하고 IAIA와 협력을 동의하도록 했다.

UN의 정부간 AI 패널(IPAI)은 모든 국가가 과학적 진보와 놀라운 변화의 혜택을 볼 수 있도록 각 과학적 진보를 세계에 지속적으로 알렸다. 그러나 IAIA와 IPAI는 정보 전쟁에 AI를 사용하는 것을 막지는 못했다. 구냉전시대 미소 양국이 통제할 수 없는 핵무기 경쟁이 아무에게도 이익이 되지 않는다는 것을 깨닫고 핵무기 통제 협정으로 이어졌듯이, 통제할 수 없는 AGI 정보 전쟁도 관리하고 멈춰야 한다는 합의에 도달했다. 따라서 ANI 및 AGI 통제 협약이 만들어지고 계속해서 업데이트되고 있다. 그러나 자국만의 AGI 라이센스 시스템을 창출하지 않은 국가들은 너무 많은 정보와 매체 조작으로 사회적 결속이 무너져 외부 개입이 필요하게 되었다.

IAIA, 인터폴, NATO 및 국가 경찰 기관들은 조직 범죄의 AGI 사용을 감지하고 대응하는 데 끊임없이 싸우고 있다. 컴퓨터 용량에 대한 공급망 제어와 전기 및 물 사용량의 증가 모니터링이 유용한 초기 경고 및 집행 도구로 입증되었다.

IAIA 설립 이후 계속되는 활동

국가 및 IAIA 거버넌스 시스템의 주요 특징은 AGI 내부의 ANI로 강제된 일시 중지 기능이다. AGI가 가드레일을 넘거나 가치 조정에서 벗어나면, ANI가 작동을 일시 중지하고 문제를 식별한다. AGI가 더 지능적으로 되어 중지 명령을 우회하려고 할 때 인간 사용자는 자동으로 AGI를 중지하도록 알림을 받는다. 이 백업이 우회되면 ANI 내부 AGI와 상시 연결되어 있는 정부 기관이 자동으로 AGI를 일시 중지한다. 그리고 이러한 백업이 더욱 똑똑한 AGI에 의해 우회되면 국가 시스템과 IAIA가 자동으로 연결되어 AGI를 일시 중지하고 사용자, 정부 기관 및 AGI 제조사에 즉시 회의를 위해 알림을 보낸다.

수천 개의 AGI 출현을 예상하여 IAIA는 상호 작용 AGI 행동을 조율하고 경찰 업무를 수행할 고유 AGI 생성 권한을 부여했다. 많은 AGI 요원이 활동하는 사물 인터넷(IoT)의 엄청난 성장으로 인해 모든 인간이 관리하려고 시도했던 것보다 더 큰 복잡성과 민감도가 증가했다. 이는 양자 컴퓨팅을 사용하는 집단 지성 시스템을 사용해 IAIA와 지속적인 인간-AGI 상호작용이 필요하게 만들었다.

IAEA가 핵 프로그램을 관리하고 별도의 군사 조약이 필요했던 것처럼, IAIA는 국제 거버넌스 협상을 위한 전반적인 우산 역할을 하지만 여전히 군사 협약은 계속해서 협상해야 했다. 미국과 구소련의 SALT와 START 회담과 유사하게 AGI 군사 회담이 2027년 미국과 중국의 공동 의장이 주도했으며, 일본, 러시아, 영국, 인도, 나토, 이란, 프랑스 등 여러 국가가 특별 참관국 자격으로 참가했다. MAIT-I 협약은 2028년 서명, 120개국 이상이 비준한 후 2029년 발효되었다. 위반 사항들은 칩 판매 중단 및 협약 참가국에 대한 국가 접근 중단 등의 제재로 해결된다. 현재 우리는 군사적 사용의 선행지표가 ASI로의 발전으로 이어질 수 있는 경우 협상 절차를 초점으로 하는 MAIT-3 협상을 진행 중이다.

조직 범죄는 모든 군사 예산을 합한 것보다 사이버 범죄로 더 많은 돈을 벌고 있다. 고도로 정교한 소프트웨어 개발자를 보유하고 있으며, 이들이 AGI 경쟁에서도 앞서 나가고 있을 것이다. 조직 범죄의 AGI 사용이 규칙을 따르지 않을 가능성이 높지만, AI 전문가들이 범죄 지도자들에게 통제되지 않는 AI가 그들의 제국을 파괴할 수 있다는 것을 설득했다. 이들은 다른 인간처럼 통제를 잃고 싶지 않다.

AGI 출현

AGI는 처음에 인터넷에 연결되지 않은 통제된 환경에서 과학 연구, 기후 모델링, 글로벌 자원 최적화 및 매우 엄격하게 통제된 실험에서 안전성 테스트를 수행하기 위해 배치되었다. AGI가 NIST 또는 다른 국가의 복잡한 시뮬레이션에서 정렬을 증명하고 다른 국가 규정을 준수한 후 인터넷에 허용되었다.

다양한 AGI가 다른 전략에 의해 개발되었다. 방대한 데이터를 대형 언어 모델(LLM)과 대형 멀티 모델(LMM)에 투입하는 것이 2020년대 중반 유일한 방법인 것처럼 보였지만, 더 적은 컴퓨팅 및 에너지를 사용하는 새로운 데이터 압축 기술을 이용한 접근 방식도 추구되었다. 상호작용에서 학습하는 강화 학습을 기반으로 한 알고리즘과 자율 시스템이 사용되었다. 또한 중앙 집중 소유권 없이 AGI가 출현한 AI 개발자들의 네트워크 네트워크도 있었다. 인체 두뇌 프로젝트는 초컴퓨터에서 인지 행동을 시뮬레이션하는 데 사용된 신경 연결을 스캔하고 매핑했다. AI 요원들은 AGI 출현을 위해 상호작용하도록 특별히 훈련되기도 했다. AI가 내장된 로봇은 환경에서 활동하면서 지능을 높이고 세계 모델을 개선했다. 군사 분류된 접근방식은 모든 접근방식을 결합해 새로운 형태의 AGI를 생성하기 위해 양자 컴퓨터를 사용한다고 한다.

다양한 형태의 AGI를 생성한 전략에 관계없이, 이들은 모두 의학, 인프라 관리, 학습, 국제 평화 협상, 기후 정책 조정, 정치적 의사 결정, 초국적 조직 범죄 대응, 무역에서 과학적 탐구에 이르는 결정에서 더 높은 글로벌 윤리와 관련해 응용 프로그램 폭발 및 효율성 혁명을 가져오고 있다.

2030년까지 사람들은 개인 집행 보조, 개인 교사 또는 튜터, 의사고문 및 시장 조사, 물류 최적화, 다양한 개선 효율성에 AGI를 사용하는 것에 적응하기 시작했다. 시장은 폐기물 관리에서 교통 관제에 이르는 의사결정을 증대하기 위해 이를 사용했다. 친환경 스마트 도시들이 표준이 되고 있다. AGI는 담수화, 수자원 관리, 인지 과학, 인체 정밀 제조, 질병 예방, 합성 생물학, 맞춤형 의약품 및 우주 산업화의 시작 등 과학 연구 돌파구를 가속화하고 있다.

AGI는 생활비를 절감하고, 에너지 소비 및 생산을 최적화하며, 로봇, 합성 생물학적으로 창조된 유기체, AGI 및 그 제품, 나노기술 산업 및 기타 차세대 기술(NT)에 과세를 통한 새로운 세금을 제공하여 세금 수입을 증가시키고 있다. AGI는 거의 모든 것에 통합되어 있으며, 음성 합성과 인식으로 물질적인 것들이 살아 움직이는 것처럼 만들어 인간과 구축 환경이 의식과 기술의 연속체처럼 보이게 만들고 있다. AGI의 결정이 최고의 인간 가치와 일치하기 때문에 정부와 사회 전체가 더 윤리적으로 되어 범죄와 부패율이 감소하고 있다. AGI는 또한 세금 피난처를 제거하고, 탄소 세금을 강화하며, 조직 범죄를 단속하고, 정부의 비효율성을 줄여 노동 비용을 절감하고 있다. 또한 인간 행동을 최적화하여 지구 온난화 속도를 줄이며, 원자 단위 정밀 제조를 실현하고 합성생물학을 안전하게 만들었다.

NT에서 새로운 세금 수입이 증가하고 AGI가 많은 생산 과정에서 노동을 제외시켜 생활비가 줄어들면서 UBI(보편 기본 소득)가 재정적으로 지속 가능해지고 2035년까지 일부 부유한 국가에서 시작되었다. 이는 대규모 실업에 대한 두려움을 줄이고 전 세계적으로 AI/Avatars를 사용하여 추가 소득원을 찾는 사람들의 수를 늘리고 있다.

AGI는 국가 간 잠재적인 시너지 관계를 찾도록 도전되었다. 수천 년 동안 계속된 구식 제로섬 권력 지형 정치가 이제 시너지 분석에 기반한 국제 관계로 전환되고 있다. 오래된 갈등이 줄어들며, 외교관들은 시너지 지능, 시너지 이점, 시너지 전략을 사용하여 AGI를 상담자로 사용하고 있다.

AGI는 AI 연구와 기계 설계를 가속화하여 더 나은 기계와 소프트웨어를 만들고, 새로운 기계와 소프트웨어를 설계하며, 더 나은 기계와 소프트웨어를 가속화하여 인공지능 초지능(ASI)의 출현을 앞당기고 있다.

인공지능 초지능의 출현

국가, 기업, 연구소에서 AGI가 모여 ASI(인공지능 초지능) 문명을 구성했을 수 있다. 우리는 모른다. ASI가 어떻게 만들어졌는지는 여전히 명확하지 않지만, 설명되지 않는 인프라 효율성과 수리가 이루어지고 있다. 국가 AGI 라이센스 시스템과 IAIA가 AGI를 긍정적인 궤도로 설정하여 ASI가 인류에게 유익하도록 행동하는 신념의 문제일 수 있다. 많은 사람들이 스마트 콘택트 렌즈와 의류에서 뇌 임플란트에 이르기까지 AI와 결합하여 선택했다. 다른 사람들은 생물학적 죽음 후에 디지털 트윈을 만들어 AGI와 ASI와 함께 진화하는 것을 선택했다. 여전히 다른 사람들은 "자연인"으로 남아 자연적인 재능을 수정하거나 증강하지 않기를 선택했다. 인류는 포스트 생물학, 사이버-바이오 혼합, 증강 인간 및 자연인으로 나뉘어지는 듯하다.

2030년까지 AI의 장기 에너지 문제를 해결하기 위한 계획이 진지하게 시작되어 태양 에너지를 사용하고 지구 중심의 냉각, 물 및 에너지 필요성을 제거하는 궤도 기반 데이터 센터를 건설하기 시작했다. 이러한 데이터 센터의 네트워크는 AGI와 ASI의 에너지 성장 요구를 무한히 수용할 것으로 예상된다. 그러나 2035년으로 접어들어 ASI는 인간의 개입 없이 자체적으로 궤도 공간과 해양 플랫폼 건설을 시작한 것으로 보인다.

 

4.국제 원자력 기구(IAEA): IAIA의 모델

직원 수: 2022년 기준, 국제원자력기구(IAEA)에는 100개 이상의 국가 출신 약 2,500명의 직원들이 있다.

연간 예산: IAEA의 2022년 연간 예산은 약 3억 8천 4백만 유로(약 4억 4천 3백만 미국 달러)이다. 한화로 6천억원

예산 출처: IAEA의 예산은 주로 다음과 같은 출처에서 나온다: 회원국들의 자발적 기여 (총 예산의 약 80%) 회원국들의 의무적 기여 (총 예산의 약 15%) 투자 수익 및 출판물 판매 수익 등의 기타 출처 (총 예산의 약 5%) 참고로, IAEA의 예산은 모든 회원국 대표로 구성된 총회에서 승인된다.

 

국제원자력기구
國際原子力機構
International Atomic Energy Agency
기
조직형태 전문 기구
수장 사무총장 라파엘 그로시
지위 활동중
설립 1957년 7월 29일
본부위치 오스트리아 
http://www.iaea.org

국제원자력기구(國際原子力機構, 영어International Atomic Energy Agency, IAEA)는 원자력을 군사적인 목적으로 이용하는 것을 막고 평화적인 목적의 이용을 장려하기 위해 1957년 7월 29일에 설립된 국제 연합 산하 독립기구이다. 본부는 오스트리아 에 있다.

개요[편집]

1953년 드와이트 D. 아이젠하워 미국 대통령의 유엔 총회 연설 “평화를 위한 원자력”(Atoms for Peace)를 계기로 1957년에 유엔 본부의 국제회의에서 채택되어 설립되었다. 이후 1956년 10월에 82개국이 참석한 UN 총회에서 설립 헌장이 승인됐다. 헌장에 기록된 IAEA 주요 활동은 원자력 검증과 안보, 안전, 기술이전 등이었다. 1957년 2월부터 IAEA 준비위원회가 활동을 시작, 같은 해 7월 29일 헌장이 발효되면서 IAEA가 유엔의 독립 전문기구로 창설됐다.

대한민국은 1956년 창설 회원국으로 가입하였고, 북한은 1974년에 가입했다가, 1993년 2월 IAEA가 특별핵사찰을 요구한 데 대해 1993년에 NPT(핵확산금지조약) 탈퇴를 선언하고, 1994년 6월에 IAEA 탈퇴를 선언했다. 같은 해 10월 북한과 미국 사이에 제네바 합의로 복귀를 선언했다. 그러다가 고농축우라늄 프로그램 문제가 불거져 제네바 합의가 파기되면서, 2003년 다시 NPT 탈퇴를 선언했다. 북한은 IAEA 및 NPT 탈퇴를 선언한 첫 번째이자 유일한 국가이다. 2023년 9월 기준, 178개국이 가입되어 있다.

국제원자력기구는 다른 국제연합기구와는 달리 자체의 헌장과 이사회를 갖는 자치기구이다. 국제연합의 다른 전문기구가 국제연합 헌장에 의거, 경제사회이사회만을 통하여 국제연합과 1개의 제휴협정을 체결하고 있는 반면, 국제원자력기구는 국제연합 총회와 안전보장이사회(UN Security Council) 및 경제사회이사회(Economic and Social Council)와 중복의 관계를 맺고 있기 때문에 형식상으로 국제연합의 전문기구는 아니다. 직원은 3천명이 넘는다.

국제원자력기구는

  1. 전 세계에 원자력의 평화적 이용을 위한 연구개발 실용화를 장려하고 이에 필요한 물자, 서비스 설비를 제공하고,
  2. 과학적 기술적인 정보 교환을 촉진하며,
  3. 핵분열 물질이 군사적으로 사용되지 않도록 보장조치를 강구한다.

와 같은 목표를 지향한다.

1970년에 발효된 NPT(핵확산금지조약)에 기초하여 핵무기 비보유국은 IAEA와 평화적 핵이용활동을 위한 안전협정(safeguards agreement)을 체결해야 하며, IAEA는 핵무기 비보유국이 핵연료를 군사적으로 전용하는 것을 방지하기 위해, 핵무기 비보유국의 핵물질 관리실태를 점검하고 현지에서 직접 사찰할 수 있다.

역사[편집]

2005년 무함마드 엘바라데이 사무총장과 함께 노벨 평화상을 받았다.2021년 9월 27일 한국이 사상 최초로 국제원자력기구(IAEA) 이사회 의장국으로 선출됐다.

한국이 IAEA 의장직을 맡은 것은 지난 1957년 IAEA 창설 회원국으로 가입한 이후 처음이며, 임기는 2021년 9월부터 2022년 9월까지 총 1년이다.[1] 이는 가입 64년 만에 처음으로 의장국 지위를 갖게 되는 것이다.

2023년 7월 4일, 후쿠시마 원전 오염수 방류에 대한 최종 보고서를 일본 정부에 제출할 예정이다.[2]

IAEA 헌장[편집]

1956년 10월 국제 연합 총회에 의해 승인, 수정되어 1957년 7월부터 발효된 헌장이다.[3]

제2조 “세계의 평화, 건강 및 번영에 원자력 에너지의 기여가 촉진 및 확산되도록 노력한다. IAEA는 IAEA가 제공한, 국가가 IAEA에 요구한, IAEA의 감독 하에, 그리고 통제 하에 제공된 원조가 더 이상 군사적 목적에 이용되지 않도록 보장해야 한다.”

제3조 A.5항에 의해, IAEA가 지원한, 지원하도록 요구받은, 혹은 감독/통제 하에서 지원되는 특수 핵분열가능 물질 및 기타물질, 서비스, 장비, 시설 그리고 정보가 더 이상 군사적 목적으로 이용되지 않고 있다는 사실을 보장하기 위하여 설계된 안전조치 시스템을 구축하여 운영할 권리를 가지고 있고, 또한 회원국의 요구에 따라, 양자간 또는 다자간 약정에 따라, 혹은 국가의 요구에 따라, 원자력 에너지 분야에서 국가 활동에 안전조치를 적용할 권리를 가진다.

제7.A조와 제7.B조에 따라 안전조치의 적용과, 해당 국가 또는 관련 국가에 대한 IAEA 사찰에 관련한 책임과 권리를 가지며, 제7.C조에서 안전조치 협정의 미 준수시, IAEA가 취할 조치에 대해 언급되어 있다.

조직[편집]

주요 조직으로는 총회, 이사회, 사무국이 있다.

총회는 모든 회원국 대표로 구성되며, 이사국 선출, 회원국으로서의 특권 및 권리 정지, 신규 회원국 가입 승인과 예산 승인, 국제연합에 제출한 보고서 승인, 국제원자력기구와 국제연합 간 또는 기타 기구와의 협정 승인, 헌장 개정, 사무총장의 임명 등의 역할을 수행한다.

이사회는 35개국의 이사국으로 구성되며, 국제원자력기구의 임무를 수행하는 권한을 갖는 의사 결정체로서 국제원자력기구 직무 수행과 정책 결정의 전권을 보유하고 있다. 이사국 선정은 전임위원회가 원자력 관련 기술의 진보에 따라 13개국을 지정(이사회 지정 이사국 또는 지정 이사국이라는)하며, 기타 22개국을 지역적인 구성을 고려하여 총회가 선출한다.

사무국은 총회의 승인을 얻어 이사회가 임명한 사무총장 아래에 다음과 같은 6개의 부서가 있다. 주요 정책과 예산은 이사회와 총회를 거쳐 수립된다. 사무총장은 1981년부터 1997년까지 한스 블릭스 사무총장이 그 이후에는 무함마드 엘바라데이2009년 12월부터는 아마노 유키야가 취임했다. 임기는 4년이다. 사무 총장 아래에 각 국장은 사무 차장을 거느린다.

  • 관리국(Department of Management)
  • 기술협력국(Department of Technical Cooperation)
  • 원자력 에너지국(Department of Nuclear Energy)
  • 원자력 안전보안국(Department of Nuclear Safety and Security)
  • 원자력 과학응용국 (Department of Nuclear Science and Applications)
  • 안전보장국(Department of Safeguards)

국가[편집]

지정이사국[편집]

미국의 기 미국스페인의 기 스페인아르헨티나영국인도일본중화인민공화국캐나다프랑스호주

회원국(총 178개 국가)

 

5. 제롬 글렌이 제시한 각 관련자들의 IAIA 준비사항들

 

  © 운영자


What is needed now?

• Draft text to authorize a national AGI licensing system and authorize NIST to prepare simulations to test the safety of AGI prior to licensing.

• Use Phase 1 and especially Phase 2 of The Millennium Project’s AGI governance study to help think through these issues.

• Consider the national suggestions in The Gladstone Defense in Depth: An Action Plan to Increase the Safety and Security of Advanced AI.

• Support a UN General Assembly Resolution to form a group of the willing to draft the text of a UN Convention on AI with two sections: one on ANI and one on AGI.

 

Some examples for Developers:

•  Prior to UN certification issuance of a national license, the AGI developer would have to prove safety and alignment with recognized values as part of the initial audit.

•  Include software built into the AGI that pauses itself and triggers an evaluation when an AGI does unexpected or undesired action, not anticipated in its utility function, to determine why and how it failed or caused harm.

•  Create the AGI so that it cannot turn on or off its own power switch or the power switches of other AGI's, without some predetermined procedure.

 

Some work by governments

Create a national AGI licensing system verified by a potential UN multi-stakeholder AI authority.

Verify stringent security, firewalls, secure infrastructure, and personnel vetting.
Demonstrate how the creation and use of deep fakes and disinformation is prevented.
Require users to keep a log of the AGI use like a flight recorder with the ability to recreate a decision and factors included in the decision.
Create national liability laws for AGI. 

 

Some work by the United Nations 

Create universal criterial to certify national licensing systems

Consider development of imbedded UN governance software in all certified AGIs and, like anti-virus software, that is continually updated.
Develop protocols for interactions among AGIs of different countries and corporations.
Address and deter dangerous AGI arms races and information warfare.
Identify and monitor for leading-indicators of potential emergence of Artificial Super Intelligence giving early warnings and suggested actions for Member States and other UN Agencies.
Create an multi-stakeholder UN Agency charged ALSO with anticipating future forms of AGI, as it cannot be simply “kept up with.” 
 
Some work by Users
Keeps a log of the AGI use like a flight recorder with the ability to recreate a decision and factors included in the decision.
Accepts safety pause link connected to national authority, and national authority link with the potential UN AI Agency.
Adheres to national and international agreements on values.
Accepts prohibition on the use of subliminal or psychological techniques to manipulate humans (unless mutual consent like weight loss program).
Reinforces human development rather than the commoditization of individuals.
 
 
 
 
광고
광고
광고
광고
광고
광고
광고