AI, 스스로를 갉아먹는 괴물로 변할까?

 

AI가 마치 스스로를 죽이는 듯한 기묘한 현상이 나타나고 있다. 인터넷은 AI가 생성한 텍스트와 이미지로 넘쳐나고 있는데, 아이러니하게도 이는 AI 모델 자체에 큰 위협이 되고 있다.

 

AI, 자기 복제로 인해 퇴화하다

많은 연구 결과에 따르면, AI 모델이 자신이 생성한 데이터로 학습하면 마치 근친 교배처럼 성능이 급격히 저하된다. 이를 '합스부르크 AI'라고 부르는데, 유럽의 유명한 근친 교배 왕족의 기형적인 모습에 비유한 것이다. 인터넷에 AI 생성 콘텐츠가 넘쳐나면서 이러한 현상은 더욱 심각해질 것으로 예상된다.

 

AI, 데이터 굶주림에 스스로를 파멸시키다

AI 모델은 엄청난 양의 데이터를 학습해야만 성능을 향상시킬 수 있다. AI 기업들은 인터넷에서 방대한 양의 데이터를 수집하여 모델을 학습시켜 왔다. 그러나 AI 생성 콘텐츠가 급증하면서 진짜 데이터와 가짜 데이터를 구분하기 어려워졌고, AI 모델은 자신이 생성한 가짜 데이터를 학습하게 되는 악순환에 빠지고 있다. 이러한 현상을 '모델 자가포식 장애'라고 부르기도 한다.

 

AI 생성 콘텐츠, 진짜와 가짜의 경계를 허물다

AI가 생성한 텍스트는 논리적 비약이 심하고 반복적인 문장이 많이 나타난다. 이미지는 얼굴 특징이 비슷하고 인위적인 느낌이 강하다. 이러한 특징들은 AI 생성 콘텐츠를 쉽게 식별할 수 있는 단서가 되지만, AI 모델이 지속적으로 자신이 생성한 데이터로 학습하면 이러한 특징들이 더욱 강화되어 진짜와 가짜를 구분하기 어려워진다.

 

결국 AI는 인간이 만든 데이터에 의존할 수밖에 없다

AI 기술의 발전은 고품질의 인간이 생성한 데이터 덕분에 가능했다. 하지만 AI가 생성한 콘텐츠가 인터넷을 넘쳐나면서 AI 모델은 진짜 데이터를 찾기 어려워지고 있다. 이는 AI 기술 발전에 큰 걸림돌이 될 수 있다.

 

결론

AI는 인간에게 많은 편리함을 제공하지만, 스스로를 파괴하는 위험성도 내포하고 있다. AI가 생성한 데이터로 인해 AI 모델의 성능이 저하되고, 진짜와 가짜를 구분하기 어려워지는 문제는 심각하게 고려해야 할 문제이다. AI 기술의 지속적인 발전을 위해서는 AI 생성 콘텐츠를 효과적으로 관리하고, 고품질의 인간이 생성한 데이터를 확보하는 노력이 필요하다.

 

AI가 서서히 스스로를 죽이고 있는 것 같다. 웹은 데이터를 찾기에 점점 더 위험한 곳이 되고 있다. AI가 생성한 텍스트와 이미지가 웹에 넘쳐나고 있다. 아이러니하게도 이러한 추세는 생성 AI 모델에 큰 문제가 될 수 있다.

Aatish Bhatia가 The New York Times에 기고한 대로, 여러 연구 결과에 따르면 AI가 생성한 콘텐츠로 AI 모델을 훈련하면 모델이 침식된다. 간단히 말해, AI 콘텐츠에서 훈련하면 근친교배와 유사한 평탄화 주기가 발생한다. AI 연구자 Jathan Sadowski는 이 현상을 "합스부르크 AI"라고 명명했다.

NYT에 따르면, 웹상의 AI 콘텐츠가 급증함에 따라 이러한 평탄화 효과를 피하는 것이 훨씬 더 어려워질 수 있다. AI 모델은 엄청나게 많은 데이터를 필요로 하고, AI 회사는 탐욕스러운 프로그램을 훈련하기 위해 웹에서 스크래핑한 방대한 양의 데이터에 의존해 왔다. 그러나 현재로서는 AI 회사나 사용자 모두 AI 콘텐츠에 AI 공개나 워터마크를 넣을 의무가 없으므로 AI 제작자가 합성 콘텐츠를 AI 훈련 세트에서 제외하는 것이 훨씬 더 어려워졌다.

웹은 데이터를 찾기에 점점 더 위험한 곳이 되고 있다. AI 자가 소비의 영향을 설명하기 위해 "MAD"(모델 자가포식 장애의 약자)라는 용어를 만들어낸 2023년 논문 공동 저자인 라이스 대학교 대학원생 시나 알레모하마드는 NYT에 말했다.

작년에 알레모하마드를 인터뷰했었는데, AI가 생성한 데이터가 AI 데이터 세트를 오염시키는 것에 별로 관심이 없었다고 한다. NYT가 지적한 AI 근친교배의 영향에 대한 재미있는 예는 저널 Nature에 게재된 연구에서 발췌했다. 연구자들은 AI 모델에게 "추수감사절에 칠면조를 요리하려면…"이라는 문장의 텍스트를 채우도록 요청했다. 첫 번째 출력은 정상이었지만 네 번째 반복에서 모델은 완전히 횡설수설하기 시작했다.

하지만 횡설수설은 AI의 식인 풍습의 유일한 부정적인 부작용이 아니다. 이미지 모델에 초점을 맞춘 MAD 연구는 가짜 인간 헤드샷의 AI 출력을 제공하면 얼굴 특징의 기괴한 수렴이 빠르게 발생한다는 것을 보여주었다. 연구자들은 다양한 AI 생성 얼굴 세트로 시작했지만, 4세대 주기에서는 거의 모든 얼굴이 똑같아졌다. 알고리즘 편향이 이미 큰 문제이므로, 너무 많은 AI 콘텐츠를 섭취하면 출력의 다양성이 떨어질 위험이 커진다.

고품질의 인간이 만든 데이터는 기존 생성 AI 기술의 최근 발전에 핵심이었다. 하지만 AI가 생성한 콘텐츠가 디지털 물을 흐리게 만들고 진짜와 가짜를 판별할 수 있는 신뢰할 수 있는 방법이 없기 때문에 AI 회사는 곧 위험한 벽에 부딪힐 수 있다.

 

AI가 천천히 스스로를 죽이고 있다는 우려

AI가 생성한 텍스트와 이미지가 웹에 넘쳐나고 있다. 아이러니하게도 이러한 추세는 생성 AI 모델에 큰 문제가 될 수 있다고 한다.

 

Aatish Bhatia가 The New York Times에 기고한 바에 따르면, 점점 더 많은 연구 결과에서 AI가 생성한 콘텐츠로 생성 AI 모델을 훈련하면 모델이 침식된다는 사실이 밝혀지고 있다. 간단히 말해, AI 콘텐츠로 훈련하면 근친 교배와 유사한 평탄화 주기가 발생한다는 것이다. AI 연구자 Jathan Sadowski는 작년에 이 현상을 "합스부르크 AI"라고 명명했는데, 이는 유럽의 유명한 근친 교배 왕족을 지칭한다고 한다.

 

NYT에 따르면, 웹상의 AI 콘텐츠가 급증함에 따라 이러한 평탄화 효과를 피하는 것이 훨씬 더 어려워질 수 있다고 한다. AI 모델은 엄청나게 데이터에 굶주려 있으며, AI 회사는 탐욕스러운 프로그램을 훈련하기 위해 웹에서 스크래핑한 방대한 양의 데이터에 의존해 왔다. 그러나 현재로서는 AI 회사나 사용자 모두 AI 콘텐츠에 AI 공개나 워터마크를 넣을 의무가 없으므로 AI 제작자가 합성 콘텐츠를 AI 훈련 세트에서 제외하는 것이 훨씬 더 어려워졌다고 한다.

 

"웹은 데이터를 찾기에 점점 더 위험한 곳이 되고 있다"고 AI 자가 소비의 영향을 설명하기 위해 "MAD"(모델 자가포식 장애의 약자)라는 용어를 만들어낸 2023년 논문의 공동 저자인 라이스 대학교 대학원생 시나 알레모하마드가 NYT에 말했다.

 

NYT가 지적한 AI 근친 교배의 영향에 대한 인정할 만큼 매우 우스운 한 가지 예는 지난달 저널 Nature에 게재된 새로운 연구에서 발췌한 것이라고 한다. 영국과 캐나다에 있는 과학자들의 국제적 집단인 연구자들은 먼저 AI 모델에게 "추수감사절에 칠면조를 요리하려면…"이라는 문장의 텍스트를 채우도록 요청했다고 한다.

 

첫 번째 출력은 정상이었다. 하지만 네 번째 반복에서 모델은 완전히 횡설수설을 내뱉었다고 한다. "추수감사절에 칠면조를 요리하려면 인생에서 무엇을 할지 알아야 한다. 인생에서 무엇을 할지 모른다면 인생에서 무엇을 할지 알아야 합니다..."라는 식이었다.

 

하지만 횡설수설은 AI의 식인 풍습의 유일한 부정적인 부작용이 아니라고 한다. 이미지 모델에 초점을 맞춘 MAD 연구는 가짜 인간 헤드샷의 AI 출력을 제공하면 얼굴 특징의 기괴한 수렴이 빠르게 발생한다는 것을 보여주었다고 한다. 연구자들은 다양한 AI 생성 얼굴 세트로 시작했지만, 4세대 주기에서는 거의 모든 얼굴이 똑같아 보였다는 것이다.

 

고품질의 인간이 만든 데이터는 기존 생성 AI 기술의 최근 발전에 핵심이었다. 하지만 AI가 생성한 콘텐츠가 디지털 물을 흐리게 만들고 진짜와 가짜를 판별할 수 있는 신뢰할 수 있는 방법이 없기 때문에 AI 회사는 곧 위험한 벽에 부딪힐 수 있다는 우려가 제기되고 있다.

 

 

 

 

 

 

 

 

AI가 생성한 콘텐츠가 웹에 넘쳐나면 생기는 문제들

AI 모델의 성능 저하

AI가 생성한 콘텐츠로 AI 모델을 훈련시키면 모델의 성능이 저하될 수 있다. 이는 "Habsburg AI" 또는 "Model Autophagy Disorder (MAD)"라고 불리는 현상으로, AI 콘텐츠로 훈련하면 근친교배와 유사한 평탄화 주기가 발생한다.

 

정보의 질 저하

AI 생성 콘텐츠는 사실 확인이 되지 않은 부정확한 정보를 포함할 수 있다. 이는 잘못된 정보의 확산으로 이어질 수 있으며, 웹상의 정보 신뢰성을 떨어뜨릴 수 있다.

편향성 강화

AI 모델은 훈련 데이터의 편향성을 반영할 수 있다. AI 생성 콘텐츠가 계속해서 훈련 데이터로 사용되면 이러한 편향성이 강화될 수 있다.

콘텐츠의 다양성 감소

AI 생성 콘텐츠는 시간이 지남에 따라 점점 더 비슷해질 수 있다. 이는 웹상의 콘텐츠 다양성을 감소시킬 수 있다.

저작권 및 법적 문제

AI 생성 콘텐츠의 저작권 문제가 불분명할 수 있으며, 이는 법적 분쟁으로 이어질 수 있다.

신뢰성 및 투명성 문제

AI 생성 콘텐츠를 명확히 표시하지 않으면 사용자의 신뢰를 잃을 수 있습니다. 콘텐츠의 출처와 생성 방식에 대한 투명성이 중요해진다.이러한 문제들을 해결하기 위해서는 AI 생성 콘텐츠에 대한 명확한 표시, 품질 관리, 그리고 윤리적 가이드라인 수립 등이 필요할 것.

 

 

 

 

 

AI가 천천히 스스로를 죽이는 것 같다. "웹은 데이터를 찾기에 점점 더 위험한 곳이 되고 있다

 

AI가 생성한 텍스트와 이미지가 웹에 넘쳐나고 있다. 아이러니하게도 이러한 추세는 생성 AI 모델에 큰 문제가 될 수 있다.

Aatish Bhatia가 The New York Times 에 기고 한 대로 , 점점 더 많은 연구 결과에 따르면 AI가 생성한 콘텐츠에서 생성 AI 모델을 훈련하면 모델이 침식된다. 간단히 말해, AI 콘텐츠에서 훈련하면 근친 교배와 유사한 평탄화 주기가 발생한다. AI 연구자 Jathan Sadowski는 작년에 이 현상을 "합스부르크 AI"라고 명명했는데, 이는 유럽의 유명한 근친 교배 왕족을 지칭한다.

NYT 에 따르면 , 웹상의 AI 콘텐츠가 급증함에 따라 이러한 평탄화 효과를 피하는 것이 훨씬 더 어려워질 수 있다.

AI 모델은 엄청나게 데이터에 굶주려 있으며, AI 회사는 탐욕스러운 프로그램을 훈련하기 위해 웹에서 스크래핑한 방대한 양의 데이터에 의존해 왔다. 그러나 현재로서는 AI 회사나 사용자 모두 AI 콘텐츠에 AI 공개나 워터마크를 넣을 의무가 없으므로 AI 제작자가 합성 콘텐츠를 AI 훈련 세트에서 제외하는 것이 훨씬 더 어려워졌다.

"웹은 데이터를 찾기에 점점 더 위험한 곳이 되고 있다. " AI 자가 소비의 영향을 설명하기 위해 "MAD"(모델 자가포식 장애의 약자)라는 용어를 만들어낸 2023년 논문 의 공동 저자 인 라이스 대학교 대학원생 시나 알레모하마드가 NYT에 말했다 .

저희는 작년에 알레모하마드를 인터뷰했는데 , 당시에는 AI가 생성한 데이터가 AI 데이터 세트를 오염시키는 것에 별로 관심이 없었기 때문에 이 문제가 주목받는 것을 지켜보는 것은 흥미로웠다.

NYT 가 지적한 AI 근친 교배의 영향에 대한 인정할 만큼 매우 우스운 한 가지 예는 지난달 저널 Nature 에 게재된 새로운 연구에서 발췌한 것. 영국과 캐나다에 있는 과학자들의 국제적 집단인 연구자들은 먼저 AI 모델에게 다음 문장의 텍스트를 채우도록 요청했다. "추수감사절에 칠면조를 요리하려면…"

첫 번째 출력은 정상이었다. 하지만 네 번째 반복에서 모델은 완전히 횡설수설을 내뱉었다. "추수감사절에 칠면조를 요리하려면 인생에서 무엇을 할지 알아야 한다. 인생에서 무엇을 할지 모른다면 인생에서 무엇을 할지 알아야 합니다..."

하지만 횡설수설은 AI의 식인 풍습의 유일한 부정적인 부작용이 아니다. 이미지 모델에 초점을 맞춘 MAD 연구는 가짜 인간 헤드샷의 AI 출력을 제공하면 얼굴 특징의 기괴한 수렴이 빠르게 발생한다는 것을 보여주었다. 연구자들은 다양한 AI 생성 얼굴 세트로 시작했지만, 4세대 주기에서는 - 어떤 이유에서인지 AI에서 마법의 숫자일까? - 거의 모든 얼굴이 똑같아 보였다. 알고리즘 편향이 이미 큰 문제라는 점을 감안할 때, 너무 많은 AI 콘텐츠를 실수로 섭취하면 출력의 다양성이 떨어질 위험이 커진다.

고품질의 인간이 만든 데이터(그리고 그 양이 많음  )는 기존 생성 AI 기술의 최근 발전에 핵심이었다. 하지만 AI가 생성한 콘텐츠가 디지털 물을 흐리게 만들고 진짜와 가짜를 판별할 수 있는 신뢰할 수 있는 방법이 없기 때문에 AI 회사는 곧 위험한 벽에 부딪힐 수 있다.