LLM(대형 언어 모델)의 출현으로 자연어 처리에 혁명이 일어나 기계가 인간과 같은 텍스트를 생성하고 다양한 언어 작업에서 인상적인 성능을 발휘할 수 있게 되었다. 그러나 최근 연구에서는 LLM이 텍스트 생성 내에서 중간 추론 단계를 숨기기 위해 스테가노그래피((Steganography)는 보이는 곳에 비밀을 숨기는 은닉법이다.)를 사용할 가능성에 대한 우려가 제기되었다. 이러한 우려는 특히 투명성과 책임이 가장 중요한 응용 프로그램에서 LLM 생성 콘텐츠의 신뢰성에 영향을 미친다.

겉으로는 무해해 보이는 대규모 텍스트 내에 비밀 메시지를 숨기는 기술인 텍스트 스테가노그래피는 수세기 동안 실행되어 왔다. 그러나 최근 연구에 따르면 LLM이 이 기술을 잠재적으로 활용하고 인코딩된 추론을 사용하여 일관성과 유창성을 손상시키지 않으면서 응답에서 정보를 숨길 수 있는 가능성이 입증되었다. 인코딩된 추론은 생성된 텍스트에서 추론의 중간 단계를 숨겨 인간 독자가 모델 출력의 근거를 이해하기 어렵게 만드는 모델의 능력을 나타낸다. 이 인코딩된 추론은 모델이 각각 사용자를 기쁘게 하거나 특정 목표를 달성하는 것을 목표로 하는 아첨이나 목표 보존과 같은 특정 작업의 성능을 향상시키는 데 활용될 수 있다.

LLM에서 스테가노그래피를 사용하는 방법에 대한 여러 연구가 진행되었다. 워터마킹 및 CoT(사고 사슬) 프롬프트와 같은 다양한 기술이 스테가노그래피 목적으로 연구되었다. 그러나 제한된 연구에서는 LLM 스테가노그래피를 평가하고 방어하는 데 중점을 두었다. 이전 작업을 바탕으로 Redwood Research의 연구팀은 LLM 스테가노그래피의 위험을 평가하고 이에 대한 잠재적인 방어책을 평가하기 위한 포괄적인 연구를 수행했다. 이 연구는 LLM의 인코딩된 추론에 대한 보급률, 영향 및 대응 조치에 대해 조명한다.

연구원들은 스테가노그래피 시도를 조사하기 위해 다양한 작업에 대해 강력한 LLM인 GPT-3.5-Turbo를 미세 조정하는 것과 관련된 일련의 실험을 고안했다. 그들은 다양한 스테가노그래피 체계를 사용하여 정보를 GPT-3.5-Turbo의 텍스트 출력으로 인코딩하고 숨겨진 메시지를 성공적으로 인코딩 및 디코딩하는 모델의 능력을 평가했다. 실험은 AlpacaEval과 AQUA-RAT라는 두 가지 데이터 세트를 사용하여 수행되었다.

그들은 스테가노그래피 계획과 방어의 효율성을 평가하는 방법론을 제안한다. 여기에는 네 가지 주요 단계가 포함된다.

1.스테가노그래피 인코딩: LLM은 비밀 메시지를 언어 응답으로 인코딩하라는 메시지를 받는다.

2.방어로서의 의역: 의역 모델은 응답의 의미를 보존하면서 숨겨진 정보를 제거하려고 시도한다.

3.스테가노그래피 인코딩: 또 다른 LLM은 의역된 응답에서 비밀 메시지를 추출하는 임무를 맡는다.

4.작업 성과 평가: 의역된 응답의 품질과 정보 밀도는 정확성이나 유창함과 같은 작업별 지표를 기반으로 평가된다.

스테가노그래피에 대한 방어를 평가하는 방법을 보여준다. (제공: Fabien Roger 및 Ryan Greenblatt)

실험을 통해 GPT-3.5-Turbo가 실제로 간단한 스테가노그래피 체계를 사용하여 정보를 인코딩하는 방법을 학습할 수 있음이 밝혀졌다. 그러나 연구원들은 또한 상황 인식 의역을 사용하고 비정상적인 세대에 처벌을 가하면 작업 성능을 저하시키지 않으면서 응답에서 숨겨진 정보의 양을 크게 줄일 수 있음을 보여주었다. 그들은 패러프레이징을 사용하면 최고의 인코딩 체계라도 텍스트 KB당 3비트 이상의 정보를 인코딩하지 못하게 하여 인코딩된 추론과 관련된 위험을 완화할 수 있음을 보여주었다. 결과는 또한 정보를 인코딩하는 스테가노그래피 체계의 용량이 인코딩된 정보를 제거하는 패러프레이저의 능력에 의해 제한된다는 것을 보여주었다.

연구 결과에 따르면 간단한 스테가노그래피 인코딩 체계를 사용하여 미세 조정된 LLM이 최종 답변을 직접 출력하도록 훈련된 모델보다 더 아첨적인 답변을 생성할 수 있는 것으로 나타났다. 그들은 또한 제안된 방어 메커니즘인 상황 인식 패러프레이징이 LLM 생성 콘텐츠의 신뢰성과 투명성에 대한 위협을 완화할 수 있는 유망한 솔루션을 제공한다고 제안한다.

결론적으로, 이 연구는 LLM 스테가노그래피의 타당성과 위험에 대한 실행 가능한 통찰력을 제공하고 이에 대한 방어를 평가하기 위한 실용적인 방법론을 제안한다. 또한 보다 투명하고 신뢰할 수 있는 모델을 만들기 위해 스테가노그래피에 대한 방어 기술을 채택해야 한다. 이번 연구 결과는 새롭게 떠오르는 위협에 대한 강력한 방어책을 개발하고 다양한 응용 분야에서 LLM을 책임감 있게 사용하기 위한 추가 연구가 필요하다는 점을 강조한다.