생산성을 높이고 ROI를 높이는 인간 중심의 기술이 필요하다. 데이터 라벨링 파이프 라인에 포함된 머신러닝 지원 기술을 통해 필요한 시간, 비용 및 인력을 줄일 수 있다. 기여자가 모델의 예측에 편향되는 것을 방지할 수 있는 많은 기회가 있다.

전통적인 머신러닝(ML) 방법에서 인간은 필요한 데이터의 모든 행에 주석을 추가하는 시간과 비용이 많이 드는 작업을 수행한다. 성공적인 인공지능(AI) 모델에는 정확하게 레이블이 지정된 훈련 데이터의 단위가 수백만이 아니라 수천 개가 필요하다.

AI에 대한 접근 방식이 발전함에 따라 이러한 수준의 수동 작업이 의심스러워진다. 이제 여러 가지 최첨단 사전 라벨링 모델의 기반을 확보했으므로 엔드-투-엔드 AI 배포주기의 프로세스 개선을 위해 이를 활용하는 것이 중요하다. 이러한 모델에는 자율주행차량 이미지 픽셀 라벨링을 위한 사전 라벨링, 이미지 및 문서 전사를 위한 사전 라벨링, 오디오 세분화를 위한 사전 라벨링 및 기타 여러 사전 라벨 또는 분류 모델이 포함된다. 툴링을 발전시키려면 특정 유형의 인간 중심 기술에 투자해야 한다. 즉, 생산성을 높이고 ROI를 높이는 기술이다.

인간 중심의 기술은 운영자를 장애가 아닌 자산으로 간주한다. 운영자의 기술, 지식, 유연성 및 창의성의 가치를 인식한다.

인간 중심 기술을 최적화하는 우리의 목표는 두 가지이다. 품질 저하없이 더 빠르고 효율적인 AI 파이프 라인을 생성하고, 반복적이고 정신적으로 소모되는 작업에 대한 인간의 부담을 줄여 기여자의 공정한 대우를 진행하는 것이다. 비디오에 주석을 달려면 종종 주석을 아주 조금만 변경하여 비디오의 별도 프레임에 레이블을 지정해야 한다. 예를 들어, 도로를 주행하는 자동차의 비디오는 여러 프레임으로 나뉘며 각 차량에 라벨을 지정해야 한다. 이러한 유형의 주석은 짧은 비디오를 구성하는 프레임 수를 고려할 때 수작업으로 수행하는 데 엄청난 시간이 소요된다. 머신러닝을 사용하여 주석 예측을 프레임에 즉시 적용하여 주석 프로세스를 자동화할 수 있으므로 주석자는 각 주석을 생성하는 대신 필요에 따라 간단히 조정할 수 있다.

머신러닝 지원 도구는 인간 중심 기술을 향한 노력의 기반이 된다. 데이터 레이블링 파이프 라인에 포함된 머신러닝 지원 기술을 사용하면 모델 빌드의 이 중요한 단계에 필요한 시간, 비용 및 인력을 줄일 수 있다.

또한 데이터 주석의 품질과 전달을 자동화하고 개선할 수 있는 기회를 제공한다. 이 접근 방식 (Appen에서는 "스마트 라벨링"이라고 함)에서 작업 완료 전, 도중 및 후에 중요한 터치 포인트가 존재한다.

터치 포인트 1: 작업 전

주석 작업을 실행하기 전에 사전 학습되었거나 학습 가능한 모델을 활용하여 데이터 레이블에 대한 초기 가설을 제공할 수 있다. 수동 라벨링 프로세스와 달리 기여자는 처음부터 라벨을 추가하는 대신 가설의 정확성을 확인한다.

예를 들어 도로에서 자동차를 식별하기 위해 이미지 주석 작업을 하는 경우 사전 학습된 모델을 사용하여 이러한 대상 물체나 자동차를 사전 분류할 수 있다.

다양한 모델은 사용 사례에 따라 특정 작업을 수행할 수 있다. 여기에는 노골적인 콘텐츠를 검열하는 것부터 개인 세부 정보를 흐리게 처리하고 물체 주변에 경계 상자를 추가하는 것까지 다양하다. 기존 모델을 사용하여 초기 데이터 레이블을 제공하면 주석 프로세스의 일부를 자동화하여 시간과 비용을 절약할 수 있다. 정확도는 선택한 모델 또는 모델 조합에 따라 다르다.

하지만 기여자가 모델의 예측에 편향되지 않도록 어떻게 방지할 수 있을까?

실제로 우리는 여러 주석 프로젝트에 대해 대규모 A / B 테스트를 실행하여 이를 테스트 한 결과 정반대의 사실을 발견했다. 사전 라벨링 데이터는 라벨 품질을 향상시켰다. 즉, 최종 주석을 위해 기여자에게 전달하기 전에 머신러닝 모델에 의해 완료된 초기 레이블 또는 주석이 있는 데이터는 초기 레이블이 없는 데이터보다 더 높은 품질의 레이블을 생성했다.

자율주행차용 이미지 픽셀 라벨링 프로젝트에서 초기 라벨링에 머신러닝 모델을 사용하면 모든 실험에서 기여자의 생산성이 91.5 %, 주석 품질이 10% 향상되었다.

팀이 여전히 편향에 대해 우려하는 경우 파이프 라인의 다음 두 단계에서 완화할 수 있는 추가 기회가 있다.

터치 포인트 2: 작업 중

작업에 들어가면 머신러닝 모델을 활용하여 사람의 판단을 지원할 수 있다. 예를 들어 작업에 비디오 주석이 포함된 경우 수동 프로세스는 다음과 같이 보일 수 있다. 비디오는 프레임 별 시퀀스로 분할되고 기여자는 각 프레임의 각 대상 개체에 레이블을 지정한다.

초당 24프레임의 표준 프레임 속도로 이 레이블 지정 작업은 힘들고 빠르게 반복된다. 대신 머신러닝 지원 기술을 사용하여 기여자는 대상 개체에 한 번 레이블을 지정할 수 있으며 모델은 후속 프레임에서 위치를 추적하고 예측할 수 있다. 도로에 있는 자동차의 동일한 예에 따라 기여자는 첫 번째 프레임에서 각 자동차에 레이블을 지정하고 모델은 나머지 프레임의 자동차에 주석을 달기 위해 위치를 추적한다.

그런 다음 기고자는 나머지 프레임에 대한 검토자 역할을 맡아 필요에 따라 수정한다.

작업 중에 머신러닝 지원 기술의 도움으로 기여자는 더 빠르고 정확하게 작업할 수 있다. 이 방법을 사용하면 품질 저하없이 수동 방법보다 최대 100배 빠른 주석 속도를 얻을 수 있다. 이점은 기여자에게도 확장된다. 이 방법은 인지적 부담을 줄여 작업 전반에 걸쳐 편안함을 개선한다.

최종 접점: 작업 후

모델과 기여자가 데이터에 대한 판단을 내리면 유효성 검사 단계에 들어갈 수 있다. 이 단계에서는 머신러닝 모델을 사용하여 내린 판단을 확인하고 입력이 예상 품질 임계 값 내에 있지 않은 경우 기여자에게 알릴 수 있다.

이 접근 방식에는 몇 가지 주목할 만한 이점이 있다. 특히 테스트 질문이나 동료 검토가 필요하지 않으며 요구 사항에 맞지 않는 판단에 대해 비용을 지불하게 될 위험도 줄어든다. 모델 유효성 검사 후 기여자는 작업을 제출할 수 있다.

예를 들어 텍스트 발화 프로젝트가 있는 경우 일관성 또는 언어와 같은 설정된 지표와 결합된 머신러닝 지원 유효성 검사 도구를 활용할 수 있다. 모델은 이러한 지표에 대한 정확성 요구 사항을 충족하지 않는 모든 데이터 라벨에 플래그를 지정한다.

그런 다음 사람 주석자가 레이블을 검토하고 수정한다. 챗봇 교육과 관련된 텍스트 발화 프로젝트에서 테스트된 머신러닝 지원 검증 도구를 Appen에 추가했다. 실시간 모델을 사용하여 오류율이 35% 감소했다.

'AI에 관한 것이 아니라 더 나은 AI 프로세스에 관한 것'

인간 중심 기술의 형태로 머신러닝과 인간의 노력을 결합하는 것이 AI 혁신을 위한 길이다.

데이터 주석 파이프 라인의 머신러닝 지원 기능은 회사와 기여자 모두에게 도움이 된다. 회사는 고품질 AI 솔루션을 출시하는 데 더 적은 리소스를 소비하고 더 빠르게 수행할 수 있으며 기여자는 정신적 부담과 반복을 덜 제공하는 작업을 수행할 수 있다. 후자는 AI 프로젝트에 참여하는 모든 개인에게 공정한 AI 관행을 강화하는 데 특히 중요하다.

AI 솔루션뿐만 아니라 이를 지원하는 프로세스를 개선하는 데에도 투자해야 한다. 이런 식으로 우리는 윤리적 AI에 대한 접근 방식을 발전시키고 기계 기반 솔루션으로 글로벌 문제를 해결하는 능력을 가속화할 수 있다.

AI는 기계나 사람에게만 의존하는 것이 아니다. 오히려 둘의 조합을 활용하면 서로의 강점을 강화하고 성공적인 결과를 도모할 수 있다.