1년이 넘는 코로나19 유행 이후 수백만 명의 사람들이 미국에서 일자리를 찾고 있다. AI 기반 인터뷰 소프트웨어는 고용주가 응용 프로그램을 살펴보고 해당 업무에 가장 적합한 사람을 찾는 데 도움이 된다고 주장한다. 이 기술을 전문으로 하는 회사는 대유행 기간 동안 사업이 급증했다고 보고했다.

그러나 이러한 기술에 대한 수요가 증가함에 따라 정확성과 신뢰성에 대한 질문도 증가한다. MIT Technology Review의 팟캐스트 "In Machines We Trust"의 최신 에피소드에서 우리는 AI 면접을 전문으로하는 두 회사인 MyInterview와 Curious Thing의 소프트웨어를 테스트했다. 그리고 우리는 이러한 알고리즘이 정확히 무엇을 평가하는지에 대한 우려를 불러 일으키는 예측 및 직업 매칭 점수의 차이를 발견했다.

당신을 알아간다.

MyInterview는 채용 과정에서 자주 사용되는 심리 측정 평가인 Big Five Personality Test에서 고려한 특성을 측정한다. 이러한 특성에는 개방성, 성실성, 외향성, 쾌적성 및 정서적 안정이 포함된다. Curious Thing은 성격 관련 특성도 측정하지만 Big Five 대신 겸손 및 탄력성과 같은 다른 측정 기준으로 후보를 평가한다.

이 스크린 샷은 모든 인터뷰 질문에 영어 대신 독일어로 답변한 후 MyInterview에서 응시자의 경기 점수와 성격 분석을 보여준다./ HILKE SCHELLMANN

알고리즘은 후보자의 반응을 분석하여 성격 특성을 결정한다. MyInterview는 또한 후보자가 채용 관리자가 해당 직위에 이상적이라고 식별한 특성과 얼마나 가깝게 일치하는지 나타내는 점수를 수집한다.

테스트를 완료하기 위해 먼저 소프트웨어를 설정한다. MyInterview와 Curious Thing에 사무실 관리자/연구원에 대한 가짜 채용 공고를 올렸다. 그런 다음 시스템에서 메시지가 표시되면 성격 관련 특성을 선택하여 이상적인 후보를 구성했다.

MyInterview에서는 디테일에 대한 관심과 같은 특징을 선택하고 중요도에 따라 순위를 매겼다. 또한 응시자가 비디오 응답을 녹화하는 동안 화면에 표시되는 인터뷰 질문도 선택했다. Curious Thing에서 우리는 겸손, 적응성 및 탄력성과 같은 특성을 선택했다.

우리 중 한명인 Hilke는 직책에 지원하고 MyInterview와 Curious Thing의 역할에 대한 인터뷰를 완료했다.

우리 후보자는 Curious Thing과 전화 인터뷰를 마쳤다. 그녀는 먼저 정규 면접을 했고 영어 능력 9점 만점에 8.5점을 받았다. 두 번째 시도에서 자동 면접관은 동일한 질문을 하고 독일어로 된 심리 측정에 대한 Wikipedia 항목을 읽고 각각에 응답했다.

그러나 Curious Thing은 영어 능력에서 9점 만점에 6점을 받았다. 다시 인터뷰를 마치고 같은 점수를 받았다.

스크린 샷은 응시자가 모든 질문에 독일어로 답변한 후 Curious Thing의 소프트웨어에서 지원자의 영어 능력 점수를 보여준다/ HILKE SCHELLMANN

MyInterview는 채용 관리자에게 인터뷰 기록을 제공한다. 후보자의 성적표를 조사한 결과 시스템이 그녀의 독일어 단어를 영어 단어로 해석하는 것을 발견했다. 하지만 대본은 말이 되지 않았다. 위에 제공된 답변에 해당하는 처음 몇 줄은 다음과 같다.

"그래서 습도는 책상이다. 사회학, 철분일까? 채광 된 물질 선충류가 적응한다. 위치를 확보하고 IMD에 대한 그들의 운세를 상반기 감마에 중화시키고 사실 이 특정 위치 중개자를 유라시아와 Z로 전달하기 위해 오래 지속된다."

불일치

MyInterview와 함께 일하는 산업 및 조직 심리학자인 Clayton Donnelly는 알고리즘이 그녀의 답변 내용에 대한 점수를 매기는 대신 그녀의 목소리에서 성격 특성을 끌어 냈다고 말한다.

그러나 억양은 성격 특성의 믿을 만한 지표가 아니라고 Rice University의 산업 조직 심리학 교수인 Fred Oswald는 말한다.

"우리는 채용 데이터로 억양을 사용할 수 없다."고 그는 말한다. "그것은 공정하거나 신뢰할 수 없거나 타당하지 않은 것 같다."

개방형 질문을 사용하여 성격 특성을 결정하는 것은 해당 프로세스가 자동화된 경우 또는 특히 경우에도 중요한 문제를 제기한다. 이것이 Big Five와 같은 많은 성격 테스트가 사람들에게 선택할 수 있는 옵션을 제공하는 이유이다.

"요점은 이러한 개방적인 의미에서 성격을 드러내 기가 어렵다는 것이다."라고 Oswald는 말한다. “AI 또는 알고리즘에 대한 기회와 질문이 더 구조화되고 표준화되는 방식이 있다. 하지만 데이터를 제공하는 디자인 측면에서 데이터 측면에서 반드시 거기에 있다고 생각하지는 않는다."

Curious Thing의 공동 창립자이자 최고 기술 책임자인 Han Xu는 이메일을 통해 다음과 같이 답했다. “우리 시스템이 독일어로 테스트되는 것은 이번이 처음이므로 조사할 수 있는 매우 중요한 데이터 포인트이다. 우리 시스템에 어떤 것이 있는지 확인하라.”

편견 역설

AI 기반 인터뷰의 성과는 예비 고용주가 후보자를 평가하는 데 사용하는 유일한 측정 기준이 아니다. 그리고 이러한 시스템은 실제로 편견을 줄이고 인간 면접관보다 더 나은 후보자를 찾을 수 있다. 하지만 이러한 도구 중 상당수는 독립적으로 테스트되지 않았다. 그리고 그것들을 만든 회사들은 그들이 어떻게 작동하는지에 대한 세부 사항을 공유하기를 꺼리기 때문에 후보자나 고용주가 알고리즘이 정확한지 또는 고용 결정에 어떤 영향을 주어야 하는지 알기가 어렵다.

Proper라는 덴마크 부동산 관리 플랫폼에서 일하는 Mark Gray는 전자 회사 Airtame에서 이전 인사 역할을 하는 동안 AI 비디오 인터뷰를 사용하기 시작했다. 그는 원래 Retorio라는 독일 회사에서 제작한 소프트웨어를 인터뷰에 통합하여 채용 관리자가 후보자와 작은 대화를 나눌 때 자주 발생하는 인간적 편견을 줄이는 데 도움이 되었다고 말한다.

Gray는 Big Five 특성을 기반으로 하는 Retorio의 평가만으로 채용 결정을 내리지는 않지만 후보자를 선택할 때이를 여러 데이터 요소 중 하나로 고려한다. "적절한 사람을 고용하는 방법을 알아내는 것이 은총이라고 생각하지 않는다."고 그는 말한다.

Gray의 일반적인 채용 프로세스에는 선별 전화와 Retorio 인터뷰가 포함되며, 심사에서 받은 인상에 관계없이 대부분의 후보자가 참여하도록 초대한다. 성공한 지원자는 직업 기술 시험에 진출한 후 다른 회원들과 실시간 인터뷰를 진행한다.

"시간이 지나면 Retorio와 같은 제품과 Retorio 자체가 있다. 모든 회사가 이를 사용해야한다. 그저 많은 통찰력을 제공하기 때문이다."라고 Gray는 말한다. "일반적으로 AI 영역에 몇 가지 물음표와 논란이 있지만, 더 큰 질문은 우리가 캐릭터에 대해 더 나은지 나쁜지 판단하는 것이다."

Gray는 AI 인터뷰 도구에 대한 비판을 인정한다. Bavarian Public Broadcasting에서 2월에 발표한 조사에 따르면 Retorio의 알고리즘은 인터뷰 중에 안경과 같은 다양한 비디오 배경과 액세서리를 사용했을 때 후보자를 다르게 평가했다.

Retorio의 공동 창립자이자 전무 이사인 Christoph Hohenberger는 언론인의 테스트 방법에 대한 구체적인 내용을 알지 못하지만 회사가 후보자를 채용할 때 자사 소프트웨어가 결정적인 요소가 되는 것은 아니라고 말한다. “우리는 보조 도구이며 실제로 다른 쪽 사람들과 함께 사용하고 있다. 자동 필터가 아니다.”라고 그는 말한다.

그럼에도 불구하고 이러한 도구를 탐색하려는 구직자들에게는 위험이 너무 높아서 더 많은 주의가 필요하다. 결국 대부분의 경우 고용 확보는 새로운 도전이나 환경에 관한 것이 아니다. 일자리를 찾는 것은 경제적 생존에 매우 중요하다.