이제 인터뷰 모더레이터도 인공지능이 하는 시대 (2) - Wondering.com 사용기 -

2024.07.11 - [Article/UX Research] - 이제 인터뷰 모더레이터도 인공지능이 하는 시대 (1)
이전 글에서 인공지능을 모더레이터로 활용하는 여러 사례를 소개해드렸습니다. 이번 글에서는 여러 서비스 중에서 Outset과 Wondering을 시연해본 결과 질문 세팅이 좀 더 세밀한 Wondering을 중심으로 과정을 살펴보겠습니다. 

그럼, 실제로 인공지능이 어떻게 모더레이팅을 하는지 볼까요?

1.인터뷰 질문이 어떤 목적으로 어떻게 후속 질문을 줄지를 상세하게 설정

먼저 어떤 내용의 연구인지를 적어주면 인공지능이 그 내용을 기반으로 해볼 만한 몇 가지 질문을 자동으로 생성해 줍니다. 이것을 그대로 사용해도 되고, 연구자가 각 내용을 세부적으로 조정하여 세밀한 연구를 세팅해도 됩니다.

Wondering 질문 작성 과정

 

저는 각각의 내용을 좀 더 세부적으로 조정하도록 했습니다. 조정할 수 있는 내용은 아래와 같습니다.

- 메인 질문 작성, 질문 타입 선택(인터뷰형, 사진에 대한 질의형, 단답형, 척도형) 
- 인공지능이 후속 질문을 하도록 할 것인지 여부
- 후속 질문을 몇 번까지 시도할 것인지(1~4회)
- 후속 질문을 어떤 초점으로 질문할 것인지 설정(Prompt)
- 질문의 응답 수단 우선순위(음성, 텍스트 중 우선시할 것)

 

후속 질문에 대해서 상세한 세팅이 가능한데, 이에 대한 설정에 대해서 많은 고민하게 만들더군요. 그리고 후속 질문이 너무 길어지거나, 원하는 질문 의도에서 벗어나지 않도록 세밀하게 세팅하고, Preview를 이용해서 바로 바로 확인할 필요가 있었습니다. 후속 질문을 세팅하면서 몇가지 요령이 생겼는데, 아래와 같습니다.

a. 후속 질문은 2회까지를 추천하는데 그만한 이유가 있습니다. 4회를 하는 경우 너무 길게 꼬리를 무는 느낌이 들고, 질문의 질이 현저히 떨어지는 느낌이었습니다. 전체 메인 질문이 5개라면 그 중에 정말 중요한 한가지 정도만 꼬리 질문을 길게 하는 편이 도움이 될 것 같았어요.
b. 메인 질문의 의도나 이유처럼 의미를 깊이 있게 분석할 수 있도록 질문해달라고 프롬프트를 작성하면 좋습니다. 이때 사용 경험을 묻는 경우 사용해 보지 않은 경우에 대해서도 그 이유를 물어봐달라고 프롬프트를 추가하면 거기에 맞춰 질문을 생성해 줍니다.
c. 질문 내용과 크게 다른 응답을 하는 경우에 대해서도 프롬프트를 설정하는 것이 좋을 것 같습니다. 저의 경우엔 해당 부분을 설정하지 않았는데요. 참여자 중 엉뚱한 대답을 하는 경우에 그에 맞는 적절한 질문을 하거나, 혹은 다시 같은 질문을 해보면 좋을 텐데 그러지 않아서 흐름이 끊어지는 느낌이 들었습니다.

 

2. 인터뷰 질문이 준비되었다면 누구에게 인터뷰할지를 결정 

인터뷰 작성을 완료하면 먼저 Preview를 열어 실제 질문에 응답을 테스트해볼 수 있습니다. 여기서 발생하는 문제를 빠르게 확인하고, 내용을 수정한 뒤에 인터뷰 배포를 준비합니다.

Wondering 배포 설정화면

 

wondering 및 인공지능이 진행하는 인터뷰 방식의 서비스는 모두 현지화된 언어를 사용할 수 있다는 장점을 내세우는데요. 인공지능을 활용한 자동번역 기능을 활용하기 때문입니다. wondering의 경우 언어를 브라우저를 기반으로 자동 변경할지, 특정 언어를 기본언어로 지정할지 선택할 수 있습니다. 

다만 Outset의 경우 [Recruit AI participants] 기능을 제공하고 있어 작성한 인터뷰에 대해서 사전 시뮬레이션을 인공지능이 인공지능 참여자에게 질문해 보도록 하는 기능을 제공하고 있습니다. wondering은 이러한 작업을 연구자가 직접 테스트를 해봐야하므로 여러 상황을 수집하고 문제를 찾는 데에는 한계가 있어 보입니다. 

Outset Recruit 설정 화면

또 Outset의 경우 인터뷰 진행을 텍스트가 아닌 음성으로 할 수 있고, 연구자가 좀 더 자연스러운 진행이 되도록 인공지능을 학습시킬 수 있지만 Wondering은 이에 대한 지원이 안 되는 것으로 보입니다. 

 

3. 지역이나 상황의 제약이 없는 인공지능이 진행하는 인터뷰

아래 그림처럼 브라우저를 기준으로 한국어로 변환되어 질문을 주는 것을 확인할 수 있습니다. 언어적인 제한이나, 시각이나 청각의 어려움이 있는 사용자에 대한 인터뷰에도 용이하게 활용할 수 있을 것으로 보입니다.

Wondering 인터뷰 진행 화면, 한국어로 자동 번역되어 보여진다.

응답은 제가 설정해 둔 것처럼 음성을 기본으로 선택하지만, 응답자가 텍스트 입력을 통해서 답할 수도 있습니다. 음성인식은 생각보다 잘 되었고, 한국말로 응답 시 번역하여 전사하는 과정을 거치는지 약간의 딜레이가 있었습니만 딜레이가 아주 길지는 않아서 응답하는 데 큰 문제는 없었습니다.

Outset의 경우엔 응답자의 카메라를 통해서 녹화 기능을 제공합니다. 이 부분은 연구자 입장에서 응답자의 표정이나 제스처를  확인할 수 있어 연구에 도움이 될 것 같습니다. 다만 이 경우에 참여자의 부담은 증가할 것 같아서 선택사항으로 기능을 제공한다면 어떨까 하는 생각이 들었습니다. 특히 표정과 제스처가 풍부한 문화권의 인터뷰를 할 때 유용할 것으로 보입니다.

Outset 인터뷰 진행 화면

 

4. 사람처럼 깊이 파고드는 인공지능 진행자 (어떨 땐 적절하고, 어떨 땐 엉뚱하게)

앞서 설정한 대로 응답 내용에 맞춰 후속 질문을 주는 것을 확인할 수 있습니다. 흥미로운 건 인공지능이 응답자의 내용에 공감하는 듯한 표현을 아래와 같이 쓴다는 점이었습니다.

“I understand how challenging driving in such conditions can be.”
“Thank you for sharing your experience with driving in extreme weather conditions.”

이런 부분은 마치 사람이 인터뷰할 때와 유사하여 어느 순간이 되면 정형화된 질문에 답한다는 느낌은 확실히 사라지는 경험을 하기도 했습니다.

참여자의 응답에 맞춰 후속 질문을 주는 것을 볼수 있다.

 

하지만, ChatGpt에서 느껴지는 여러 한계도 보임 

다만 몇가지 아쉬운 점이 있는데, 우리가 ChatGpt를 쓰면서 어딘가 어색하게 느끼는 그런 지점이 그대로 나타납니다. 따라서 프롬프트 설정에 따라서 후속 질문의 질이 많이 달라지는 것 같습니다. 예를 들어, 사람이라면 누군가 엉뚱한 답을 하는 경우에 사람이라면 동일 질문을 약간 바꿔 다시 묻거나, 응답자의 답으로부터 심도 있는 질문을 하는 등의 융통성을 발휘할 텐데, 이 부분에 대해서 인공지능은 대응을 잘 못하는 것으로 보였습니다.

이를 해결하기 위해서 Prompt에 몇 가지 설정이 필요한데, 아니라고 답했을 때 왜 아니라고 생각하는지 물어봐 달라거나, 응답이 없거나 응답 내용이 다른 경우엔 기존 질문을 한 번 더 해주라고 하는 등의 세부적인 설정이 필요하고, 돌발 상황에 대한 테스트를 충분히 할 필요가 있어 보였습니다.

참가자가 “좌측 핸들 운전 경험이 없다. ~ 유럽에서는 우버만 이용해서 운전 경험이 없다”고 응답했는데, “다양한 지역에서 운전한 경험을 공유해 주셔서 감사하다"고 후속 질문을 주는 등 맥락을 제대로 이해하지 못하고 있는 것을 볼 수 있습니다.

인터뷰에 참여한 분들의 피드백에 따르면, 간혹 동일한 질문이 반복되거나 맥락이 잘못된 후속 질문이 나올 때가 있음을 지적했습니다. 질문 내용이 경직되어 보이고, “지금까지 통찰력에 감사드린다”와 같은 상투적인 표현이 사용된다는 의견도 있습니다. 이는 여전히 한계점으로 보입니다.

또 응답 과정의 불성실 사례나 중간 이탈률이 높은 것도 한계로 보입니다. 또 한국인의 문화적 특성상 음성보다 텍스트를 선호할 가능성이 높은데, 사진을 이용한 테스트의 경우엔 음성 입력만 받는 점, 음성 입력 시 내가 말하는 바에 대해서 잘 입력이 되고 있는지에 대한 불안감이 발생하는 등은 개선이 필요해 보입니다.

5. 인터뷰 결과를 수집 분석해 주는 건 좋지만, 인사이트는 연구자의 몫

인터뷰를 진행하고 결과를 만들어내는 과정을 보면 많이 발전했다고 생각하지만 결국 인사이트를 뽑아내는 것은 인간 연구자의 몫으로 보였습니다. 위에서 보이듯이 응답 내용의 유사성을 보고 Tag를 달아주어 과정을 간소하게 하고, 분류를 하는 작업을 편리하게 해주지만 “그래서 어쩌라는 거지?, 그래서 뭐가?”라는 의문이 생기기 때문입니다.

수집이 완료된 내용은 수집 인원이 5명이 넘어가면 아래와 같이 인공지능이 응답 내용을 분석하여 Tag를 지정하여, 주제에 대해 블럭을 생성해 주는 것을 볼 수 있습니다.

Wondering 응답 수집 및 AI 분석 화면

예를 들어 운전 중 컨트롤이나 인포테인먼트 시스템을 사용하는 데 어려움을 겪는 참가자의 경험에 대해서는 [Infotainment Control], [Vehicle Specific Challenges], [Navigation Issues]로 나누어 주었으며, [Vehicle Specific Challenges]의 경우 “스마트 크루즈 컨트롤의 경우, 차량 디스플레이에 너무 작게 켜져 있어 꺼져있는지 켜져 있는지 알 수 없는 경우가 많습니다"라고 인용을 달아주었습니다.

각각의 주요 인용문 중에 눈길이 가거나 인사이트가 있을 만한 경우 인용문을 클릭하여 응답자의 전체 내용을 상세히 확인할 수 있습니다. 인터뷰 내용을 분류하고 분석하는 과정이 매우 길고 어려운 작업인데 이것을 대신해주는 것은 편리하게 느껴졌습니다. 다만 인공지능이 달아준 Tag에 대해서 의문이 생기는 부분도 있고, 그럴 경우에 연구자가 직접 수정함으로써 변경이 된다면 더 좋을 듯한데 그런 기능은 없는 것 같습니다.

또 Outset의 경우 차트를 통해 시각화된 자료를 함께 제공하는 것과 달리 텍스트로만 내용을 제공하는 점은 다소 아쉽게 느껴졌습니다.

Outset의 경우 차트를 만들어주기도 한다.

---

서비스를 실제로 이용해 보니

아직은 긴 인터뷰보다는 짧고 명확한 내용에 대해서 더 적합한 방법으로 보입니다. 그 때문에 궁금한 내용에 대한 본론을 바로 이야기하는 것이 도움이 될 것 같습니다. 인터뷰도 10분 이내에 완료되도록 세팅하지 않으면 이탈률이 매우 큰 것, 익명성과 인터넷 참여로 인한 불성실 응답 문제도 통제가 어렵다는 한계도 있습니다.

앞서 이야기한 진행 단계에서의 한계에 대해서도 잘 활용하기 위한 연구자의 학습이 일부 필요합니다. 질문을 준비할 때는 꼬리 질문이 어떻게 나오면 좋을지에 대한 의도를 명확하고 자세하게 Prompt에 남기는 것이 중요하고, 여러 사전 테스트를 통해서 실제 질문 흐름이 어떤지, 끊기는 지점이나 엉뚱한 질문을 하지 않는지 체크하는 것이 필요합니다. 이런 측면에서 Wondering의 경우 Outset처럼 인공지능 참여자를 통한 시뮬레이션을 할 수 없는 것은 아쉽게 느껴졌습니다.

이처럼 여러 서비스가 제공하는 기능의 차이가 있기 때문에 연구에 중요하게 생각되는 지점에 따라서 서비스를 선택 활용하는 지혜도 필요할 것 같습니다. 

결론적으로, 인터뷰를 설계하는 과정에서 문제를 설정하고 그에 맞는 적절한 질문을 구성하며, 최종 결과물에 대한 분석을 통해 인사이트를 도출하는 과정에서 UX리서처의 역량이 더욱 중요할 것으로 보입니다.

감사합니다.