고객 인터뷰 5명이 충분한지는 조사 목적에 달렸다. 사용성 문제를 찾아 고칠 때와 시장의 비율을 추정할 때 필요한 근거는 다르다. 새 문제·반례·빠진 고객 유형이 남았는지를 보고 추가 모집과 재시험을 정한다.
먼저 이번 조사로 내릴 결정을 한 문장으로 적어야 한다. 과업 실패를 찾아 화면을 고칠 것인지, 해결할 문제의 후보를 찾을 것인지, 후보의 비율과 우선순위를 판단할 것인지가 출발점이다. 마지막 질문이라면 소수 인터뷰만으로 결론을 내릴 수 없다.
인터뷰를 더 할지 정하는 질문 세 가지
각 조사 묶음을 마친 뒤 묻는다. 결정을 바꿀 새로운 문제가 나왔는가. 지금까지의 가설과 맞지 않는 반례가 남았는가. 중요한 고객 유형을 아직 만나지 못했는가. 하나라도 그렇다면 같은 사람 수를 채웠다는 이유만으로 종료하지 않는다.
가령 재구매 고객만 만나 가입 화면의 문제가 없다고 결론냈다면 신규 고객을 더 만나는 일이 먼저다. 반대로 해결할 화면 문제를 찾았다면 끝없이 인터뷰를 늘리기보다 수정한 화면을 다시 시험한다. 이는 모집 판단 예시이며 조사별 표본 수를 대신 계산하는 규칙은 아니다.
사용성 점검은 3~5명씩 시험하고 다시 고친다
Digital.gov의 사용성 테스트 지침은 초안 콘텐츠를 목표 사용자 3~5명에게 한 라운드씩 시험하고, 수정한 뒤 다시 테스트할 수 있다고 안내한다. 이 숫자는 모집단의 의견 비율을 추정하기 위한 표본 크기가 아니다. 과업을 수행하는 동안 발생하는 문제를 찾아 고치는 반복 단위다.
가입 화면의 이탈 지점이나 안내 문구의 오해를 확인하는 조사라면 작은 라운드로 시작할 수 있다. 결과에는 불편을 겪은 사람의 비율보다 문제가 재현된 조건, 영향을 받은 과업, 수정 후 재시험에서 달라진 점을 남기는 편이 타당하다.
고객 문제를 탐색하는 인터뷰에는 같은 숫자를 그대로 적용할 수 없다. 탐색 단계에서는 행동뿐 아니라 문제가 발생한 상황, 현재 쓰는 대안, 해결을 가로막는 조건까지 이해해야 하기 때문이다. Nielsen Norman Group의 UX 인터뷰 지침도 사용성 테스트의 ‘5명’ 규칙과 탐색 인터뷰의 표본 결정을 구분한다.
문제 발견은 작은 배치 뒤에 추가 모집을 결정한다
발견 인터뷰는 5~6명을 첫 배치로 정해 모집과 분석을 함께 진행할 수 있다. 다만 5~6명은 충분성을 보장하는 공식이 아니라, 분석하기 전에 모집을 모두 끝내지 않기 위한 운영 단위다. 고객군이 이질적이거나 결정의 위험이 크면 첫 배치만으로 멈출 근거가 되지 않는다.
각 배치가 끝나면 새 핵심 주제와 반례, 설명되지 않은 상황을 기록한다. 그중 하나라도 제품 결정을 바꿀 수 있다면 다음 배치를 모집한다. 새 핵심 주제가 계속 나오는 동안 인터뷰를 추가하라는 Nielsen Norman Group의 제안을 실제 중단 절차로 옮긴 방식이다.
여기서 새 주제는 표현만 달라진 답이 아니다. 해결하려는 과업, 문제가 생긴 상황, 현재 대안, 사용을 막는 조건 가운데 하나가 달라져 제품 선택에 영향을 줄 때 새 핵심 주제로 센다. 새 주제가 줄었더라도 중요한 반례나 설명되지 않은 고객 상황이 남아 있다면 조사를 더 해야 한다.
주제가 반복된 뒤에도 이유와 예외는 남을 수 있다
새 코드가 나오지 않는 시점과 문제를 충분히 설명할 수 있는 시점은 같지 않을 수 있다. 코드 포화와 의미 포화를 비교한 연구는 특정 건강 주제의 심층 인터뷰 25건을 분석했다. 이 자료에서는 주제의 범위를 식별하는 코드 포화가 9건에서, 맥락과 뉘앙스를 파악하는 의미 포화가 16~24건에서 관찰됐다.
이 결과를 고객 인터뷰의 보편적인 인원표로 사용할 수는 없다. 연구 주제와 표본이 한정돼 있기 때문이다. 다만 기능 아이디어의 후보만 수집하는 조사와 고객 여정, 메시지, 예외 처리까지 결정하려는 조사는 서로 다른 중단 기준이 필요하다는 점을 보여준다.
9건
16건
24건
개방형 인터뷰 질문과 포화를 분석한 연구도 주요 항목을 찾는 목표와 모든 주제의 포화를 얻는 목표를 구분한다. 한 응답자의 답을 충분히 탐색하면 중요한 항목을 더 많이 포착할 수 있다는 결과도 제시한다. 따라서 인원만 늘리고 후속 질문을 얕게 하는 방식은 충분성을 보장하지 않는다. 다만 목록형 개방 질문을 분석한 연구이므로 모든 UX 심층 인터뷰에 수치를 직접 적용해서는 안 된다.
비율과 우선순위가 필요하면 검증 방법을 바꾼다
인터뷰에서 문제가 반복되면 그 문제가 존재하고 더 검토할 가치가 있다는 근거가 된다. 그러나 전체 고객 가운데 그 문제를 겪는 비율이나 시장 규모를 알려주지는 않는다. 참여자가 모집 경로와 응답 의지에 따라 선택되므로 인터뷰 안의 빈도를 모집단 비율로 일반화하기 어렵다.
“인터뷰에서 가장 자주 나왔다”를 “전체 고객에게 가장 큰 문제다”로 바꾸려는 시점에는 인터뷰 수를 계속 늘리기보다 검증 방법을 전환해야 한다. 인터뷰로 설문 문항과 행동 지표의 후보를 만들고, 목적에 맞게 표집한 설문이나 실제 이용 데이터로 분포와 중요도를 확인한다. 설문 역시 표집 방식이 부적절하면 대표성을 확보할 수 없다는 한계가 있다.
집단별 기록이 총인원보다 중요한 중단 근거다
신규 사용자와 반복 사용자처럼 수행 과업과 이용 상황이 다르면 한 집단으로 합친 총 인터뷰 수만으로 충분성을 판단하기 어렵다. 이번 결정에 영향을 주는 행동과 상황을 기준으로 집단을 나누고, 각 집단에서 새 주제와 반례를 따로 기록해야 한다. 검토한 근거만으로 세그먼트별 최소 인원을 고정할 수는 없다.
정성 연구의 포화 개념을 검토한 연구는 포화를 연구 질문, 분석 틀, 방법론과 연결해 정의하고 수집 중단 근거를 투명하게 설명해야 한다고 지적한다. 인터뷰 연구의 표본 충분성을 분석한 연구도 선행 연구의 숫자 관행만 따르기보다 연구 목적, 표본 구성, 자료의 적합성을 함께 제시해야 한다고 본다.
실무의 첫 단계는 목적에 따라 달라진다. 사용성 점검은 3~5명씩 시험하고 수정 후 재시험한다. 문제 발견은 5~6명 정도의 운영 배치로 시작하되, 결정에 영향을 주는 새 주제와 반례, 맥락의 빈칸이 남았는지 보고 추가 모집한다. 비율과 우선순위를 판단해야 한다면 정성 인터뷰를 대표 수치로 확대하지 말고 설문이나 행동 데이터로 넘어간다. 숫자 하나보다 이 결정 과정과 중단 기록이 인터뷰의 충분성을 더 잘 설명한다.
참고 자료
- Nielsen Norman Group, 「How Many Participants for a UX Interview?」
- Qualitative Health Research / SAGE, 「Code Saturation Versus Meaning Saturation: How Many Interviews Are Enough?」
- PLOS ONE, 「Open-ended interview questions and saturation」
- Digital.gov, 「Usability testing」
- Quality & Quantity / Springer Nature, 「Saturation in qualitative research: exploring its conceptualization and operationalization」
- BMC Medical Research Methodology, 「Characterising and justifying sample size sufficiency in interview-based studies」