1,000명에게 물었는데 못 믿는 설문이 되는 이유

“성인 1,000명에게 물었다”거나 “95% 신뢰수준에서 표본오차는 ±3.1%포인트다”라는 설명은 정밀해 보인다. 그러나 이 숫자는 조사 대상이 어떻게 뽑혔는지, 누가 응답하지 않았는지, 무엇을 어떻게 물었는지까지 보증하지 않는다.

캐나다 통계청의 조사 품질 가이드는 오차범위가 확률표본에서 발생하는 표본오차만 나타내며 포괄·무응답·측정·자료처리 오류는 포함하지 않는다고 설명한다. 설문 결과를 평가하려면 표본 수에 머물지 말고 결과 한 줄이 만들어진 과정을 거꾸로 추적해야 한다.

표본 수보다 모집단과 표집틀을 먼저 확인한다

“몇 명이 응답했는가”보다 “누구에 관해 말하려는 조사인가”가 먼저다. 목표 모집단이 전국 성인인지, 특정 제품을 최근 이용한 고객인지, 회사의 구매 결정권자인지에 따라 같은 1,000명의 의미가 달라진다.

조사 대상에게 접근할 때 사용한 목록이나 경로인 표집틀도 확인해야 한다. AAPOR의 설문조사 모범 기준에 따르면 표집틀의 구성은 모집단 구성원이 표본에 포함될 기회를 얻는지를 결정한다. 특정 앱 이용자에게만 배너를 보여준 조사는 앱을 쓰지 않는 사람을 처음부터 포함할 수 없다. 고객 명단으로 조사했다면 아직 구매하지 않은 잠재 고객의 의견까지 대표한다고 보기 어렵다.

모집단과 표집틀 사이에 큰 틈이 있으면 표본을 늘려도 빠진 집단은 돌아오지 않는다. 표본이 10만 명이어도 자발적으로 링크를 누른 사람만 모았다면 작은 확률표본과 같은 방식으로 모집단 오차를 계산할 근거가 생기지는 않는다. AAPOR 비확률표집 태스크포스 보고서는 비확률표본의 추론이 이론적 근거와 명시적인 가정에 의존하며, 표집·자료수집·추론 방법을 투명하게 밝혀야 한다고 설명한다.

표본 수를 세기 전에 목표 모집단 중 누가 표집틀에서 빠졌는지 확인한다.

‘385명이면 충분하다’는 조건부 계산이다

95% 신뢰수준과 ±5%포인트를 전제로 하면 비율 50%에서 필요한 표본은 약 384~385명이다. SurveyMonkey 표본 크기 계산기도 모집단 크기, 신뢰수준, 허용 오차에 따라 필요한 수가 달라진다고 설명한다. 이 계산으로 모집단을 추론하려면 확률표집 같은 근거가 필요하며, 무응답 편향과 질문 문구의 문제는 별도로 남는다.

보고서에 표본오차가 적혀 있다면 표본 수보다 표집 방식을 먼저 찾아야 한다. 무작위 추출인지, 확률적으로 모집한 패널인지, 자발적 가입 패널에서 할당한 것인지 구분되지 않는다면 ±오차범위를 조사 전체의 보증서처럼 읽을 수 없다.

응답률은 분모와 이탈 경로를 함께 본다

‘1만 명에게 보내 1,000명이 완료했으니 응답률 10%’라는 계산은 간편하지만 조사 방식이 다르면 그대로 비교하기 어렵다. 적격 대상인지 확인되지 않은 사례, 일부만 답한 사례, 연락에 실패한 사례를 어느 분모에 넣었는지에 따라 값이 달라지기 때문이다.

AAPOR의 2023년 응답 결과 표준은 응답률과 협조율·거절률·접촉률을 구분하고, 완성·부분 응답과 적격 여부 미확인 사례를 표준화된 최종 상태로 분류한다. 보고서가 ‘완료자 ÷ 초대 인원’만 제시했다면 다른 조사와 비교할 수 있는 표준 응답률인지 판단하기 어렵다.

낮은 응답률은 위험 신호지만 편향의 크기나 방향을 곧바로 알려주지는 않는다. 응답자와 비응답자가 조사 주제와 관련된 특성에서 체계적으로 다를 때 무응답 편향이 생긴다. 영국 통계청의 노동력조사 품질 관리 사례도 응답률과 무응답 편향을 별도의 지표와 분석으로 관리한다.

응답률은 완료자 수뿐 아니라 접촉 결과와 적격 여부를 어느 분모에 넣었는지에 따라 달라진다.

일반 독자가 비응답자의 답을 직접 알아낼 수는 없다. 대신 확인할 수 있는 것은 조사기관이 응답자와 원래 표본 또는 외부 모집단 자료를 성별·연령·지역 등으로 비교했는지다. 이런 비교가 없다고 결과를 즉시 폐기할 필요는 없지만 모집단 전체에 대한 단정은 줄여야 한다.

가중치를 적용해도 추론 조건은 남는다

가중치는 응답 표본에서 확인된 구성 차이를 조정한다. 특정 연령층이 적게 응답했다면 그 집단의 응답에 더 큰 무게를 줄 수 있다. 그러나 조사 참여 성향과 응답 결과가 학력, 관심도, 이용 경험처럼 관측하지 않은 특성에서 함께 달라진다면 성별·연령 보정만으로 차이가 사라진다고 단정할 수 없다.

Pew Research Center의 미국 조사 방법론은 포괄오차, 표본오차, 무응답오차, 측정오차, 처리·조정오차를 함께 보는 총조사오차 관점을 제시한다. 온라인 조사도 오프라인에서 확률적으로 모집한 패널과 누구나 가입할 수 있는 패널은 표본 생성 과정이 다르다. ‘온라인 패널 1,000명’이라는 표현만으로 두 조사의 추론 근거가 같다고 볼 수 없는 까닭이다.

방법론에서 찾아야 할 내용은 가중 변수와 기준 자료, 적용 전후 표본 구성, 지나치게 큰 가중치의 처리 방법이다. 이 자료가 공개되지 않았다면 “가중치를 적용해 전국 성인을 대표한다”는 주장보다 “가중치를 적용한 응답자 자료에서 이런 분포가 나왔다”는 범위로 읽는 편이 안전하다.

정확한 질문을 보지 못하면 결과의 뜻도 확정할 수 없다

표집이 잘됐더라도 질문이 의도한 개념을 제대로 측정하지 못하면 결과를 그대로 해석하기 어렵다. “최근 서비스에 만족했습니까”에서 ‘최근’의 기간이 없거나, 가격과 품질을 한 문항에서 함께 묻거나, 찬성 이유만 먼저 제시하면 응답자마다 서로 다른 의미로 질문을 받아들일 수 있다.

Pew Research Center의 질문 작성 방법론은 개방형·폐쇄형 여부, 선택지의 구성과 제시 순서가 응답 분포에 영향을 줄 수 있다고 설명한다. 시계열을 비교할 때는 문구뿐 아니라 문항 위치와 조사 방식도 가능한 한 같아야 한다. 올해 수치가 올랐더라도 질문이나 선택지가 바뀌었다면 실제 인식 변화와 측정 방식의 영향을 분리하기 어렵다.

기사나 요약표에 질문지가 없다면 원 보고서의 부록이 다음 확인 대상이다. 그래도 공개되지 않았다면 ‘국민이 정책에 찬성했다’처럼 넓게 해석하지 말고, 보고서가 공개한 문항명과 응답자 범위 안에서만 결과를 인용해야 한다.

표본이 같아도 질문 문구와 선택지, 제시 순서가 달라지면 응답 분포를 그대로 비교하기 어렵다.

전체 1,000명보다 실제 비교 집단의 크기를 본다

전체 표본 수는 충분해 보여도 성별·연령·업체별로 나누면 각 집단의 사례 수는 빠르게 작아진다. 한국소비자원의 프랜차이즈 헤어샵 조사 보도자료는 이용자 1,000명의 결과를 발표했지만 업체별 사례 수는 80명에서 285명까지 달랐다. 시장점유율과 매장 수를 고려해 업체별 표본을 다르게 할당했으므로 전체 표본의 정밀도를 개별 업체 비교에 그대로 적용할 수 없다.

차트는 이 차이를 확인하기 위한 자체 계산이다. 단순무작위추출, 95% 신뢰수준, 비율 50%라는 조건에서 1.96 × √(0.5 × 0.5 ÷ n) × 100으로 계산했다. 1,000명이면 약 ±3.1%포인트지만 285명은 ±5.8%포인트, 80명은 ±11.0%포인트다. 이는 한국소비자원 조사의 공식 업체별 오차범위가 아니다. 공개된 보도자료만으로 온라인 응답자의 모집 방식과 가중치, 복합 설계를 확인할 수 없으므로 표본 수에 따른 이론적 차이만 보여준다.

표본 수에 따른 이론상 95% 최대 오차범위%p

전체 표본 1,000명

±3.1%p

업체별 표본 285명

±5.8%p

업체별 표본 80명

±11.0%p

단순무작위추출과 비율 50%를 가정한 자체 계산이다. 한국소비자원 사례의 전체 표본 1,000명과 업체별 사례 수 범위 80~285명을 비교했으며 실제 조사의 공식 오차범위는 아니다.

순위 차이가 작다면 전체 표본 수보다 업체별 사례 수와 추정치의 불확실성을 확인해야 한다. 연령별 결과를 다시 지역별로 나눈 교차표도 마찬가지다. 보고서가 셀별 사례 수를 공개하지 않으면 작은 차이를 확정적인 집단 차이로 해석하지 않는다.

두 수치를 비교할 때는 차이 자체를 확인한다

업체 A가 52%, 업체 B가 48%처럼 한쪽 수치가 더 크더라도, 그 차이만으로 A가 앞선다고 단정할 수는 없다. 각 수치는 서로 다른 표본오차를 가질 수 있고, 같은 응답자에게 두 항목을 물었는지처럼 추정치 사이의 관계도 다를 수 있다. 미국 인구조사국도 표본조사 추정치를 비교할 때 단순한 대소 판단을 넘어서 표본오차를 반영한 통계 검정을 하라고 안내한다.

따라서 보고서가 제공한 비교 검정이나 차이의 신뢰구간을 먼저 찾는다. 없다면 최소한 두 결과가 같은 조사 시점·대상·질문 문구·표집 방식과 가중 기준에서 나온 값인지 확인한다. 조건이 다르거나 하위집단 사례 수, 오차 정보가 빠져 있으면 “더 높다”보다 “공개된 수치가 더 크다”로 표현을 낮추는 편이 맞다. 각 수치의 오차범위가 겹친다고 차이가 반드시 없다고 결론 낼 수도 없다. 반대로 겹치지 않는다고 해서 서로 다른 조사 설계에서 나온 수치를 곧바로 같은 척도로 비교할 수 있는 것도 아니다.

선거여론조사라면 중앙선거여론조사심의위원회 등록 화면에서 조사대상, 표본추출틀, 접촉·거절·완료 사례, 가중 기준, 전체 질문지 자료를 차례로 열어볼 수 있다. 다만 등록됐다는 사실만으로 자료의 모든 분석이 사전 검증된 것은 아니므로, 공개 항목이 많을수록 인용 범위를 넓히고 빠진 항목이 있으면 결론을 좁힌다.

공개된 정보만큼 결론의 범위를 줄인다

모든 설문을 믿음과 불신으로 나눌 필요는 없다. 확인할 수 있는 자료에 따라 주장 범위도 세 단계로 나뉜다.

모집단 일반화 검토 가능: 목표 모집단과 표집틀, 확률표집 또는 명시적인 추론 모형, 표준화된 응답 결과, 가중치와 결측 처리, 정확한 질문지, 하위집단 사례 수가 공개돼 있다. 남은 오차와 가정을 밝힌 범위에서 모집단 추론을 검토할 수 있다.
응답자 내부 경향 참고 가능: 질문과 응답 대상은 확인되지만 모집 경로, 응답률 또는 가중치 근거가 빠져 있다. ‘전체 국민’이나 ‘모든 고객’이 아니라 실제 응답자 또는 조사 패널 안의 경향으로 범위를 좁힌다.
탐색적 신호로만 사용: 링크 자발 참여, 목표 모집단 불명, 질문지 비공개, 작은 하위집단 가운데 여러 조건이 겹친다. 가설을 세우는 단서로는 쓸 수 있지만 비율의 크기나 집단 순위를 확정하지 않는다.

판정 순서는 모집단과 표집틀, 모집 방식, 접촉·응답·이탈, 가중치와 결측 처리, 질문·선택지·순서, 실제 분석 단위의 사례 수다. 이 순서는 표본오차와 비표본오차를 구분하는 캐나다 통계청의 기준, 확률·비확률표본의 추론 근거를 구분하는 AAPOR 기준, 응답률과 무응답 편향을 따로 보는 영국 통계청 사례를 일반 독자가 보고서를 읽는 절차로 바꾼 것이다.

자료 하나가 빠졌다고 설문 전체가 무효가 되지는 않는다. 다만 누락된 정보가 많을수록 결론이 가리키는 범위를 줄여야 한다. ‘1,000명이 답했다’는 말은 1,000명의 응답이 존재한다는 뜻이다. 그 응답을 누구에게까지 일반화할 수 있는지는 숫자 뒤에 있는 조사 설계가 결정한다.