응답자가 30명뿐인 설문, 과제 발표에서 어떻게 말할까

조별과제 설문을 돌렸는데 응답이 30명 남짓에서 멈췄습니다. 발표는 이틀 뒤고, 슬라이드에는 이미 원그래프가 들어가 있습니다. 이때 가장 흔한 실수는 30명짜리 결과를 300명짜리처럼 말하는 것입니다. 표본이 작은 것 자체는 감점 요인이 아닙니다. 작은 표본으로 큰 주장을 하는 것이 감점 요인입니다.

"30명이면 된다"는 말은 어디서 왔을까

설문 표본 이야기를 하다 보면 어디선가 30이라는 숫자가 등장합니다. 표본 크기가 30을 넘으면 표본평균의 분포가 정규분포에 가까워진다는 통계 수업의 경험칙에서 온 말입니다. 이 경험칙 자체가 틀린 것은 아니지만, 전달되는 과정에서 보통 두 가지 조건이 빠집니다.

• 그 30은 평균을 추정할 때의 이야기입니다. "몇 퍼센트가 그렇다"는 비율을 어느 정도 정확하게 추정하려면 필요한 응답 수가 훨씬 큽니다.
• 그 30은 표본이 무작위로 뽑혔을 때의 이야기입니다. 학과 단체 채팅방과 아는 사람에게 부탁해 모은 30명은 이 조건을 만족하지 않습니다.

즉 30명은 "이제부터 모집단을 대표할 수 있다"는 합격선이 아닙니다. 특정 계산이 안정되기 시작하는 지점일 뿐입니다. 30명을 채웠다고 해서 "대학생은 이렇다"고 말할 자격이 생기지는 않습니다.

30명으로 할 수 있는 말과 할 수 없는 말

표본이 작다고 해서 데이터가 쓸모없어지는 것은 아닙니다. 말할 수 있는 범위가 좁아질 뿐입니다.

할 수 있는 말

• 이번 조사에 참여한 사람들이 무엇을 답했는지 그대로 기술하는 것
• 분포가 눈에 띄게 한쪽으로 쏠린 경우, 그 쏠림이 있었다는 사실
• 주관식에서 여러 명이 반복해서 쓴 표현이나 이유
• 다음 조사에서 확인해볼 만한 가설의 단서

할 수 없는 말

• "20대는", "대학생은" 같은 모집단 전체로의 일반화
• 집단을 둘로 나눈 뒤의 비교. 30명을 성별이나 학년으로 나누면 각 칸에 열 명 남짓만 남습니다
• 소수점 단위의 차이를 근거로 한 순위 주장
• "A 때문에 B가 늘었다"는 인과 해석. 설문은 애초에 인과를 보여주는 도구가 아닙니다

퍼센트가 과장을 만든다

30명 표본에서는 한 명이 3.3퍼센트포인트입니다. "A가 46.7%, B가 43.3%로 A 선호가 더 높게 나타났다"는 문장은 실제로는 한 명 차이를 말하고 있는 것입니다. 그 한 명이 다르게 답했다면 결론이 뒤집힙니다. 퍼센트는 작은 표본을 크게 보이게 만드는 가장 흔한 장치입니다.

그래서 표본이 작을 때는 이렇게 씁니다.

• 퍼센트 옆에 항상 실제 인원과 전체 응답 수를 같이 적습니다. "46.7%"보다 "30명 중 14명"이 정직합니다
• 소수점은 쓰지 않습니다. 30명대에서 소수점 첫째 자리는 정밀해 보이게 만들 뿐 정보를 더하지 않습니다
• 응답자가 열 명 미만인 하위 집단은 퍼센트로 쓰지 않습니다. 3명 중 2명을 66.7%라고 쓰지 않습니다
• 순위를 말하기 전에 "한 명이 마음을 바꾸면 이 순위가 뒤집히는가"를 확인합니다. 뒤집힌다면 순위가 아니라 "비슷했다"고 씁니다

표본이 어디서 왔는지 밝히면 신뢰가 올라간다

과제 설문은 대부분 편의표집입니다. 구할 수 있는 사람에게 구했다는 뜻입니다. 이것은 잘못이 아니라 조건입니다. 문제는 편의표집을 해놓고 그 사실을 적지 않는 경우입니다. 읽는 사람은 표본이 어떻게 모였는지 모르면 숫자를 어느 정도로 믿어야 할지 판단할 수 없습니다.

방법 슬라이드 한 장, 또는 보고서 한 문단이면 충분합니다. 여기에 들어갈 것은 네 가지입니다.

• 배포 경로 — 어디에 링크를 올렸는지
• 수집 기간 — 며칠 동안 받았는지
• 응답자 구성 — 학년, 연령대, 성별 정도의 대략적인 분포
• 제외한 응답 — 몇 건을 왜 뺐는지

본 조사는 ○월 ○일부터 ○일까지 학과 단체 채팅방과 온라인 커뮤니티를 통해 배포한 편의표집 설문이며, 총 응답 33건 중 응답 시간이 지나치게 짧은 3건을 제외한 30건을 분석했습니다.

이 한 문단이 있으면 30명이라는 숫자가 갑자기 정직해집니다. 없으면 같은 숫자가 부풀려진 것처럼 읽힙니다.

한계를 쓰는 것은 감점이 아니다

과제 평가는 대체로 "결론이 옳은가"보다 "무엇을 했고, 그것으로 어디까지 말할 수 있는지 아는가"를 봅니다. 한계 문단이 없으면 읽는 사람은 학생이 한계를 숨겼거나 몰랐다고 판단합니다. 둘 다 좋지 않습니다.

한계는 세 문장이면 됩니다.

1. 무엇이 한계인지 — 표본이 특정 집단에 치우쳤다
2. 그것이 결과를 어느 방향으로 왜곡할 수 있는지 — 해당 서비스에 이미 관심 있는 사람이 많이 응답했을 가능성이 있다
3. 다음에 무엇을 하면 되는지 — 다른 학과와 연령대로 배포 경로를 넓혀 재조사할 필요가 있다

"표본이 적어 일반화하기 어렵다"만 한 줄 쓰고 끝내면 형식적으로 읽힙니다. 어느 방향으로 치우쳤을지까지 쓸 때 비로소 데이터를 이해했다는 신호가 됩니다.

결과를 문장으로 옮길 때

같은 데이터라도 문장을 어떻게 쓰느냐에 따라 과장이 되기도 하고 정확한 보고가 되기도 합니다.

• 피할 문장 — "대학생의 절반 가까이가 구독 서비스를 해지한 경험이 있는 것으로 나타났다"
• 쓸 문장 — "이번 조사에 참여한 30명 중 14명이 최근 1년 안에 구독 서비스를 해지한 적이 있다고 답했습니다"

도움이 되는 습관이 몇 가지 있습니다. "응답자 30명 중"이라는 표현을 문장 앞에 붙이는 것, "~로 나타났다"라는 관찰자 어투 대신 "~라고 답했습니다"라고 쓰는 것, 그리고 확실하지 않은 경향에는 "경향이 보였습니다" 정도의 표현을 쓰는 것입니다. 발표에서 질문을 받았을 때도 이렇게 써둔 쪽이 방어하기 훨씬 쉽습니다.

그래도 표본을 조금 더 늘리고 싶다면

발표까지 시간이 남았다면 몇 가지가 실제로 효과가 있습니다.

• 마감 직전에 올리지 않습니다. 설문은 올린 직후에 응답이 가장 많이 들어오고, 그 뒤로는 눈에 띄게 줄어듭니다. 맞썰에서 오간 맞설문 요청 1,791건을 집계해 보면 요청이 들어온 시점의 설문 나이는 중앙값 기준 1일이었습니다. 즉 설문은 올라온 당일에 가장 활발히 소비됩니다. 하루 늦게 올리면 그 하루가 통째로 사라집니다
• 문항 수를 줄입니다. 응답자가 부족한 설문은 대체로 길기도 합니다. 분석에 쓰지 않을 문항을 지우는 것만으로 완료율이 올라갑니다
• 배포 경로를 하나 더 만듭니다. 경로가 하나뿐이면 응답자 수만 적은 것이 아니라 응답자가 서로 너무 비슷해집니다. 경로를 늘리면 표본 수와 다양성이 함께 개선됩니다
• 목표를 미리 정합니다. "가능한 한 많이"는 목표가 아닙니다. 몇 명이 모이면 분석을 시작할지 정해두면 배포에 얼마나 매달릴지도 정해집니다

정리

30명은 충분한 표본이 아닙니다. 동시에 아무 말도 할 수 없는 표본도 아닙니다. 할 수 있는 말의 범위를 정확히 알고 그 안에서만 말하면, 30명짜리 조사도 성실한 조사가 됩니다. 반대로 그 범위를 넘어서는 순간, 300명을 모았더라도 같은 문제가 생깁니다. 표본 크기보다 중요한 것은 자기 데이터가 무엇을 보여주고 무엇을 보여주지 않는지 아는 일입니다.

본문에 인용한 맞설문 요청 집계는 2026년 8월 27일 기준 맞썰 공개 지표입니다.