설문을 배포하기 전에 분석 계획을 적는다 — 가설과 문항을 맞춰두는 법
설문지를 다 만들고 배포 버튼을 누르기 직전에 해야 할 일이 하나 더 있습니다. 모은 데이터로 무엇을 어떻게 돌릴지, 그 계획을 미리 문장으로 적어보는 일입니다. 이 순서가 뒤집히면 응답은 충분히 모였는데 가설을 검정할 변수가 없는 상황이 생기고, 그때는 되돌릴 방법이 거의 없습니다.
데이터를 다 모은 뒤에야 보이는 문제
데이터 수집이 끝나고 분석을 시작할 때 처음 발견되는 문제는 대체로 비슷한 모양입니다.
- 가설에는 두 개념의 관계를 적어두었는데, 설문에는 한쪽을 묻는 문항만 있고 다른 쪽을 묻는 문항이 없습니다
- 두 변수의 관계를 보려 했는데 양쪽 모두 "예 / 아니오"로 받아서 쓸 수 있는 분석이 거의 없습니다
- 연령대별로 비교하려 했는데 연령을 두 칸으로만 받아 더 쪼갤 수 없습니다
- 매개효과나 조절효과를 보려 했는데 해당 변수의 문항이 하나뿐이어서 척도로 다루기 어렵습니다
- 같은 개념을 묻는 문항이 설문 앞뒤에 각각 있는데, 둘 중 어느 쪽을 쓸 것인지 정해둔 적이 없습니다
공통점은 문항 자체가 나쁘다는 것이 아니라 순서가 뒤집혀 있었다는 점입니다. 문항을 먼저 모아 설문지를 완성하고, 분석은 데이터를 받은 다음에 생각하기로 미뤄둔 것입니다. 분석 계획을 먼저 적으면 이 문제들은 전부 배포 전에 드러납니다.
가설 한 줄에서 문항까지 내려가는 순서
분석 계획은 거창한 문서가 아닙니다. 가설에서 문항까지 네 단계를 차례로 적어 내려가면 됩니다.
- 가설 — 무엇이 무엇에 어떤 방향으로 관계되는지 한 문장으로 씁니다
- 개념의 정의 — 그 문장에 들어간 각 개념을 이 연구에서 어떤 뜻으로 쓰는지 정합니다. 같은 단어가 분야마다 다른 범위를 가리키는 경우가 많습니다
- 측정 방법 — 그 개념을 무엇으로 재는지 정합니다. 선행연구의 척도를 쓸 것인지, 몇 문항으로 받을 것인지, 응답 형식은 무엇인지까지 내려갑니다
- 분석 방법 — 그 문항들로 어떤 통계 절차를 돌려 가설을 판정할지 적습니다
네 단계 중 하나가 비면 그 자리가 나중에 문제가 되는 지점입니다. 특히 2단계를 건너뛰고 1단계에서 3단계로 바로 내려가는 일이 흔합니다. 개념을 정의하지 않은 채 문항을 고르면, 문항은 멀쩡해 보이지만 그것이 가설에 적은 개념을 재고 있는지 설명할 근거가 남지 않습니다. 심사에서 "이 문항이 그 변수를 측정한다고 보는 이유가 무엇입니까"라는 질문을 받는 자리가 대개 여기입니다.
문항과 변수를 맞춘 표를 한 장 만든다
위 네 단계를 가설마다 반복하면 표 한 장이 됩니다. 가로 칸은 이렇게 두면 충분합니다.
- 가설 번호
- 변수 이름과 역할 — 독립변수, 종속변수, 매개변수, 조절변수, 통제변수 중 무엇인가
- 해당 문항 번호
- 응답 형식과 척도 수준
- 이 가설에 쓸 분석 방법
표를 채우고 나면 두 가지가 바로 보입니다. 첫째, 어느 가설에도 쓰이지 않는 문항입니다. 궁금해서 넣어둔 문항은 설문을 길게 만들어 이탈을 늘리는 쪽으로만 작동합니다. 분석에 쓸 자리가 없으면 빼는 편이 낫습니다. 둘째, 문항이 없는 변수입니다. 이것이 앞에서 말한 치명적인 누락이고, 배포 전이라면 문항을 추가하면 끝나는 일입니다.
표는 그대로 논문의 자산이 됩니다. 방법론 장의 측정도구 절과 설문지 구성 표는 이 표를 정리한 결과물이기 때문에, 미리 만들어두면 나중에 다시 쓰지 않아도 됩니다.
응답 형식이 분석 가능성을 먼저 정한다
분석 방법을 정하는 데에는 주제보다 응답 형식이 더 크게 작용합니다. 같은 질문이라도 어떻게 받았는지에 따라 쓸 수 있는 절차가 달라집니다.
- 범주로 받은 응답(성별, 소속, 선택지 하나 고르기)은 빈도와 비율, 교차표 중심으로 다룹니다. 평균을 내는 것은 의미가 없습니다
- 순서가 있는 선택지(만족도 상·중·하, 빈도 구간)는 순서는 쓸 수 있지만 칸 사이의 간격이 같다고 보기 어렵습니다
- 리커트 척도를 여러 문항으로 묶어 받은 응답은 문항을 합치거나 평균해 하나의 변수로 쓸 수 있고, 상관·회귀 계열 분석의 재료가 됩니다
- 숫자로 직접 받은 응답(나이, 횟수, 금액)은 가장 자유도가 높습니다. 나중에 구간으로 묶는 것은 언제든 가능하지만, 구간으로 받아놓고 숫자로 되돌리는 것은 불가능합니다
- 복수응답은 응답자 한 명이 여러 칸을 채우기 때문에 한 변수로 취급되지 않습니다. 보기별로 따로 다뤄야 한다는 점을 계획 단계에서 알고 있어야 합니다
마지막 두 항목이 실무에서 가장 자주 손해를 봅니다. 인구통계 문항을 편하게 구간으로 받아두면 하위집단을 더 쪼개야 할 때 선택지가 없고, 복수응답을 여러 문항에 걸쳐 써두면 분석 분량이 예상보다 크게 늘어납니다.
쪼갤 계획은 문항에 미리 반영한다
"전공별로 차이가 있는지 보겠다", "이용 경험이 있는 응답자만 따로 보겠다" 같은 계획이 있다면 그 기준이 되는 문항이 설문에 있어야 하고, 칸이 분석에 쓸 수 있을 만큼 나뉘어 있어야 합니다. 여기서 두 가지를 같이 생각하게 됩니다.
- 기준 문항의 칸을 너무 거칠게 묶지 않습니다. 넓게 받아 나중에 합치는 쪽이 안전합니다
- 칸을 늘리면 칸마다 들어갈 응답 수가 줄어듭니다. 쪼갠 뒤에 각 칸에 몇 명이 남아야 하는지는 표본 수를 정할 때 함께 계산해두는 편이 낫습니다
배포 전에 분석을 한 번 돌려본다
계획을 적는 것만으로는 부족한 부분이 남습니다. 실제 데이터 파일의 모양은 설문 도구가 정하기 때문에, 직접 받아보기 전에는 알 수 없는 것이 있습니다. 배포 전에 다음을 해두면 대부분 걸러집니다.
- 자기 설문에 응답을 서너 건 직접 넣습니다
- 응답 파일을 내려받아 열의 구조를 확인합니다. 한 문항이 몇 개의 열로 들어오는지, 응답이 숫자인지 글자인지 봅니다
- 계획에 적은 분석을 그 서너 건으로 실제로 한 번 돌려봅니다. 결과값은 의미가 없지만, 절차가 돌아가는지는 확인됩니다
- 연습용으로 넣은 응답은 본 수집을 시작하기 전에 지웁니다
이 작업은 사전조사와 목적이 다릅니다. 사전조사는 문항이 응답자에게 어떻게 읽히는지를 보고, 이 리허설은 데이터가 분석 절차에 들어가는지를 봅니다. 둘 다 배포 전에만 할 수 있습니다.
왜 배포 뒤에는 고치기 어려운가
설문을 배포한 뒤에 문항을 추가하면, 앞서 응답한 사람들에게는 그 문항이 없습니다. 선택지를 바꾸면 변경 전후의 응답이 같은 변수가 아니게 됩니다. 결국 수집을 처음부터 다시 하거나, 응답을 둘로 나누어 설명해야 합니다. 둘 다 일정과 표본을 동시에 깎습니다.
시간이 넉넉하면 다시 돌리면 되겠지만, 응답이 들어오는 시점이 그렇게 느긋하지 않습니다. 맞썰에서 오간 맞설문 요청 8,155건을 집계해보면, 요청이 들어온 시점의 설문 나이 중앙값은 1.3일입니다. 요청의 절반이 설문이 올라온 지 하루 남짓 안에 일어난다는 뜻입니다. 설문이 사람들 눈에 가장 많이 닿는 구간은 배포 직후이고, 문항이 잘못된 것을 깨달을 무렵에는 그 구간이 이미 지나가 있습니다. 배포 전 점검에 하루를 쓰는 편이 수집을 다시 하는 것보다 거의 항상 쌉니다.
정리
- 문항을 모으기 전에 가설에서 분석까지 네 단계를 적어 내려갑니다
- 가설 번호, 변수와 역할, 문항 번호, 응답 형식, 분석 방법을 한 표에 정리합니다
- 표를 보고 어느 가설에도 쓰이지 않는 문항과 문항이 없는 변수를 찾아냅니다
- 응답 형식이 분석 가능성을 정합니다. 숫자로 받을 수 있으면 숫자로 받습니다
- 하위집단으로 쪼갤 계획이 있으면 기준 문항의 칸을 미리 충분히 나눠둡니다
- 배포 전에 응답 서너 건으로 분석 절차를 실제로 한 번 돌려봅니다
본문의 수치는 맞썰 집계 데이터이며 2026년 11월 3일 기준입니다. 맞설문 요청 8,155건의 요청 시점 설문 나이 중앙값 1.3일.