사전조사(파일럿)를 꼭 해야 하는 이유 — 배포한 설문은 고칠 수 없다

설문지를 다 만들고 나면 한시라도 빨리 뿌리고 싶어집니다. 일정은 이미 밀려 있고, 문항은 여러 번 읽어봐서 문제가 없어 보입니다. 그런데 배포 전에 다섯 명에게 먼저 돌려보는 30분이, 데이터를 받은 뒤의 몇 주를 결정하는 경우가 많습니다. 사전조사(파일럿)가 무엇을 잡아주는지, 몇 명에게 어떻게 돌리는지 정리했습니다.

배포한 설문은 고칠 수 없다

설문의 가장 불편한 성질은 중간에 고칠 수 없다는 것입니다. 정확히 말하면 고칠 수는 있지만, 고치는 순간 앞의 응답과 뒤의 응답이 서로 다른 설문에 대한 답이 됩니다. 문항 하나의 표현을 바꿔도, 선택지 하나를 추가해도 마찬가지입니다. 논문 심사에서 "수집 도중에 문항을 수정했다"는 사실은 그 자체로 설명해야 할 부담이 됩니다.

게다가 응답은 배포 초반에 몰립니다. 맞썰에서 오간 맞설문 요청 2,614건을 집계해보면, 요청이 들어온 시점의 설문 나이는 중앙값 1.1일이었습니다. 배포한 날과 그 다음 날에 상당수가 들어온다는 뜻입니다. 문항의 문제를 발견하는 시점은 대개 응답이 몇십 건 쌓인 뒤인데, 그때는 이미 고칠 기회가 지나간 뒤입니다.

사전조사가 실제로 잡아주는 것

파일럿의 목적은 결과를 미리 보는 것이 아닙니다. 설문지가 의도대로 작동하는지를 확인하는 것입니다. 다음 다섯 가지는 본인이 아무리 읽어도 잘 보이지 않고, 남이 한 번 풀어보면 곧바로 드러납니다.

• 말이 통하지 않는 문항 — 연구자에게는 당연한 용어가 응답자에게는 처음 보는 말인 경우가 많습니다. 전공 용어뿐 아니라 "정기적으로", "자주" 같은 빈도 표현도 사람마다 다르게 읽힙니다.
• 고를 것이 없는 선택지 — 해당하는 항목이 없어 아무거나 고른 응답은 분석 단계에서 구분되지 않습니다. 파일럿에서 "이건 저한테 해당이 없는데요"라는 말이 나오면 선택지를 손봐야 한다는 신호입니다.
• 실제 소요 시간 — 만든 사람은 자기 설문을 가장 빨리 풉니다. 처음 보는 사람의 시간이 진짜 소요 시간이고, 이 값은 배포할 때 안내에 그대로 쓰입니다.
• 분기와 필수 응답 설정의 오류 — 특정 답을 고르면 건너뛰도록 만든 흐름이 실제로 그렇게 도는지, 답을 안 해도 넘어가지는 않는지는 직접 눌러봐야 압니다. 이 오류는 데이터가 통째로 비는 형태로 나타납니다.
• 모바일에서의 모양 — 응답의 대부분은 휴대폰에서 이루어집니다. 표 형태의 문항이나 긴 선택지는 화면이 좁아지면 읽는 순서가 무너집니다.

몇 명에게, 어떻게 돌리나

파일럿은 규모가 아니라 관찰의 밀도가 중요합니다. 다섯에서 열 명이면 위의 문제 대부분이 드러납니다.

• 본조사와 같은 대상에서 고릅니다. 20대 직장인을 대상으로 하는 설문을 같은 연구실 동료에게만 돌려보면, 정작 용어가 통하는지는 확인되지 않습니다.
• 가능하면 옆에서 지켜봅니다. 어느 문항에서 손이 멈추는지, 어디서 위로 다시 올라가 읽는지가 가장 값진 정보입니다. 멀리 있으면 화면 공유로도 충분합니다.
• 다 푼 뒤에 세 가지를 묻습니다. ⑴ 이해가 안 된 문항이 있었는지 ⑵ 고르고 싶은 답이 없었던 적이 있는지 ⑶ 그만두고 싶어진 지점이 있었는지.
• 파일럿 응답은 본조사 데이터에 넣지 않습니다. 문항을 고쳤다면 다른 설문에 답한 것이고, 안 고쳤더라도 관찰 상황에서의 응답은 조건이 다릅니다.

파일럿과 예비조사를 구분한다

다섯 명에게 돌려보는 파일럿으로는 척도의 통계적 성질을 볼 수 없습니다. 문항들이 하나의 개념을 일관되게 재고 있는지, 요인이 의도한 대로 묶이는지를 확인하려면 표본이 훨씬 커야 하고, 그것은 파일럿이 아니라 별도의 예비조사입니다. 학위논문에서 기존에 검증된 척도를 그대로 쓰는 경우라면 대개 여기까지 갈 필요가 없지만, 문항을 새로 만들었거나 번역해 쓰는 경우에는 지도교수와 미리 상의해 두는 편이 안전합니다.

두 가지를 섞으면 어느 쪽도 제대로 되지 않습니다. 파일럿은 "이 설문지가 굴러가는가"를 묻고, 예비조사는 "이 척도가 재려는 것을 재는가"를 묻습니다. 앞의 질문에 답하지 않은 채 뒤의 질문으로 넘어가면, 잘못 읽힌 문항으로 계산한 계수를 얻게 됩니다.

수정한 뒤에는 한 번 더 확인한다

파일럿에서 나온 지적을 반영하고 나면 새로운 문제가 따라오는 일이 흔합니다. 선택지를 늘리면 문항이 길어지고, 표현을 풀어 쓰면 문장이 두 줄이 됩니다. 크게 고쳤다면 두세 명에게 한 번 더 돌려보는 편이 안전합니다. 이 두 번째 확인은 십 분이면 끝납니다.

고칠 것이 없다는 결과가 나와도 파일럿은 성과입니다. 그때부터는 "확인하지 않은 채로 뿌렸다"가 아니라 "확인하고 뿌렸다"가 되고, 이 차이는 나중에 결과를 방어할 때 드러납니다.

일정에 파일럿을 넣는 법

파일럿이 빠지는 이유는 대개 그것이 일정표에 없기 때문입니다. 데이터 수집 시작일만 적혀 있으면, 설문지가 늦어질 때 사라지는 것은 늘 파일럿입니다.

• 수집 시작일 사흘 전을 파일럿 날짜로 따로 적어 둡니다.
• 파일럿 대상자는 미리 확보해 둡니다. 당일에 사람을 구하려다 건너뛰게 됩니다.
• 수정에 하루를 남겨 둡니다. 파일럿과 배포가 같은 날이면 고칠 시간이 없어 결국 그대로 나갑니다.

정리

• 배포한 뒤에는 문항을 고칠 수 없고, 응답은 배포 초반에 몰립니다.
• 파일럿은 결과가 아니라 설문지의 작동을 확인하는 절차입니다.
• 다섯에서 열 명, 본조사와 같은 대상, 가능하면 지켜보면서 진행합니다.
• 파일럿 응답은 본조사 데이터에 합치지 않습니다.
• 일정표에 수집 시작 사흘 전으로 날짜를 박아 둡니다.

인용한 수치는 맞썰에 등록된 설문과 맞설문 요청 집계 기준 2026년 9월 7일 값입니다.