응답을 망치는 문항 유형 — 이중질문, 유도질문, 과도한 척도
설문 응답률이 낮으면 대개 배포 경로부터 의심하게 됩니다. 그런데 링크를 열고 들어온 사람이 중간에 나가버렸다면 문제는 배포가 아니라 문항에 있습니다. 응답자가 답을 고르지 못하고 멈추게 만드는 문항에는 몇 가지 반복되는 유형이 있고, 대부분은 설문을 열기 전에 고칠 수 있는 것들입니다.
맞썰에서는 지금까지 맞설문 요청 2,486건 가운데 1,767건이 실제 응답으로 확인됐습니다(확인율 71%). 응답하러 들어온 사람 대다수는 끝까지 답할 생각으로 들어온다는 뜻입니다. 그 의사를 꺾는 것은 링크나 화면이 아니라, 중간에 놓인 한두 개의 문항인 경우가 많습니다.
하나의 문항이 두 가지를 묻는 경우
"이 앱의 디자인과 속도에 만족하십니까?" 같은 문항을 이중질문이라고 부릅니다. 디자인은 마음에 들지만 속도가 느리다고 느낀 사람은 고를 칸이 없습니다. 이런 사람은 대충 가운데를 찍거나, 답하기를 포기합니다.
더 큰 문제는 결과 쪽에 있습니다. 이 문항에서 '보통'이 40%로 나왔다고 해도, 그것이 둘 다 보통이라는 뜻인지 하나는 좋고 하나는 나쁘다는 뜻인지 구분할 방법이 없습니다. 데이터를 모은 뒤에는 되돌릴 수 없습니다.
- 문항에 '와/과', '그리고', '또는'이 들어 있으면 일단 의심합니다
- "가격이 합리적이고 품질이 좋다고 생각하십니까"처럼 형용사가 두 개 이상 붙은 문항도 같은 유형입니다
- 해결책은 하나뿐입니다. 두 문항으로 쪼갭니다
답을 미리 알려주는 문항
유도질문은 응답자에게 어떤 답이 기대되는지를 알려줍니다. 사람은 설문에서 낯선 사람을 굳이 반박하지 않으려는 경향이 있어서, 이런 문항은 한쪽으로 답이 쏠립니다.
- 다수 의견을 먼저 말하는 형태 — "많은 분들이 편리하다고 답했습니다. 어떻게 생각하십니까"
- 형용사를 실어 보내는 형태 — "이 편리한 기능을 얼마나 자주 쓰십니까"
- 결론을 전제로 깔아둔 형태 — "불편했던 점은 무엇입니까"는 응답자가 불편을 겪었다고 이미 정해놓은 문항입니다
전제가 깔린 문항은 앞에 거르는 문항을 하나 두면 해결됩니다. "이 기능을 사용해 보셨습니까"를 먼저 묻고, 사용한 사람에게만 다음 문항을 보여주는 식입니다. 문항 하나가 늘어나 보이지만 실제로는 해당 없는 사람의 응답 시간을 줄여줍니다.
척도가 필요 이상으로 촘촘한 경우
0에서 100까지 움직이는 슬라이더나 11점 척도를 쓰면 더 정밀한 데이터를 얻을 것 같지만, 응답자는 62와 67을 구분해서 답하지 않습니다. 구분할 수 없는 눈금은 정밀도가 아니라 잡음으로 쌓입니다. 결과를 해석할 때도 "평균 63.4점"은 "5점 중 3.2점"보다 나은 정보를 주지 않습니다.
점수의 개수보다 중요한 것은 일관성입니다. 한 설문 안에서 어떤 문항은 5점, 어떤 문항은 7점, 어떤 문항은 왼쪽이 긍정이고 다른 문항은 오른쪽이 긍정이면 응답자는 매번 척도를 다시 읽어야 합니다. 그 피로가 후반부 문항의 응답 품질을 떨어뜨립니다.
- 척도의 점수 개수와 방향을 설문 전체에서 통일합니다
- 양 끝에만 라벨을 달지 말고 각 점에 말로 라벨을 답니다. 중간값의 의미를 응답자마다 다르게 해석하는 일이 줄어듭니다
- 정도를 묻는 문항이 아니라면 척도를 쓰지 않아도 됩니다. 사실을 묻는 문항은 선택지가 낫습니다
선택지가 응답자의 현실을 담지 못하는 경우
문장은 멀쩡한데 선택지에서 막히는 문항도 많습니다. 응답자가 자기에게 맞는 보기를 찾지 못하면 아무거나 고르거나 창을 닫습니다.
- 겹치는 보기 — 연령을 '20~30', '30~40'으로 나누면 서른 살은 어디에 속하는지 알 수 없습니다
- 빠진 보기 — 모든 경우를 덮을 자신이 없으면 '해당 없음'과 '기타(직접 입력)'을 넣습니다
- 하나만 고르라는 복수 응답 문항 — 실제로 여러 개일 수 있는 질문이라면 복수 선택을 허용하거나 "가장 주된 하나"라고 명시합니다
- 상대적인 빈도어 — '자주', '가끔'은 사람마다 기준이 다릅니다. '주 1회 이상', '월 1~3회'처럼 세는 단위로 씁니다
응답자에게 계산이나 기억을 시키는 문항
"지난 1년간 몇 번 이용하셨습니까"라고 물으면 정확한 숫자가 아니라 응답자의 어림값이 들어옵니다. 기간을 최근 한 달로 줄이거나 구간 선택지로 바꾸면 같은 노력으로 더 믿을 만한 값을 얻습니다.
이중부정도 같은 부담을 줍니다. "이 제도를 폐지하지 않는 것에 반대하십니까" 같은 문항은 응답자가 문장을 두 번 읽어야 답할 수 있고, 두 번 읽는 대신 그냥 넘기는 사람이 생깁니다. 업계 용어나 약어도 마찬가지입니다. 설문을 만든 사람에게는 익숙하지만 응답자에게는 낯선 단어가 있는지, 문항을 소리 내어 읽으면서 확인하는 편이 좋습니다.
내보내기 전 5분 점검
- 문항을 처음부터 끝까지 소리 내어 읽습니다. 읽다가 숨이 막히는 문장이 응답자가 멈추는 문장입니다
- '그리고', '또는', '와/과'를 찾아 이중질문이 아닌지 봅니다
- 문항마다 "이 답으로 무엇을 결정할 것인가"에 답해 봅니다. 답하지 못하는 문항은 지웁니다
- 선택지에 '해당 없음'이 필요한 문항이 있는지 확인합니다
- 주변 사람 두 명에게 먼저 풀어보게 하고, 멈칫했던 지점만 물어봅니다. 왜 멈췄는지는 본인도 잘 설명하지 못하니 어디서 멈췄는지만 들어도 충분합니다
문항을 다듬는 데 드는 30분은 응답자를 더 모으려고 쓰는 시간보다 훨씬 쌉니다. 같은 수의 사람이 들어와도 끝까지 답하는 비율이 달라지고, 무엇보다 모은 데이터를 나중에 해석할 수 있게 됩니다. 응답이 모자란 설문보다 해석할 수 없는 응답이 쌓인 설문이 더 곤란합니다.
본문의 수치는 2026년 9월 5일 기준 맞썰 집계값입니다(맞설문 요청 2,486건, 응답 확인 1,767건, 확인율 71%).