불성실 응답을 걸러내는 장치 — 설문을 돌리기 전에 심어두는 것들
응답을 다 모은 다음에 "이건 불성실한 것 같다"며 행을 지우기 시작하면, 기준이 데이터를 본 뒤에 만들어집니다. 그렇게 만든 기준은 원하는 결과 쪽으로 미묘하게 기웁니다. 불성실 응답을 다루는 일은 수집이 끝난 뒤의 정리 작업이 아니라, 설문을 돌리기 전에 준비해 두는 설계 작업에 가깝습니다.
불성실 응답은 대개 응답자만의 문제가 아니다
성의 없는 응답이라고 부를 만한 것은 보통 네 가지 모습으로 나타납니다.
- 직선 응답 — 척도 문항에서 처음부터 끝까지 같은 번호를 고른 경우
- 지나치게 빠른 제출 — 문항을 읽을 시간이 물리적으로 부족했던 경우
- 내용 없는 주관식 — "없음", 자음 몇 글자, 문항과 무관한 문장
- 모순된 응답 — 같은 내용을 방향만 바꿔 물었는데 양쪽 다 강하게 동의한 경우
이런 응답이 특정 구간에 몰려 있다면, 그 앞에 무엇이 있었는지를 먼저 보시는 편이 좋습니다. 비슷한 척도 문항이 스무 개쯤 이어졌거나, 한 화면에 항목이 지나치게 많았거나, 앞에서 이미 물어본 것을 다시 묻고 있는 경우가 대부분입니다. 걸러내는 장치를 심는 것보다 설문 자체를 줄이는 쪽이 언제나 더 싸게 먹힙니다.
설계 단계에서 심어두는 장치
주의점검 문항
"이 문항은 내용과 상관없이 3번을 선택해 주세요" 같은 문항을 중간에 하나 넣는 방식입니다. 몇 가지 주의할 점이 있습니다.
- 문항 수가 스무 개를 넘지 않는 설문이라면 굳이 넣지 않아도 됩니다. 짧은 설문에서는 얻는 것보다 응답자에게 주는 위화감이 큽니다
- 넣더라도 한두 개면 충분합니다. 여러 개를 흩어 놓으면 설문이 시험처럼 읽힙니다
- 지시가 모호하면 성실하게 읽은 사람도 틀립니다. "다음 중 가장 아래 항목을 고르세요"보다 번호를 직접 지정하는 편이 안전합니다
- 주의점검 하나를 틀렸다는 이유만으로 제외하지 않습니다. 다른 신호와 함께 볼 때 판단 근거가 됩니다
방향을 뒤집은 문항 한 쌍
같은 태도를 긍정형과 부정형으로 각각 한 번씩 묻고, 두 응답이 논리적으로 맞물리는지 확인하는 방법입니다. 주의점검 문항보다 자연스럽게 섞이고, 응답자가 장치라는 것을 눈치채기 어렵다는 장점이 있습니다.
다만 뒤집은 문장은 읽기가 어렵습니다. "나는 ~하지 않는 편이 아니다" 같은 이중부정으로 가면 성실한 응답자도 반대로 답합니다. 한 쌍이면 충분하고, 문장은 최대한 단순하게 씁니다.
응답 시간
대부분의 설문 도구가 제출 시각을 남기고, 시작 시각까지 기록해 주는 도구도 많습니다. 시작과 제출 사이의 간격은 손이 거의 들지 않는 신호입니다.
여기서 중요한 것은 기준선을 어디서 가져오느냐입니다. "3분 미만은 제외" 같은 절대 기준에는 근거가 없습니다. 대신 사전조사에서 실제로 걸린 시간의 중앙값을 재고, 그 절반에 한참 못 미치는 응답을 의심 대상으로 둡니다. 문항 수가 달라지면 기준도 달라져야 하므로, 남의 설문에서 쓴 숫자를 그대로 가져오지 않습니다.
짧은 주관식 한 문항
개방형 문항 하나는 가장 값싼 필터입니다. 성의 없이 넘긴 응답은 주관식에서 거의 예외 없이 드러납니다. 다만 필수 문항으로 두면 그 자리에서 이탈하는 사람이 늘어나므로, 선택 문항으로 두고 판별 용도로만 쓰는 편이 낫습니다. 응답이 비어 있다는 사실 자체는 제외 사유가 되지 않습니다.
제외 기준은 데이터를 보기 전에 글로 적는다
장치를 아무리 잘 심어도, 제외 기준을 언제 정하느냐가 결과를 더 크게 좌우합니다. 데이터를 열어 본 뒤에 기준을 만들면 사람은 자기도 모르게 가설에 맞는 방향으로 선을 긋습니다.
배포 전에 다음 세 가지를 문서로 남겨 두십시오. 한 문단이면 충분합니다.
- 어떤 조건이면 제외하는가 — 예: 응답 시간이 기준선의 절반 미만이면서 척도 문항이 전부 동일한 경우
- 단독으로는 제외 사유가 되지 않는 신호는 무엇인가 — 예: 주관식 미응답, 주의점검 1개 오답
- 제외한 응답을 어떻게 보고할 것인가 — 전체 몇 건 중 몇 건을 어떤 기준으로 제외했는지
논문이든 과제 보고서든, 제외한 응답의 수와 기준을 밝혀 적은 글이 그렇지 않은 글보다 신뢰를 얻습니다. 숨길 일이 아니라 방법론의 일부입니다.
제외율이 높으면 응답자보다 설문을 먼저 의심한다
기준을 적용했더니 제외 대상이 눈에 띄게 많다면, 그것은 응답자 집단의 문제라기보다 설문이 보낸 신호일 가능성이 큽니다. 문항이 너무 많았거나, 같은 척도가 반복돼 지루했거나, 모바일 화면에서 한 문항을 읽는 데 스크롤이 여러 번 필요했을 수 있습니다.
이때 남은 데이터를 붙들고 분석을 밀어붙이는 것보다, 문항을 줄이고 다시 돌리는 편이 결과적으로 빠릅니다. 이미 배포가 끝나 다시 돌릴 수 없다면, 최소한 제외 사유를 한계로 함께 적어 두십시오.
정리
- 장치는 수집 후가 아니라 설계 단계에서 심습니다
- 주의점검 문항은 한두 개, 지시는 명확하게. 단독 제외 사유로 쓰지 않습니다
- 응답 시간 기준선은 사전조사에서 직접 뽑습니다. 남의 숫자를 쓰지 않습니다
- 제외 기준은 데이터를 열기 전에 글로 적어 둡니다
- 제외 대상이 많으면 설문 설계를 먼저 돌아봅니다