조별과제 설문, 팀으로 굴릴 때만 생기는 문제들

조별과제 설문은 혼자 하는 설문과 다른 곳에서 무너집니다. 문항은 네 사람이 나눠 만들어 서로 겹치고, 배포는 각자 아는 사람에게만 돌아가고, 마감 사흘 전에야 응답 수를 확인합니다. 팀으로 굴릴 때만 생기는 문제를 순서대로 정리했습니다.

문항을 나눠 만들면 반드시 겹친다

역할 분담의 기본은 "각자 파트의 문항을 만들어 오기"입니다. 그렇게 모으면 비슷한 것을 다르게 물은 문항이 두세 개씩 섞입니다. 응답자는 같은 질문을 또 받았다고 느껴 이탈하고, 분석 단계에서는 어느 문항을 쓸지 팀 안에서 다시 다툽니다.

• 문항을 붙이기 전에 무엇을 알아내려는지를 한 문장씩 적어 목록으로 만듭니다. 이 목록이 겹치면 문항도 겹칩니다.
• 합친 뒤에는 한 사람이 전체를 처음부터 끝까지 읽으며 말투와 척도를 통일합니다. 어떤 문항은 5점, 어떤 문항은 7점인 설문은 팀 작업에서 가장 흔한 사고입니다.
• 알아내려는 것과 이어지지 않는 문항은 지웁니다. "있으면 좋을 것 같아서" 넣은 문항이 설문을 길게 만들고, 길이는 이탈로 돌아옵니다.

배포 경로가 겹치면 표본도 겹친다

팀원 네 명이 각자 아는 사람에게 링크를 돌리면 응답자가 네 배로 늘 것 같지만, 같은 학과 같은 학년이 네 번 겹치는 경우가 많습니다. 표본이 한쪽으로 쏠렸다는 사실은 결과 해석에서 반드시 발목을 잡습니다.

• 돌리기 전에 어디에 뿌릴지 목록을 먼저 나눕니다. 학과 단톡방, 동아리, 아르바이트 동료, 가족처럼 성격이 다른 경로를 배분합니다.
• 경로별로 몇 명이 들어왔는지 대략이라도 세어둡니다. 발표에서 "어떻게 모았나"를 물었을 때 답할 근거가 됩니다.
• 대상이 학생만이 아니라면, 학생만 모인 표본으로 전체를 말하지 않도록 결론의 범위를 좁힙니다.

링크는 하나여야 한다

팀 작업에서만 나는 사고가 하나 더 있습니다. 한 사람이 설문을 복사해 고치고 그 링크를 돌리면서, 같은 설문의 두 버전이 동시에 돌아다니는 경우입니다. 응답은 두 곳에 나뉘어 쌓이고, 문항이 조금이라도 다르면 합칠 수도 없습니다.

• 설문 파일의 주인을 한 명으로 정하고, 수정은 그 사람을 통해서만 합니다.
• 배포용 링크는 팀 채팅방 공지에 한 줄로 고정해 두고, 각자 그것을 복사해 씁니다.
• 배포를 시작한 뒤에는 문항을 고치지 않습니다. 고치면 그 전후의 응답이 서로 다른 설문에 대한 답이 됩니다.

마감은 응답이 아니라 분석에서 역산한다

일정이 "제출 하루 전까지 응답 수집"으로 잡히는 팀이 많습니다. 그러면 정리·분석·발표 자료 제작이 전부 마지막 밤에 몰립니다. 응답은 배포 초반에 몰리므로, 수집 기간을 길게 잡는 것보다 일찍 시작하는 것이 훨씬 효과가 큽니다.

맞썰에서 오간 맞설문 요청 2,688건을 집계해보면, 요청이 들어온 시점의 설문 나이는 중앙값 1.1일이었습니다. 배포한 날과 그 다음 날에 상당수가 들어오고 이후로는 완만해진다는 뜻입니다. 사흘을 더 기다리는 것보다 사흘 일찍 배포하는 편이 응답 수에서 유리합니다.

• 제출일에서 거꾸로 분석 이틀, 자료 제작 하루를 먼저 떼어놓습니다.
• 남은 기간의 절반이 지난 시점에 응답 수를 확인하고, 목표에 못 미치면 그때 경로를 늘립니다. 마감 전날의 확인은 늦습니다.
• 수집을 끝낼 날짜를 팀원 모두가 같은 날로 알고 있어야 합니다. 한 명이 링크를 계속 돌리면 분석을 다시 해야 합니다.

데이터 정리 규칙을 먼저 정해둔다

응답이 모인 뒤에 "이건 빼자, 저건 넣자"를 정하면, 결과를 보고 기준을 만든 셈이 됩니다. 발표에서 가장 아프게 지적당하는 지점입니다. 규칙은 응답을 열어보기 전에 정해 문서에 적어둡니다.

• 불성실 응답 기준 — 예상 소요 시간의 3분의 1도 안 되게 끝낸 응답, 모든 문항에 같은 값을 고른 응답.
• 대상 조건에 맞지 않는 응답 — 조건을 묻는 문항을 앞에 두면 걸러내기가 쉽습니다.
• 결측 처리 — 특정 문항만 비어 있을 때 그 응답 전체를 버릴지, 그 문항만 뺄지 미리 정합니다.
• 몇 건을 어떤 기준으로 제외했는지 세어 보고서에 적습니다. 제외 자체보다 기준을 밝히지 않는 것이 문제가 됩니다.

결론은 표본이 감당하는 만큼만

과제 설문의 응답자는 대개 수십 명입니다. 이 규모에서 "20대는 A를 선호한다" 같은 문장은 표본이 감당하지 못합니다. 같은 내용을 이렇게 쓰면 정확해집니다.

• "응답자 42명 중 27명(64%)이 A를 골랐습니다" — 사실을 그대로.
• "이 표본에서는 A를 고른 응답이 많았습니다" — 범위를 표본으로 한정.
• "학과 커뮤니티를 중심으로 모아 20대 학부생이 대부분입니다" — 한계를 먼저 밝힘.

한계를 적는 것은 감점 요소가 아닙니다. 적지 않으면 질문으로 돌아오고, 그때는 준비 없이 답해야 합니다.

제출 전 점검 목록

• 알아내려는 것 목록과 문항이 하나씩 이어지는가
• 척도와 말투가 설문 전체에서 통일되어 있는가
• 배포 경로가 성격별로 나뉘어 있고, 경로별 응답 수를 아는가
• 분석·자료 제작 일정을 먼저 떼어놓고 수집 마감을 정했는가
• 제외 기준을 응답을 열기 전에 정해 적어두었는가
• 결론의 범위가 표본을 벗어나지 않는가

여섯 줄 중 대부분은 설문을 만들기 전이나 배포하기 전에 끝나는 일입니다. 응답이 모인 뒤에 할 수 있는 일은 생각보다 적습니다.

인용한 수치는 맞썰에 등록된 설문과 맞설문 요청 집계 기준 2026년 9월 7일 값입니다.