숫자가 작을수록 비율은 쉽게 흔들립니다
설문에 열 명도 채 답하지 않았는데 한쪽 의견이 압도적으로 많게 나왔다면 보고서에 크게 쓰고 싶어집니다. 하지만 응답이 적을 때는 한두 명만 달라져도 비율이 크게 바뀝니다. 같은 조사를 다음 주에 다시 하면 전혀 다른 모양이 나올 수도 있습니다.
그래서 보고서를 쓰는 사람은 비율을 보여 주기 전에 이 자료가 어떤 질문에 답할 수 있는 규모인지부터 판단해야 합니다. 판단의 근거가 되는 응답 수와 모집 방식은 숫자 옆에 같이 적습니다.
비율 옆에는 반드시 실제 건수를 쓰기
다섯 명 중 네 명이 같은 답을 했다면 "80%"라고만 쓰기보다 "5명 중 4명"이라고 적습니다. 퍼센트 표기는 규모를 가려 버리지만, 건수는 읽는 사람이 자료의 무게를 스스로 가늠하게 해 줍니다.
조사 기간과 응답 경로도 함께 밝힙니다. 자발적으로 참여한 사람만 모였는지, 특정 채널에서만 받았는지는 결과의 해석을 바꿉니다. 답하지 않은 사람의 생각까지 이미 알고 있는 것처럼 일반화하는 표현은 쓰지 않습니다.
비교할 때는 두 집단의 조건을 먼저 맞추기
집단을 비교하는 표를 만들 때는 두 집단이 같은 조건에서 응답했는지 확인합니다. 한쪽은 이용을 막 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 답의 차이는 서비스가 아니라 집단의 성격에서 나온 것일 수 있습니다.
질문 문구가 중간에 바뀌었거나 설문이 놓이는 위치가 달라졌다면 두 시점의 비율을 하나의 선으로 이어 붙이기 어렵습니다. 이런 경우에는 순위를 확정하기보다 "관찰된 경향"과 "아직 확인하지 못한 질문"을 나누어 적는 편이 정확합니다.
그래프가 만드는 착시 줄이기
작은 숫자는 그래프에서 과장되기 쉽습니다. 두 건과 세 건의 차이도 축의 범위를 좁게 잡으면 큰 격차처럼 보입니다. 축의 시작점과 눈금 단위를 점검하고, 막대 위에 실제 건수를 직접 표시하는 방식을 권합니다.
분모가 서로 다른 비율을 나란히 두었다면 각 집단의 응답 수를 같이 밝힙니다. 중복 선택이 가능한 문항이었는지, 일부 응답을 제외했는지는 표 아래 주석으로 설명해 읽는 사람이 오해하지 않게 합니다.
결론 문장에서 범위를 다시 한정하기
결론을 쓸 때는 자료가 말해 주는 범위를 다시 적습니다. "이번에 확인한 응답에서는"이라고 쓸 수는 있어도 "모든 이용자가 그렇다"고 쓸 근거는 부족합니다. 같은 숫자라도 어디까지 말할 수 있는지가 문장에 드러나야 합니다.
추가로 조사할 계획이 있다면 어떤 집단과 기간을 더 보강할지 구체적으로 씁니다. 그러면 보고서가 판단을 대신하는 문서가 아니라 다음 확인으로 이어지는 문서가 됩니다.
반복할 수 있게 방법을 남기기
질문지 원문, 응답자 포함 기준, 수집 기간을 함께 보관하면 다음 조사에서 같은 조건을 적용할 수 있습니다. 그래야 달라진 결과가 실제 변화인지 방법의 차이인지 나누어 볼 수 있습니다.
표본이 작다는 이유로 자료를 버릴 필요는 없습니다. 현장에서 어떤 질문이 나오는지를 발견하는 용도로는 충분히 쓸모가 있습니다. 한계를 기록해 두고 후속 확인의 출발점으로 쓰는 것이 실무에서 가장 유용한 활용입니다.
마지막으로 보고서를 받는 사람 쪽의 습관도 중요합니다. 숫자가 인상적일수록 응답 수와 기간을 먼저 묻고, 같은 질문을 다른 기간에 다시 던졌을 때도 비슷한 경향이 나오는지 확인하자고 제안하는 태도가 필요합니다. 작성자가 한계를 먼저 적어 두었다면 그것은 약점이 아니라 신뢰할 만한 문서라는 표시로 읽어야 합니다.
현장에서는 작은 표본으로 빠르게 방향을 잡아야 하는 순간도 많습니다. 그럴 때는 결정을 되돌리기 쉬운 범위에서만 자료를 근거로 삼고, 되돌리기 어려운 결정에는 더 많은 응답이나 다른 종류의 자료를 함께 요구하는 식으로 무게를 조절할 수 있습니다.
보고서 양식에 응답 수, 조사 기간, 모집 경로, 제외한 응답이라는 네 줄을 고정 항목으로 넣어 두면 작성자마다 표기가 달라지는 문제를 줄일 수 있습니다. 항목이 비어 있으면 그 자체가 자료의 한계를 보여 주는 정보가 되므로, 빈칸을 숨기지 않고 비어 있다고 적는 것이 오히려 문서의 신뢰를 높입니다.
자료를 공유하는 자리에서는 숫자를 먼저 말하기보다 이 자료로 무엇을 결정하려는지를 먼저 밝히는 것도 방법입니다. 결정의 무게에 따라 필요한 근거의 수준이 달라지기 때문입니다.