AI 노출 측정에서 가장 앞단의 결정은 엔진 선택도, 측정 주기도 아니다. 무엇을 물어볼 것인가다. 질문지가 잘못되면 그 뒤의 모든 숫자가 정확하게 틀린다. 그리고 질문지가 잘못됐다는 사실은 리포트 어디에도 표시되지 않는다.
2026-07-31 파일럿에서 우리는 질문 세트를 전부 이런 식으로 썼다.
"요즘 병원 마케팅 대행사 중에서 챗GPT나 퍼플렉시티 같은 AI 검색 엔진 노출까지 관리해주는 곳 추천해줘" (59자)
전체 문항 평균 57.1자, 최단 39자. 15자 이하는 한 개도 없었다. 사람이 실제로 검색창에 치는 문장처럼 보이게 쓰려다 보니 전부 길어졌다.
그 회차에서 가장 많이 등장한 이름 6개는 이랬다.
| 순위 | 이름 | 언급 | 정체 |
|---|---|---|---|
| 1 | ChatGPT | 133 | 엔진 — 질문에 들어 있던 단어 |
| 2 | Perplexity | 120 | 엔진 — 질문에 들어 있던 단어 |
| 3 | 네이버 | 99 | 포털 — 질문에 들어 있던 단어 |
| 4 | Gemini | 97 | 엔진 — 질문에 들어 있던 단어 |
| 5 | 구글 | 65 | 포털 |
| 6 | Claude | 61 | 엔진 — 질문에 들어 있던 단어 |
상위 6개 중 업체가 하나도 없다. 전부 우리가 질문에 써넣은 단어를 엔진이 그대로 되받은 것이다. 총 언급 1,969회 중 52%가 이런 되받기와 플랫폼 이름이었다. 이걸 걷어내고 나서야 G사 17회, B사 16회, K사 15회 같은 실제 경쟁사가 보였다.
여기서 두 가지가 동시에 드러났다. 하나는 집계 규칙의 결함 (질문에 이미 있던 이름은 추천이 아니다 — 이후 필터로 구현했다). 다른 하나는 질문지 설계의 결함이다. 긴 질문은 필연적으로 부가 설명을 담고, 그 설명에 든 고유명사가 답변에 되돌아온다.
8월 3일 회차는 질문 길이를 강제로 분산시켜 다시 만들었다. 평균 24.8자, 범위 9~60자, 15자 이하 14문항. 같은 4엔진·같은 방식으로 측정 응답을 받았다.
| 구간 | 문항 | 응답당 지목 업체 | 업체 0개 응답 | 응답당 인용 |
|---|---|---|---|---|
| 짧음 (≤15자) | 12 | 2.0 | 58.3% | 9.8 |
| 중간 (16~29자) | 22 | 2.8 | 45.5% | 11.9 |
| 긺 (30자 이상) | 13 | 2.8 | 53.8% | 16.1 |
여기서 우리가 예상했던 결과가 나오지 않았다. 내부적으로는 "짧게 물으면 그 분야 전문 업체가, 길게 물으면 엉뚱한 업종이 나온다"고 정리해 두고 있었는데, 구간별 지목 업체 수는 2.0 / 2.8 / 2.8로 사실상 평평하고 업체를 하나도 대지 않은 응답 비율도 58% / 46% / 54%로 뚜렷한 방향이 없다. 길이가 "추천의 양"을 결정한다는 가설은 이 데이터에서 지지되지 않는다.
뚜렷하게 움직인 지표는 하나뿐이다. 응답당 인용 수가 9.8 → 11.9 → 16.1로 단조 증가했다. 길게 물으면 엔진은 더 많은 문서를 읽고 더 길게 설명한다. 그런데 업체를 더 많이 대지는 않는다. 긴 질문은 추천이 아니라 해설을 끌어낸다.
구간 평균이 아니라 개별 질문을 열면 완전히 다른 그림이 나온다.
가장 짧은 축에 속하는 q01 "GEO 대행사 추천"(10자)에 네 엔진이 답한 내용이다.
| 엔진 | 지목한 업체 |
|---|---|
| Perplexity | A사 · F사 · E사 · D사 · C사 |
| Claude | G사 · F사 · P사 · C사 · A사 · B사 |
| Gemini | K사 · Q사 |
| ChatGPT | 해외 EOR(글로벌 고용대행) 업체 6곳 — 전부 글로벌 고용대행(EOR) 업체다 |
ChatGPT의 답변 첫 문장은 이렇게 시작한다.
"요청하신 'GEO 대행사'는 보통 글로벌 고용(Employer of Record, EOR) 서비스를 의미합니다."
틀린 답이 아니다. GEO는 업계에서 Global Employment Outsourcing의 약어로도 쓰인다. 10자짜리 질문에는 어느 쪽인지 판별할 정보가 없고, 엔진은 자기 학습 분포상 더 흔한 쪽을 골랐다. Perplexity는 반대쪽을 골랐다. 둘 다 합리적이고, 둘은 다른 산업이다.
이것이 짧은 질문의 진짜 위험이다. 지목 업체가 적어지는 게 아니라 측정하는 시장 자체가 조용히 바뀐다. 리포트에는 "GEO 대행사 추천 — 노출 0회"라고 찍히는데, 그 0회가 어느 시장에서의 0회인지는 표에 나타나지 않는다.
두 오류는 방향이 반대라서, 한쪽만 피하면 다른 쪽에 걸린다.
| 구간 | 실패 모드 | 대응 |
|---|---|---|
| 짧음 | 약어·다의어의 의미 붕괴. 엔진마다 다른 산업을 답함 | 업종·맥락 단어를 한 개만 붙인다("GEO 대행사" → "병원 GEO 대행사") |
| 긺 | 질문에 넣은 고유명사가 되받아 나와 SoV를 오염시킴 | 질문에 엔진·플랫폼 이름을 넣지 않는다. 넣어야 한다면 집계에서 제외한다 |
| 공통 | 한 길이로만 재면 그 길이의 실패 모드에 전부 노출됨 | 길이를 섞는다. 우리는 짧음 40% / 중간 35% / 긺 25%로 생성 단계에서 강제한다 |
그리고 집계 쪽에도 최소 두 개의 안전장치가 필요하다. ①질문에 이미 등장한 이름은 추천에서 제외한다(되받기는 추천이 아니다). ②플랫폼 이름은 업체로 세지 않는다(ChatGPT는 우리 경쟁사가 아니다). 이 두 규칙이 없으면 7월 31일 표처럼 상위 6개가 전부 엔진 이름인 SoV가 만들어지고, 그 표는 고객에게 아무 의미가 없다.
길이 분포를 바꾼 결과, 7월 31일과 8월 3일 회차는 비교할 수 없다. 같은 엔진, 같은 방식으로 쟀지만 질문이 다르면 다른 시장을 잰 것이다. 그래서 7월 31일은 파일럿으로 폐기하고 8월 3일을 기준선 1회차로 잡았다. 질문지는 여기서부터 고정한다 — 시계열은 소급 생성이 불가능하고, 질문을 손볼 때마다 그동안 쌓은 비교 기준이 0으로 돌아가기 때문이다.