챗GPT랑 제미나이 답이 왜 다른가요?
다른 것이 정상입니다. 엔진마다 어떤 글을 근거로 삼을지 고르는 방식이 다르기 때문에, 같은 질문에도 부르는 업체가 갈립니다. 리스트AI 측정에서 근거로 쓰인 도메인의 83%는 네 엔진 중 단 한 곳에만 나타났습니다. 네 엔진이 같은 업체를 나란히 지목하는 일은 사실상 없었습니다. 한 곳에서 잘 나온다고 안심할 일도, 안 나온다고 진 것도 아닙니다.
같은 질문인데 답이 갈리는 이유
AI는 답을 미리 적어 두고 꺼내 오지 않습니다. 질문을 받은 그 자리에서 글을 찾아 읽고, 그중 몇 개를 근거로 골라 문장을 만듭니다.
갈리는 지점은 세 군데입니다. 어디서 글을 찾아오는지, 찾아온 것 중 무엇을 믿을 만하다고 볼지, 그리고 몇 개를 답에 넣을지. 이 셋이 엔진마다 다릅니다. 그래서 같은 날 같은 문장을 넣어도 돌아오는 이름이 다릅니다.
답이 다른 것은 오작동이 아니라 설계 차이입니다. 어느 쪽이 맞는지 따질 일이 아니라, 네 곳을 각각 봐야 한다는 뜻입니다.
네 곳이 아니라 네 시장입니다
손님은 자기가 쓰는 앱 하나로 묻고, 거기 나온 이름 중에서 고릅니다. 다른 엔진에서 우리가 1등이라는 사실은 그 손님에게 전달되지 않습니다.
| 검색엔진 시절 | 지금 | |
|---|---|---|
| 확인할 곳 | 사실상 한 곳 | 네 곳 — 결과가 서로 다르다 |
| 한 곳에서 1등이면 | 대체로 다른 곳에서도 상위 | 다른 곳과 거의 무관하다 |
| 손님이 보는 것 | 열 자리 목록 | 자기가 쓰는 앱의 두세 이름 |
| 안 나올 때 의미 | 순위가 낮다 | 그 시장에서는 탈락 |
근거 도메인의 83%가 한 엔진에만 나타났다는 것은, 네 개의 명단이 거의 겹치지 않는다는 뜻입니다. 하나의 시장에 네 개의 창구가 있는 것이 아니라, 네 개의 시장이 따로 있는 것에 가깝습니다.
한 곳만 보고 생기는 두 가지 오해
첫째, 챗GPT에 나왔다고 안심하는 경우입니다. 나머지 세 곳에서 손님이 우리 이름을 못 보고 있어도 그 사실이 안 보입니다.
둘째, 반대로 한 곳에 안 나와서 "AI 검색은 우리랑 상관없다"고 접는 경우입니다. 다른 엔진에서는 이미 불리고 있는데, 확인한 한 곳이 하필 우리 업종을 다르게 다루는 엔진이었을 수 있습니다.
두 오해 모두 같은 실수에서 나옵니다. 한 엔진의 결과를 AI 전체의 결과로 읽은 것입니다.
출처를 안 보여주는 엔진도 있습니다
답변 아래에 근거로 쓴 주소를 붙여 주는 엔진이 있고, 이름은 말하면서 어디서 가져왔는지는 흐리게 두는 엔진이 있습니다. 같은 엔진 안에서도 질문에 따라 달라집니다.
출처가 안 보이면 왜 그 업체가 불렸는지 되짚을 수가 없습니다. 그 구간은 눈으로 확인하는 것이 불가능하고, 답변에 나온 이름들을 모아 따로 맞춰 보는 수밖에 없습니다. 직접 재실 때 이 구간에서 가장 많이 틀립니다.
직접 비교해 보시려면
오늘 해보실 수 있습니다. 순서를 지키셔야 비교가 됩니다.
- 질문 하나를 정하고 문장을 고정하십시오. 엔진마다 말을 바꾸면 엔진 차이인지 질문 차이인지 알 수 없습니다.
- 상호를 빼십시오. 이름을 넣으면 네 곳 다 나옵니다. 그건 아직 우리를 모르는 손님의 질문이 아닙니다.
- 네 곳에 똑같이 넣으십시오. 챗GPT·클로드·퍼플렉시티·제미나이.
- 각각 여러 번 물으십시오. 같은 엔진도 물을 때마다 흔들립니다. 한 번의 결과는 측정이 아닙니다.
- 엔진별로 따로 적으십시오. 네 결과를 합쳐 평균 내면 정작 어디가 비어 있는지가 사라집니다.
적어 두신 표에서 우리 이름이 비어 있는 칸이 지금 손님을 놓치고 있는 자리입니다.
자주 받는 질문
Q. 그러면 네 곳을 다 관리해야 합니까? 관리는 엔진별로 따로 하는 것이 아닙니다. 손댈 수 있는 것은 우리 주소에 어떤 글이 쌓여 있는가 하나뿐이고, 그 글을 네 엔진이 각자의 방식으로 가져다 씁니다. 다만 결과 확인은 네 곳에서 따로 해야 합니다. 한 곳만 보면 나머지 세 곳의 변화가 안 보입니다.
Q. 우리 업종은 어느 엔진이 제일 중요합니까? 업종과 질문에 따라 다르고, 재보기 전에는 알 수 없습니다. 손님이 어느 앱을 쓰는지도 지역과 연령대에 따라 갈립니다. 그래서 처음 진단할 때는 네 곳을 다 넣고 시작합니다.
Q. 어제와 오늘 답이 다릅니다. 엔진 차이가 아니라 그냥 흔들리는 것 아닙니까? 둘 다입니다. 같은 엔진 안에서도 답은 흔들리고, 엔진 사이에는 그보다 큰 차이가 있습니다. 그래서 한 번의 결과가 아니라 같은 질문을 반복해 물었을 때 불리는 비율만 의미가 있습니다. 흔들림을 걷어내야 엔진 차이가 보입니다.
본 글의 수치는 리스트AI가 자체 측정 시스템으로 확보한 1차 데이터입니다. 브랜드가 특정되지 않도록 비율만 표기했습니다.