같은 날 같은 질문인데 AI 답이 다르다
Arthur · xeolab 대표 · 2026-10-09 발행 · 2026-10-10 수정 · 읽는 시간 5분
단발 상승을 성과로 보고하지 않는다. 같은 날 안에서도 등장률이 20%p 넘게 벌어지는 걸 봤기 때문이다.
핵심 요약
우리가 2026년 9월 29일부터 10월 8일까지 자체측정 프로젝트 2개에서 같은 질문 묶음을 하루 여러 시간대에 반복 측정한 결과, 같은 날 안에서도 자사 등장률은 평균 8.0~9.2%p, 최대 20~25%p 차이가 났다. 어느 한 시간대 결과만 보면 '올랐다/내렸다'를 반대로 읽을 수 있다. 그래서 하루 안의 모든 답변을 합쳐 하루치 값을 만들고, 단발 상승은 성과로 보고하지 않는다.
같은 날, 같은 질문, 다른 답
청각 클리닉 사례(질문 10개 × ChatGPT·Gemini, 10일): 하루 여러 시간대에 측정한 자사 등장률의 시간대 간 차이는 평균 8.0%p, 가장 컸던 날은 25%p였다. 같은 날 한 시간대엔 60%, 다른 시간대엔 75%가 나온 날도 있다. 산업용 장비 B2B 사례(질문 10개, 6일)는 평균 9.2%p, 최대 20%p로, 같은 날 0%와 20%가 함께 나온 날이 있었다.
이 차이는 측정 오류가 아니다. OpenAI는 자사 모델이 '기본적으로 비결정적'이라고 공식 문서에 적고 있고, 반복 요청 연구에서는 temperature를 0으로 둬도 동일 출력이 보장되지 않았다. AI가 매번 다른 출처를 읽고 다른 답을 쓰는 것이 정상이다.
이 숫자로 만들 수 있는 가짜 성과
위 집계에서 같은 날 60%와 75%가 함께 나왔다. 전날의 60% 시간대와 당일의 75% 시간대를 골라 비교하면 '등장률 15%p 상승'이라는 보고서가 만들어진다. 거꾸로 고르면 '15%p 하락'도 된다. 둘 다 추세가 아니라 같은 날 안의 흔들림이다. 콘텐츠를 올린 다음 날 한 번 높게 나온 결과를 효과로 보고하는 것도 같은 오류이고, 우리는 이런 숫자를 리포트에 쓰지 않는다.
그래서 우리가 지키는 것
- 하루 안에서 시간대를 나눠 반복 측정하고, 그날의 답변을 모두 합쳐 하루치 한 값으로 만든다(비율의 평균이 아니라 답변을 모두 합쳐 다시 계산)
- 그날 측정이 다 끝난 뒤에만 반영한다. 중간값이 화면에서 흔들리며 보이지 않게 하기 위해서다
- 단발 상승·하락은 보고서에 '변화'라고 쓰지 않는다. 변화라고 쓰기 전에 그 프로젝트의 비교 조건·분모·결측·일중 변동 폭을 함께 확인한다
- 질문 묶음·AI 목록·브랜드 목록을 바꾸면 비교 경계를 두고 이전 구간과 증감을 잇지 않는다
- 답변 원문·집계 정의·비교 경계·결측 표시는 콘솔에서 그대로 볼 수 있게 둔다
자주 묻는 질문
왜 평균이 아니라 답변을 합쳐 다시 계산하나요?
점유율·인용률처럼 분모가 있는 지표는 비율의 평균과 합산 후 비율이 다릅니다. 그날의 답변을 한 표본으로 합쳐 계산해야 질문별·모델별 값과 전체 값이 맞아떨어집니다.
무료 간이 진단은 믿을 수 없다는 뜻인가요?
한 번의 관측이라는 뜻입니다. '지금 AI가 우리를 아는가'를 보는 입구로는 유효하지만, 성과 판단은 반복 측정으로 해야 합니다. 우리 진단도 예외가 아닙니다.
이 글의 실측 데이터
- 측정 기간
- 2026-09-29 ~ 2026-10-08
- 표본
- 자체측정 프로젝트 2개(청각 클리닉·산업용 장비 B2B) · 질문 10개 × ChatGPT·Gemini · 16일치
- 방법
- 같은 질문 묶음을 하루 여러 시간대에 반복 질문해, 같은 날 안에서 시간대별 자사 등장률의 최댓값과 최솟값의 차이를 집계했다.
xeolab 운영 측정에서 나온 1차 데이터다.
출처
플랫폼 공식 문서·동료심사 연구·공개 통계만 인용한다.
- 1.OpenAI Cookbook — Reproducible outputs with the seed parameter('non-deterministic by default' 공식 문구)
- 2.Ouyang 외, 「An Empirical Study of the Non-determinism of ChatGPT in Code Generation」, ACM TOSEM (arXiv 2308.02828)(코드 생성 도메인 — 'LLM 출력은 같은 입력에도 달라진다'의 일반 근거로만)