ChatGPT에 한 번 물어본 결과는 왜 믿으면 안 되나
Arthur · xeolab 대표 · 2026-06-30 발행 · 2026-10-10 수정 · 읽는 시간 4분
캡처 한 장은 성과가 아니다. 우리 무료 진단 결과도 그렇다고, 우리는 상담에서 먼저 말한다.
핵심 요약
같은 질문을 같은 AI에 던져도 답은 매번 조금씩 다르다. AI가 검색을 할지, 어떤 출처를 고를지에 무작위성이 있기 때문이다. 한 번 물어본 결과로 '나온다/안 나온다'를 판단하면 안 되고, 하루 여러 번·여러 날 측정해 주 단위 추세로 읽어야 한다. 무료 간이 진단은 참고용 한 장면이다.
AI 답변은 왜 흔들리나
OpenAI는 공식 문서에서 자사 모델 API가 '기본적으로 비결정적(non-deterministic by default)'이라 같은 요청에도 출력이 달라질 수 있고, 재현용 seed를 써도 결정성은 보장되지 않는다고 밝힌다. 코드 생성 과제로 같은 프롬프트를 반복 요청한 학술 연구에서도 생성 결과가 자주 달라졌고 temperature를 0으로 둬도 보장되지 않았다. 특정 도구의 결함이 아니라 LLM이 원래 그렇다.
한 번 측정이 만드는 착각
오늘 아침 ChatGPT가 우리를 첫 번째로 추천했다고 해서 내일도 그렇다는 보장이 없다. 반대로 한 번 안 나왔다고 노출이 없는 것도 아니다. 영업 자료의 '이렇게 나온다' 캡처는 그 시각·그 계정의 한 관측이다. 우리 실측에서도 같은 날 안에서 자사 등장률이 20%p 넘게 벌어진 날이 있었다('같은 날 결과가 다른 이유' 글에 측정 노트와 함께).
우리가 지키는 최소 조건
- 같은 질문 묶음을 고정한다. 바꾸면 비교가 끊긴다.
- 하루에 시간대를 나눠 여러 번 측정해 그날의 답변을 모두 합쳐 하루치 값으로 만든다.
- 판단은 최소 몇 주의 추세로 한다. 하루 상승은 보고서에 '변화'라고 쓰지 않는다.
- 수집 조건(AI·계정·지역·시간)을 기록해 둔다.
간이 진단은 이렇게 읽자, 우리 것도
xeolab 홈페이지의 무료 진단도 한 번의 관측이다. '지금 이 순간 AI가 우리를 아는가'를 보는 입구로는 유효하지만, 결과가 좋아도 나빠도 성과나 실패로 읽지 마시라고 상담에서 먼저 말한다. 우리 진단을 성과 증거로 쓰지 않는 건 남의 캡처를 믿지 말라는 말과 같은 기준이어야 하기 때문이다.
출처
플랫폼 공식 문서·동료심사 연구·공개 통계만 인용한다.
- 1.OpenAI Cookbook — Reproducible outputs with the seed parameter('non-deterministic by default' 공식 문구)
- 2.Ouyang 외, 「An Empirical Study of the Non-determinism of ChatGPT in Code Generation」, ACM TOSEM (arXiv 2308.02828)(코드 생성 도메인 — 'LLM 출력은 같은 입력에도 달라진다'의 일반 근거로만)