AI 검색의 인용은 얼마나 믿을 수 있나

Arthur · xeolab 대표 · 2026-07-10 발행 · 2026-09-08 수정 · 읽는 시간 5분

인용 링크가 하나 더 생겼다는 보고보다, AI가 틀리게 말한 가격 한 건을 고치는 일이 먼저다.

핵심 요약

2023년 스탠퍼드 연구진이 Bing Chat·Perplexity 등 생성형 검색엔진 4종을 사람이 평가했더니, 생성된 문장 중 인용으로 완전히 뒷받침되는 비율은 51.5%, 인용의 정밀도는 74.5%였다. AI는 그럴듯하지만 사실이 아닌 내용(환각)을 만들 수 있으므로, 브랜드는 AI가 읽고 그대로 옮길 수 있는 정확한 1차 자료(가격·주소·서비스 범위)를 사이트에 두어야 한다.

인용이 달려 있다고 사실인 것은 아니다

Liu·Zhang·Liang(스탠퍼드, EMNLP 2023 Findings)은 생성형 검색엔진의 답변을 문장 단위로 사람이 검수했다. 문장이 인용한 출처에 의해 완전히 뒷받침되는 비율은 평균 51.5%에 그쳤고, 인용 정밀도(달린 인용이 실제로 그 문장을 뒷받침하는 비율)는 74.5%였다. 연구진은 '유창하고 신뢰감 있는 문체'와 '미지원 주장·부정확한 인용'이 공존한다고 결론지었다.

2023년 초 평가라 지금 엔진의 수치는 다를 건다. 그래도 이 연구를 자주 떠올린다. 리포트에서 인용 수가 늘었다고 좋아하기 전에, 그 인용 문장이 우리 광고주를 어떻게 설명하는지 원문을 읽어야 한다는 걸 가장 분명하게 보여 주는 연구라서다.

틀린 가격 한 건

가상의 예를 들겠다. 어느 피부과의 등장률이 한 달 새 올랐는데, 인용 원문을 읽어 보니 AI가 2년 전 블로그 글을 근거로 옛 가격을 말하고 있다. 노출은 늘었지만 상담 전화마다 '왜 가격이 다르냐'는 말을 듣게 되는 상황이다. 이럴 때 우리는 등장률 상승보다 그 옛 글의 갱신 요청과 홈페이지의 현재 가격 명시를 먼저 처리하라고 권한다. 노출 지표만 보고하는 리포트는 이 문제를 잡지 못한다.

환각이란 무엇인가

ACM TOIS에 실린 대규모 언어 모델 환각 서베이(Huang 외)는 환각을 '그럴듯하지만 사실이 아닌 내용'으로 정의하고, 현실 사실과 모순되거나 검증 불가한 사실을 지어내는 '사실성 환각'과 지시·맥락·논리에서 벗어나는 '충실성 환각'으로 나눈다. 브랜드의 가격·위치·서비스를 틀리게 말하는 것은 전형적인 사실성 환각이다.

AI 검색은 답하기 전에 문서를 검색해 읽는 RAG(검색 증강 생성) 구조라서, 읽을 만한 정확한 문서가 있으면 환각이 줄어든다. RAG 원전 논문(NeurIPS 2020)도 외부 문서를 결합한 생성이 더 구체적이고 사실적이라고 보고했다. 위 피부과 예에서 홈페이지에 현재 가격이 문장으로 있었다면 AI가 옛 블로그 대신 그걸 읽을 가능성이 생긴다.

브랜드가 할 수 있는 일

  • AI가 그대로 옮길 수 있는 사실 문장을 사이트에 둔다. 가격·범위·조건·주소·운영시간을 문장으로 쓰고, 같은 사실을 구조화 데이터로 한 번 더 적다.
  • 회사 정보 표기를 모든 채널에서 통일한다. 표기가 갈리면 AI가 다른 실체로 보거나 섞어 말한다.
  • AI 답변 원문을 정기적으로 수집해 틀린 서술을 찾고, 그 근거가 된 옛 자료의 갱신을 요청한다. 우리는 리포트를 검토할 때 노출 상승보다 이런 교정 항목을 먼저 본다.

자주 묻는 질문

AI가 우리 가격을 틀리게 말합니다. 어떻게 고치나요?

AI를 직접 고칠 수는 없습니다. AI가 읽는 페이지에 정확한 가격을 문장과 구조화 데이터로 명시하고, 외부에 퍼진 옛 정보(블로그·디렉터리)에 갱신을 요청하세요. 이후 반복 측정으로 서술이 바뀌는지 확인합니다.

출처

플랫폼 공식 문서·동료심사 연구·공개 통계만 인용한다.

  1. 1.Liu·Zhang·Liang, 「Evaluating Verifiability in Generative Search Engines」, Findings of EMNLP 2023 (arXiv 2304.09848)(Bing Chat·Perplexity 등 4개 엔진 인간 평가(2023))
  2. 2.Huang 외, 「A Survey on Hallucination in Large Language Models」, ACM TOIS (arXiv 2311.05232)
  3. 3.Lewis 외, 「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」, NeurIPS 2020 (arXiv 2005.11401)

관련 용어

함께 읽기