AI 봇 크롤링 설정 가이드
Arthur · xeolab 대표 · 2026-08-05 발행 · 2026-10-02 수정 · 읽는 시간 7분
학습 거부와 검색 노출은 다른 스위치다. 둘을 한 줄로 막으면 학습만 막은 게 아니라 AI 추천 자리까지 비운다.
핵심 요약
AI 크롤러는 세 종류다. 학습용(GPTBot·ClaudeBot), 검색 노출용(OAI-SearchBot·Claude-SearchBot·PerplexityBot), 사용자 요청 시 방문(ChatGPT-User·Claude-User·Perplexity-User). 각 플랫폼 공식 문서가 역할을 분리해 두었으므로, AI 답변에 인용되고 싶다면 최소한 검색 노출용 봇은 robots.txt에서 허용해야 한다. 학습용 봇 허용 여부는 별도 판단이고, 사용자 요청 방문 봇은 robots.txt를 따르지 않을 수 있다.
한 줄 때문에 사라진 사이트
robots.txt에 'AI 봇 전부 차단'이 한 줄로 들어가 있는 사이트를 진단에서 만나면 먼저 묻는다. '학습시키지 말라'는 뜻이었는지, 'AI 추천에도 나오지 말라'는 뜻이었는지. 거의 전자인데, 그 한 줄은 검색·인용용 봇까지 막아서 ChatGPT 검색과 Perplexity 답변에서 사이트를 통째로 빼 버린다. 학습을 거부하고 싶은 마음과 AI 추천에 나오고 싶은 마음은 양립할 수 있다. 봇이 역할별로 나뉘어 있기 때문이다.
플랫폼별 봇과 역할 (공식 문서, 2026-10 접속 기준)
- OpenAI. GPTBot은 파운데이션 모델 학습용이다. 차단하면 '학습에 쓰지 말라'는 뜻이다. OAI-SearchBot은 ChatGPT 검색 결과에 사이트를 노출시키는 용도이며 학습에 쓰지 않는다. 차단하면 검색 결과에서 빠진다. ChatGPT-User는 사용자가 요청할 때 페이지를 방문하며 robots.txt가 적용되지 않을 수 있다.
- Anthropic. ClaudeBot은 학습에 기여할 수 있는 웹 콘텐츠를 수집한다. Claude-SearchBot은 검색 결과 품질 개선용이고 차단하면 검색 색인에서 빠진다. Claude-User는 사용자 질문에 답하기 위한 방문이다. 셋 다 robots.txt를 준수한다.
- Perplexity. PerplexityBot은 Perplexity 검색 결과에 사이트를 노출·링크하는 용도이며 모델 학습용이 아니다. Perplexity-User는 사용자 요청 시 방문하며 '일반적으로 robots.txt를 무시'한다고 공식 문서에 명시돼 있다.
- Google. AI Overviews·AI 모드에 나오려면 별도 요건이 없고 일반 색인(Googlebot)과 스니펫 노출 자격이면 충분하다. nosnippet·max-snippet·noindex로 AI 기능 노출을 제한할 수 있다.
권장 설정: 검색 노출은 열고, 학습은 정책대로
AI 답변에 인용되는 것이 목표라면 OAI-SearchBot·Claude-SearchBot·PerplexityBot·Googlebot은 허용해야 한다. 이 봇들은 공식적으로 학습이 아니라 검색·인용을 위해 수집한다. GPTBot·ClaudeBot 같은 학습용 봇은 회사의 데이터 정책에 따라 결정하되, 학습 거부가 검색 노출까지 막지는 않는다는 점을 기억하시라. 사용자 요청 방문 봇(ChatGPT-User·Perplexity-User)은 robots.txt로 통제되지 않을 수 있으니, 비공개여야 하는 페이지는 robots.txt가 아니라 로그인으로 막아야 한다.
주의할 점 하나. robots.txt는 봇 이름이 맞는 그룹 하나만 적용하고, 그 봇 전용 그룹이 있으면 '*' 그룹의 규칙은 상속되지 않는다. 그래서 내부 경로(관리 콘솔·로그인·API) 차단은 '*' 그룹에만 쓰지 말고 봇별 그룹마다 반복해야 한다. 아래 예시가 그 형태다.
robots.txt 예시
'학습 봇은 거부, 검색 봇은 허용, 내부 경로는 모든 그룹에서 차단'하는 최소 예시다. 한 줄에 적은 ' / ' 는 줄바꿈 자리이고, 그룹마다 내부 경로 Disallow 를 반복한 이유는 위에 적었다. 봇 이름은 플랫폼 문서에서 바뀌므로 분기마다 확인한다.
- User-agent: * / Disallow: /admin / Disallow: /login / Disallow: /api / Allow: /
- User-agent: OAI-SearchBot / Disallow: /admin / Disallow: /login / Disallow: /api / Allow: /
- User-agent: Claude-SearchBot / Disallow: /admin / Disallow: /login / Disallow: /api / Allow: /
- User-agent: PerplexityBot / Disallow: /admin / Disallow: /login / Disallow: /api / Allow: /
- User-agent: GPTBot / Disallow: / (학습 거부를 원할 때만)
- User-agent: ClaudeBot / Disallow: / (학습 거부를 원할 때만)
- Sitemap: https://example.com/sitemap.xml
실제 차단을 찾는 순서
robots.txt가 허용해도 다른 층에서 막혀 있을 수 있다. 우리가 진단할 때 보는 순서다.
- robots.txt 원문을 직접 열어 봇 이름별 규칙을 확인한다(의도와 다른 '*' 차단이 흔하다).
- 호스팅·방화벽·봇 차단 서비스의 로그에서 위 봇 이름이 403을 받는지 본다. robots.txt가 열려 있어도 서버가 거부하면 끝이다.
- 로그인·쿠키 동의 벽 뒤에 본문이 있는지 확인한다. 봇은 통과하지 못한다.
- 프리뷰·스테이징 도메인이 색인되고 있는지 본다. 같은 콘텐츠가 두 주소에 뜨면 정규 주소 신호가 갈린다.
새 글을 빨리 알리기: IndexNow
IndexNow는 URL 추가·갱신·삭제를 검색엔진에 즉시 알리는 공개 프로토콜로, Microsoft Bing·네이버·Seznam·Yandex 등이 참여한다. 한 엔진에 제출하면 참여 엔진 전체에 공유되고, 루트에 키 파일을 두어 소유를 증명하며 한 번에 최대 1만 개 URL을 보낼 수 있다. Bing은 ChatGPT 같은 AI 도구의 검색을 뒷받침한다고 밝혔으므로, Bing 색인이 빨라지면 AI 인용도 빨라진다.
자주 묻는 질문
GPTBot을 막으면 ChatGPT 검색에서 사라지나요?
아닙니다. OpenAI 문서상 GPTBot은 학습용이고, ChatGPT 검색 노출은 OAI-SearchBot이 담당합니다. OAI-SearchBot을 허용하면 검색 결과에 남습니다.
llms.txt도 만들어야 하나요?
커뮤니티 제안 규격이고 구글은 AI용 별도 파일이 필요 없다고 밝혔습니다. 비용이 크진 않지만 가격·FAQ가 바뀔 때 함께 고쳐야 하는 유지 부담이 있습니다. 색인·검색 봇 허용·구조화 데이터를 먼저 끝낸 뒤 여력이 있으면 두는 정도로 봅니다.
출처
플랫폼 공식 문서·동료심사 연구·공개 통계만 인용한다.
- 1.OpenAI — Overview of OpenAI Crawlers (GPTBot · OAI-SearchBot · ChatGPT-User)(2026-10 접속 기준)
- 2.Anthropic 공식 도움말 — Does Anthropic crawl data from the web (ClaudeBot · Claude-SearchBot · Claude-User)(2026-10 접속 기준)
- 3.Perplexity 공식 문서 — Crawlers (PerplexityBot · Perplexity-User)(2026-10 접속 기준)
- 4.Google Search Central — AI features and your website(2026-10 접속 기준)
- 5.IndexNow 공식 문서 (Microsoft Bing · Naver · Seznam · Yandex · Yep 참여)
- 6.Bing Webmaster Blog — Start Using Bing Webmaster Tools to Improve Your Site Visibility (2025-06-17)('Bing powers … AI tools like ChatGPT' 공식 문구)
- 7.llmstxt.org — /llms.txt 제안 규격 (Jeremy Howard, 2024-09)(커뮤니티 제안(표준기구 아님) · 플랫폼 공식 채택 문서 없음)