콘텐츠·기술
AI 크롤러 유형
AI Crawler Types
정의
AI 회사가 운영하는 봇은 학습용(모델 훈련 데이터 수집), 검색·인용용(검색 결과에 사이트를 노출), 사용자 요청 방문(사용자가 링크를 열어 달라고 할 때 접근) 세 역할로 나뉜다. OpenAI의 GPTBot(학습)·OAI-SearchBot(검색)·ChatGPT-User(사용자 요청)가 대표적이다.
Anthropic은 ClaudeBot(학습)·Claude-SearchBot(검색)·Claude-User(사용자 요청)를, Perplexity는 PerplexityBot(검색)·Perplexity-User(사용자 요청)를 공식 문서에 구분해 두었다. 학습용과 검색용은 robots.txt로 제어되지만, 사용자 요청 방문 봇은 robots.txt를 따르지 않을 수 있다고 OpenAI·Perplexity 문서가 명시한다. 비공개 페이지는 robots.txt가 아니라 로그인으로 막아야 한다.
학습 허용과 검색 노출을 한 스위치로 설명하는 자료를 보면 우리는 바로 고친다. 'AI 봇 전부 차단' 한 줄은 학습만 막는 게 아니라 검색·인용 경로까지 끊어 버리기 때문이다. 학습은 거부하고 검색은 허용하는 설정이 가능하고, 둘을 따로 정하는 것이 원칙이다.