AI 준비도
AI 준비도 가중치 20%AI 크롤러 허용
robots.txt에서 18개 주요 AI 봇 허용/차단 상태 개별 확인
무엇을 측정하나요?
robots.txt 파일을 파싱하여 GPTBot, ClaudeBot, anthropic-ai, Google-Extended 등 18개 주요 AI 크롤러의 허용/차단 상태를 개별 확인합니다.
AI 검색과의 연관성
AI 크롤러를 차단하면 ChatGPT·Claude·Perplexity 등의 AI가 사이트 내용을 학습하지 못합니다. AI 검색 시대에 크롤러 허용은 AI 노출의 전제 조건입니다.
목표 기준
주요 5개 봇(GPTBot·ClaudeBot·anthropic-ai·Google-Extended·PerplexityBot) 모두 허용
단계별 개선 방법
1
User-agent: * Disallow: / 설정을 제거하거나 Allow: / 명시적 추가
2
AI 봇만 선별 허용: User-agent: GPTBot / Allow: / 형식으로 개별 허용
3
robots.txt 변경 후 Google Search Console → URL 검사 → robots.txt 테스트 도구로 확인
코드 예시
txt
# AI crawler permissions — robots.txt example
User-agent: *
Allow: /
# OpenAI
User-agent: GPTBot
Allow: /
# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
# Google Gemini
User-agent: Google-Extended
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /함께 개선하면 좋은 항목
더 알아보기 (외부 자료)
내 사이트의 AI 크롤러 허용 점수 확인
URL 하나로 19개 항목 무료 진단 · 60초