SEO
SEO 가중치 10%Sitemap/Robots
robots.txt·sitemap.xml 존재 여부 및 올바른 구성 확인
무엇을 측정하나요?
robots.txt 파일과 sitemap.xml의 존재 여부 및 올바른 구성을 확인합니다.
AI 검색과의 연관성
robots.txt는 크롤러에게 접근 범위를 알리고, sitemap.xml은 색인해야 할 페이지 목록을 제공합니다. 두 파일이 없으면 AI 봇이 사이트 구조를 파악하기 어렵습니다.
목표 기준
robots.txt 200 OK + sitemap 링크 포함 / sitemap.xml 200 OK
단계별 개선 방법
1
robots.txt에 Sitemap: https://yourdomain.com/sitemap.xml 줄 추가
2
sitemap.xml에 <lastmod> 태그 포함으로 최신 콘텐츠 우선 수집 유도
3
WordPress: Yoast SEO, Next.js: next-sitemap 패키지로 자동 생성 가능
코드 예시
txt
# Recommended robots.txt
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
# Explicitly allow AI crawlers
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml함께 개선하면 좋은 항목
더 알아보기 (외부 자료)
내 사이트의 Sitemap/Robots 점수 확인
URL 하나로 19개 항목 무료 진단 · 60초