1. 홈
  2. 개발자
  3. robots.txt 검사기

robots.txt 검사기

robots.txt 규칙을 해석하고 봇별·경로별 허용 여부를 시험합니다.

서버에서 조회 · 입력한 주소만 전송, 저장 안 함
입력한 도메인은 robots.txt 를 가져오기 위해 서버로 전송되며 저장되지 않아요. 아래 robots.txt 입력칸의 내용과 시험할 경로는 서버로 보내지 않고 이 브라우저에서만 분석합니다.
예: example.com | 주소를 넣어도 그 호스트의 /robots.txt 를 가져옵니다. www 와 www 없는 주소는 서로 다른 robots.txt 입니다.
가져온 내용을 고치거나 직접 붙여넣어 규칙을 시험할 수 있어요. 이 칸은 서버로 보내지 않습니다.
User-agent 그룹
2
규칙(Allow·Disallow)
5
Sitemap 줄
1
크기
0.2KiB

점검 결과

문법 오류나 흔한 실수가 발견되지 않았어요.

해석된 규칙

대상 봇규칙비고
*Disallow: /admin/Disallow: /cartAllow: /admin/helpDisallow: /*?sort=-
GPTBotDisallow: /-

사이트맵

#URL
1https://example.com/sitemap.xml

경로 허용 여부 시험

Googlebot/2.1 같은 전체 문자열을 넣어도 앞의 제품 이름만 씁니다. 네이버는 Yeti, 다음은 Daumoa 입니다.
/ 로 시작하는 경로, 또는 전체 주소. 쿼리(?a=1)도 포함해서 판정합니다.

googlebot 전용 그룹이 없어 User-agent: * 를 따릅니다.

경로결과적용된 규칙
/허용맞는 규칙 없음 (기본 허용)
/admin/login차단Disallow: /admin/ (2번째 줄)
/admin/help허용Allow: /admin/help (4번째 줄)
/products?sort=price차단Disallow: /*?sort= (5번째 줄)
/cart차단Disallow: /cart (3번째 줄)

구글의 robots.txt 해석 방식(RFC 9309 기준)을 따른 참고용 시험 도구입니다. 크롤러마다 세부 해석이 다를 수 있고, robots.txt 는 접근 제어가 아니라 수집 요청입니다.

사용 방법

  1. 도메인 칸에 example.com 을 입력하고 robots.txt 가져오기 를 누릅니다. 주소를 넣어도 그 호스트의 /robots.txt 를 가져옵니다.
  2. 가져온 내용이 아래 입력칸에 채워지고 즉시 해석됩니다. 칸의 내용을 고치거나 직접 붙여 넣어도 되니, 배포 전에 새 규칙을 시험해 볼 수 있습니다.
  3. 점검 결과 에서 문법 오류와 흔한 실수를 줄 번호와 함께 확인합니다.
  4. 해석된 규칙 표에서 User-agent 그룹별로 Allow, Disallow 가 어떻게 읽혔는지 봅니다.
  5. 아래 경로 허용 여부 시험 에 봇 이름과 경로(한 줄에 하나, 최대 50개)를 넣으면 경로마다 허용인지 차단인지, 어느 규칙이 적용됐는지 나옵니다.

처음 열면 예시 robots.txt 가 들어 있어 바로 시험해 볼 수 있습니다. 새로 만들려면 robots.txt 생성기를 쓰세요.

규칙이 적용되는 방식

robots.txt 는 RFC 9309 와 구글의 설명에 따라 다음 순서로 해석합니다.

  • 그룹 고르기: 봇 이름과 같은 User-agent 그룹이 있으면 그 그룹만 따르고, 없을 때만 User-agent: * 그룹을 따릅니다. 전용 그룹이 있으면 * 의 규칙은 합쳐지지 않고 무시됩니다. 연속된 User-agent 줄은 한 그룹으로 묶입니다.
  • 가장 긴 규칙 우선: 여러 규칙이 맞으면 경로 패턴이 가장 긴 규칙이 이깁니다. 길이가 같으면 Allow 가 이깁니다.
  • 패턴: * 는 아무 글자, 끝의 $ 는 경로의 끝을 뜻합니다. 경로는 쿼리(?a=1)를 포함해 대소문자를 구분하며 비교합니다.
  • 빈 Disallow 는 “아무것도 막지 않음”입니다. /robots.txt 자체는 항상 허용으로 봅니다.
  • 봇 이름은 Googlebot/2.1 같은 전체 문자열이어도 앞의 제품 이름만 씁니다. Googlebot-Image 등은 전용 그룹이 없으면 Googlebot 그룹을 따릅니다. 네이버는 Yeti, 다음은 Daumoa 입니다.

예시 규칙(* 그룹에 Disallow: /admin/, Allow: /admin/help, Disallow: /*?sort=, Disallow: /*.pdf$)으로 시험한 결과입니다.

경로 결과 이유
/admin/login 차단 Disallow: /admin/
/admin/help 허용 Allow: /admin/help 가 더 길어서 이김
/list?sort=asc 차단 Disallow: /*?sort=
/list?page=2 허용 맞는 규칙 없음
/a/b.pdf 차단 Disallow: /*.pdf$
/a/b.pdf?x=1 허용 $ 때문에 끝이 .pdf 가 아니면 해당 없음

점검하는 흔한 실수

점검 설명
HTML 이 돌아옴 없는 robots.txt 를 200 으로 응답하는 소프트 404 설정
콜론 누락, 오타 Useragent, Dissallow 같은 철자, Disallow /x 처럼 콜론이 빠진 줄
User-agent 보다 앞의 규칙 어떤 봇에도 적용되지 않음
경로가 / 로 시작하지 않음, 전체 주소 Disallow: admin, Disallow: https://...
$ 를 중간에 사용 끝이 아니면 글자 그대로 취급됨
Noindex 지시어 구글이 2019년부터 지원하지 않음
전체 차단 User-agent: * 에 Disallow: / 만 있음
CSS·JS 차단 렌더링을 방해할 수 있음
Crawl-delay 구글은 무시, 빙·얀덱스 등 일부만 따름
500KiB 초과 구글은 그 뒷부분을 읽지 않음
Sitemap 상대 경로 전체 주소여야 함

가져온 응답이 404 같은 4xx 이면 크롤러는 제한이 없는 것으로 보고, 5xx 이거나 429 이면 구글은 일시적으로 사이트 전체 수집을 멈춥니다. 도구가 이 상태도 안내합니다.

robots.txt 의 한계

robots.txt 는 수집을 요청하는 파일이지 접근을 막는 보안 장치가 아닙니다. 규칙을 지키지 않는 봇이 있고, 막은 경로도 다른 곳에 링크가 있으면 검색 결과에 주소만 나타날 수 있습니다. 색인에서 빼려면 페이지의 noindex 메타 태그나 X-Robots-Tag 헤더를 써야 하고, 이때 robots.txt 로 막아 버리면 크롤러가 noindex 를 읽지 못합니다. 비공개 페이지는 로그인이나 서버 설정으로 막으세요. 페이지의 메타 태그는 메타 태그 검사기에서 확인할 수 있습니다.

서버로 가는 값과 한계

  • 서버로 가는 값은 도메인(주소)뿐이며 저장하지 않습니다. 가져온 내용을 담은 입력칸과 시험할 경로는 서버로 보내지 않고 이 브라우저에서만 분석합니다.
  • 응답은 8초 안에 받아야 하고 본문은 1MiB 까지만 받습니다. 리다이렉트는 최대 5회까지 따라가며 같은 호스트를 3번 방문하면 멈춥니다.
  • 사설 주소, 내부 네트워크, IP 주소 직접 입력은 조회하지 않고 80, 443 같은 기본 포트만 허용합니다.
  • IP 당 분당 6회, 같은 대상 호스트당 분당 30회의 한도가 있습니다.
  • 포트 스캔이나 타인 사이트에 부하를 주는 용도의 도구가 아닌, 도메인 하나에서 파일 하나를 한 번 가져오는 조회 도구입니다.
  • 구글 방식을 기준으로 한 참고용 시험이며 크롤러마다 세부 해석이 다를 수 있습니다.

자주 묻는 질문

www 가 있는 주소와 없는 주소의 robots.txt 가 다른가요?

네. robots.txt 는 호스트(그리고 스킴, 포트)마다 따로 적용됩니다. example.com 과 www.example.com 은 서로 다른 파일을 가질 수 있어서 둘 다 확인해야 합니다. 보통은 한쪽이 다른 쪽으로 리다이렉트되는데, 이 경우 도구가 리다이렉트된 주소의 내용을 가져왔다고 알려 줍니다.

Googlebot 은 허용인데 다른 봇은 차단되는 이유가 뭔가요?

Googlebot 전용 그룹이 있으면 구글은 그 그룹만 읽고 * 그룹은 무시합니다. 반대로 전용 그룹이 없는 봇은 * 그룹을 따릅니다. 시험 칸에서 봇 이름을 바꿔 가며 어느 그룹이 적용되는지 보세요.

Disallow 를 했는데 검색 결과에 계속 나와요.

robots.txt 는 수집을 막을 뿐 색인에서 지워 주지 않습니다. 다른 사이트의 링크 때문에 주소만 노출될 수 있습니다. 검색 결과에서 빼려면 noindex 를 쓰고, 그 페이지는 robots.txt 로 막지 마세요.

AI 크롤러도 이 파일을 따르나요?

GPTBot, ClaudeBot 같은 주요 AI 회사의 봇은 자기 이름의 User-agent 규칙을 따른다고 밝히고 있지만 모든 봇이 그런 것은 아닙니다. 봇 이름 칸에 GPTBot 을 넣어 현재 규칙이 막는지 시험해 보세요. 사이트맵 관련 점검은 사이트맵 검사기에서 할 수 있습니다.

robots.txt 가 없다고 나옵니다. 만들어야 하나요?

필수는 아닙니다. 없으면 크롤러는 모든 경로를 수집할 수 있다고 봅니다. 막을 경로가 있거나 Sitemap 위치를 알리고 싶다면 만드세요. 사이트가 이동·리다이렉트되는지는 리다이렉트 확인에서 볼 수 있습니다.

입력한 도메인은 조회를 위해 서버로 전송되며 저장되지 않습니다.

필요한 도구가 없나요?

어떤 작업을 하고 싶은지 적어 주세요. 요청이 많은 도구부터 만듭니다.