사용 방법
- 도메인 칸에
example.com을 입력하고 robots.txt 가져오기 를 누릅니다. 주소를 넣어도 그 호스트의/robots.txt를 가져옵니다. - 가져온 내용이 아래 입력칸에 채워지고 즉시 해석됩니다. 칸의 내용을 고치거나 직접 붙여 넣어도 되니, 배포 전에 새 규칙을 시험해 볼 수 있습니다.
- 점검 결과 에서 문법 오류와 흔한 실수를 줄 번호와 함께 확인합니다.
- 해석된 규칙 표에서 User-agent 그룹별로 Allow, Disallow 가 어떻게 읽혔는지 봅니다.
- 아래 경로 허용 여부 시험 에 봇 이름과 경로(한 줄에 하나, 최대 50개)를 넣으면 경로마다 허용인지 차단인지, 어느 규칙이 적용됐는지 나옵니다.
처음 열면 예시 robots.txt 가 들어 있어 바로 시험해 볼 수 있습니다. 새로 만들려면 robots.txt 생성기를 쓰세요.
규칙이 적용되는 방식
robots.txt 는 RFC 9309 와 구글의 설명에 따라 다음 순서로 해석합니다.
- 그룹 고르기: 봇 이름과 같은
User-agent그룹이 있으면 그 그룹만 따르고, 없을 때만User-agent: *그룹을 따릅니다. 전용 그룹이 있으면*의 규칙은 합쳐지지 않고 무시됩니다. 연속된User-agent줄은 한 그룹으로 묶입니다. - 가장 긴 규칙 우선: 여러 규칙이 맞으면 경로 패턴이 가장 긴 규칙이 이깁니다. 길이가 같으면 Allow 가 이깁니다.
- 패턴:
*는 아무 글자, 끝의$는 경로의 끝을 뜻합니다. 경로는 쿼리(?a=1)를 포함해 대소문자를 구분하며 비교합니다. - 빈 Disallow 는 “아무것도 막지 않음”입니다.
/robots.txt자체는 항상 허용으로 봅니다. - 봇 이름은
Googlebot/2.1같은 전체 문자열이어도 앞의 제품 이름만 씁니다. Googlebot-Image 등은 전용 그룹이 없으면 Googlebot 그룹을 따릅니다. 네이버는 Yeti, 다음은 Daumoa 입니다.
예시 규칙(* 그룹에 Disallow: /admin/, Allow: /admin/help, Disallow: /*?sort=, Disallow: /*.pdf$)으로 시험한 결과입니다.
| 경로 | 결과 | 이유 |
|---|---|---|
| /admin/login | 차단 | Disallow: /admin/ |
| /admin/help | 허용 | Allow: /admin/help 가 더 길어서 이김 |
| /list?sort=asc | 차단 | Disallow: /*?sort= |
| /list?page=2 | 허용 | 맞는 규칙 없음 |
| /a/b.pdf | 차단 | Disallow: /*.pdf$ |
| /a/b.pdf?x=1 | 허용 | $ 때문에 끝이 .pdf 가 아니면 해당 없음 |
점검하는 흔한 실수
| 점검 | 설명 |
|---|---|
| HTML 이 돌아옴 | 없는 robots.txt 를 200 으로 응답하는 소프트 404 설정 |
| 콜론 누락, 오타 | Useragent, Dissallow 같은 철자, Disallow /x 처럼 콜론이 빠진 줄 |
| User-agent 보다 앞의 규칙 | 어떤 봇에도 적용되지 않음 |
경로가 / 로 시작하지 않음, 전체 주소 |
Disallow: admin, Disallow: https://... |
$ 를 중간에 사용 |
끝이 아니면 글자 그대로 취급됨 |
| Noindex 지시어 | 구글이 2019년부터 지원하지 않음 |
| 전체 차단 | User-agent: * 에 Disallow: / 만 있음 |
| CSS·JS 차단 | 렌더링을 방해할 수 있음 |
| Crawl-delay | 구글은 무시, 빙·얀덱스 등 일부만 따름 |
| 500KiB 초과 | 구글은 그 뒷부분을 읽지 않음 |
| Sitemap 상대 경로 | 전체 주소여야 함 |
가져온 응답이 404 같은 4xx 이면 크롤러는 제한이 없는 것으로 보고, 5xx 이거나 429 이면 구글은 일시적으로 사이트 전체 수집을 멈춥니다. 도구가 이 상태도 안내합니다.
robots.txt 의 한계
robots.txt 는 수집을 요청하는 파일이지 접근을 막는 보안 장치가 아닙니다. 규칙을 지키지 않는 봇이 있고, 막은 경로도 다른 곳에 링크가 있으면 검색 결과에 주소만 나타날 수 있습니다. 색인에서 빼려면 페이지의 noindex 메타 태그나 X-Robots-Tag 헤더를 써야 하고, 이때 robots.txt 로 막아 버리면 크롤러가 noindex 를 읽지 못합니다. 비공개 페이지는 로그인이나 서버 설정으로 막으세요. 페이지의 메타 태그는 메타 태그 검사기에서 확인할 수 있습니다.
서버로 가는 값과 한계
- 서버로 가는 값은 도메인(주소)뿐이며 저장하지 않습니다. 가져온 내용을 담은 입력칸과 시험할 경로는 서버로 보내지 않고 이 브라우저에서만 분석합니다.
- 응답은 8초 안에 받아야 하고 본문은 1MiB 까지만 받습니다. 리다이렉트는 최대 5회까지 따라가며 같은 호스트를 3번 방문하면 멈춥니다.
- 사설 주소, 내부 네트워크, IP 주소 직접 입력은 조회하지 않고 80, 443 같은 기본 포트만 허용합니다.
- IP 당 분당 6회, 같은 대상 호스트당 분당 30회의 한도가 있습니다.
- 포트 스캔이나 타인 사이트에 부하를 주는 용도의 도구가 아닌, 도메인 하나에서 파일 하나를 한 번 가져오는 조회 도구입니다.
- 구글 방식을 기준으로 한 참고용 시험이며 크롤러마다 세부 해석이 다를 수 있습니다.
자주 묻는 질문
www 가 있는 주소와 없는 주소의 robots.txt 가 다른가요?
네. robots.txt 는 호스트(그리고 스킴, 포트)마다 따로 적용됩니다. example.com 과 www.example.com 은 서로 다른 파일을 가질 수 있어서 둘 다 확인해야 합니다. 보통은 한쪽이 다른 쪽으로 리다이렉트되는데, 이 경우 도구가 리다이렉트된 주소의 내용을 가져왔다고 알려 줍니다.
Googlebot 은 허용인데 다른 봇은 차단되는 이유가 뭔가요?
Googlebot 전용 그룹이 있으면 구글은 그 그룹만 읽고 * 그룹은 무시합니다. 반대로 전용 그룹이 없는 봇은 * 그룹을 따릅니다. 시험 칸에서 봇 이름을 바꿔 가며 어느 그룹이 적용되는지 보세요.
Disallow 를 했는데 검색 결과에 계속 나와요.
robots.txt 는 수집을 막을 뿐 색인에서 지워 주지 않습니다. 다른 사이트의 링크 때문에 주소만 노출될 수 있습니다. 검색 결과에서 빼려면 noindex 를 쓰고, 그 페이지는 robots.txt 로 막지 마세요.
AI 크롤러도 이 파일을 따르나요?
GPTBot, ClaudeBot 같은 주요 AI 회사의 봇은 자기 이름의 User-agent 규칙을 따른다고 밝히고 있지만 모든 봇이 그런 것은 아닙니다. 봇 이름 칸에 GPTBot 을 넣어 현재 규칙이 막는지 시험해 보세요. 사이트맵 관련 점검은 사이트맵 검사기에서 할 수 있습니다.
robots.txt 가 없다고 나옵니다. 만들어야 하나요?
필수는 아닙니다. 없으면 크롤러는 모든 경로를 수집할 수 있다고 봅니다. 막을 경로가 있거나 Sitemap 위치를 알리고 싶다면 만드세요. 사이트가 이동·리다이렉트되는지는 리다이렉트 확인에서 볼 수 있습니다.
입력한 도메인은 조회를 위해 서버로 전송되며 저장되지 않습니다.