사용 방법
- 막을 경로에 검색엔진이 수집하지 않았으면 하는 경로를 한 줄에 하나씩 적습니다(관리자 페이지, 장바구니, 사이트 내 검색 결과 등). “빠른 설정”으로 모두 허용·모두 차단·예시를 바로 채울 수 있습니다.
- AI 크롤러 차단에서 막을 봇을 고릅니다. 기본으로 AI 학습용 봇이 선택돼 있습니다.
- 특정 봇에만 다른 규칙을 주려면 봇별 규칙 추가를 누릅니다.
- 사이트맵 주소를 넣고, 완성된 파일을 내려받아 사이트 최상위(
https://내도메인/robots.txt)에 올립니다. - 경로 검사에서 봇 이름과 경로를 넣으면 지금 규칙으로 허용되는지, 어떤 규칙 때문인지 알려줍니다.
규칙을 읽는 법 (RFC 9309)
| 줄 | 뜻 |
|---|---|
User-agent: * |
아래 규칙을 적용할 봇 (* = 이름이 따로 지정되지 않은 모든 봇) |
Disallow: /admin/ |
/admin/으로 시작하는 주소는 수집하지 말 것 |
Allow: /admin/help |
막은 범위 안에서 예외로 허용 |
Disallow: (값 없음) |
아무것도 막지 않음 = 모두 허용 |
Disallow: /*?sort= |
*는 아무 글자 — ?sort=가 들어간 모든 주소 |
Disallow: /*.pdf$ |
$는 주소 끝 — .pdf로 끝나는 주소만 |
Sitemap: https://… |
사이트맵 위치 (전체 주소) |
봇은 자기 이름과 정확히 맞는 그룹이 있으면 그 규칙만, 없으면 * 그룹을 따릅니다. 여러 규칙이 한 주소에 맞으면 경로가 가장 긴 규칙이 이기고, 길이가 같으면 Allow가 이깁니다. 그래서 /admin/을 막고 /admin/help를 허용하면 도움말 페이지만 열립니다.
AI 크롤러, 무엇을 막아야 하나요
AI 회사들은 용도에 따라 봇 이름을 나눠 씁니다. 예를 들어 OpenAI는 학습용 GPTBot, ChatGPT 검색용 OAI-SearchBot, 사용자가 대화 중 링크를 줬을 때 쓰는 ChatGPT-User를 구분합니다.
- 학습용만 막기(기본값): 내 글이 AI 모델 학습에 쓰이는 것은 원치 않지만, AI 검색 답변에 출처로 소개되는 것은 괜찮을 때.
- 검색용까지 막기: AI 검색·답변에서 아예 인용되지 않기를 원할 때. 그만큼 AI 검색을 통한 방문은 줄 수 있습니다.
Google-Extended,Applebot-Extended는 실제로 돌아다니는 봇이 아니라 “구글·애플 검색 봇이 모은 내용을 AI 학습에 써도 되는지”를 정하는 이름입니다. 막아도 구글 검색, 애플 검색 노출에는 영향이 없습니다.
주의할 점
- robots.txt는 부탁이지 잠금장치가 아닙니다. 주요 검색엔진과 AI 회사는 따른다고 밝히지만, 무시하는 봇도 있고 파일 자체는 누구나 볼 수 있습니다. 숨길 페이지 경로를 적으면 오히려 위치를 알려주게 되니, 비공개 페이지는 로그인으로 막으세요.
- Disallow는 수집을 막을 뿐, 다른 사이트가 링크한 주소는 내용 없이 검색 결과에 남을 수 있습니다. 검색 결과에서 빼려면 페이지에
noindex메타 태그를 쓰고, 그 페이지는 robots.txt로 막지 않아야 봇이 태그를 읽을 수 있습니다. - 구글은
Crawl-delay를 무시하고, 500KiB를 넘는 부분은 읽지 않습니다.
자주 묻는 질문
파일은 어디에 올려야 하나요?
도메인 최상위 경로에 robots.txt라는 이름으로 올려야 합니다. https://example.com/robots.txt는 되지만 https://example.com/blog/robots.txt는 읽지 않습니다. 하위 도메인(shop.example.com)은 각자 파일이 필요합니다.
메타 태그도 함께 만들 수 있나요?
제목·설명·공유 이미지 태그는 메타 태그 생성기에서 만들 수 있습니다. 사이트맵 XML 문법은 XML 포맷터로 검사하세요.