입력한 주소에 GPTBot · OAI-SearchBot · ClaudeBot · Claude-SearchBot · PerplexityBot ·
Google-Extended · Googlebot · Yeti(네이버) 8개 봇의 User-Agent로 실제 요청을 보내
응답 코드를 확인하고, robots.txt에서 각 봇에 해당하는 규칙을 함께 보여줍니다.
결과를 읽는 법
| 표시 | 뜻 | 할 일 |
|---|---|---|
| 통과 확정 (200) | 그 봇의 User-Agent로 보낸 요청이 정상 응답을 받았습니다. | 이 단계는 문제없습니다. 다음은 콘텐츠 구조를 봅니다. |
| 판정 불가 (403 등) | 막혔을 수도 있고, 요청을 보낸 저희 서버 IP가 막힌 것일 수도 있습니다. | 서버 접근 로그에서 그 봇의 실제 요청이 어떻게 응답됐는지 확인하십시오. |
| 리디렉션 (3xx) | 다른 주소로 넘깁니다. www↔apex나 http→https면 정상입니다. | 목적지 주소로 다시 확인해 보십시오. |
| robots.txt — 루트 차단 | robots.txt에 그 봇에 대해 Disallow: /가 있습니다. |
의도한 것이 아니면 규칙을 수정하십시오. 이건 명확한 차단입니다. |
| robots.txt — 규칙 없음 | 그 봇에 대한 지정도, * 그룹도 없습니다. |
기본은 허용입니다. 의도적으로 허용하려면 명시해 두는 편이 안전합니다. |
robots.txt는 허용인데 응답이 막히는 경우
실무에서 자주 보는 조합입니다. robots.txt는 손대지 않았는데 봇이 못 들어오는 상황이고,
원인은 대부분 robots.txt 바깥에 있습니다.
- CDN·WAF 규칙 — Cloudflare 등에서 봇 카테고리를 차단. 최근에는 AI 크롤러를 기본 차단으로 두는 설정도 생겼습니다.
- 호스팅사 공용 설정 — 서버 전체에 적용되는 봇 차단 목록. 개별 사이트에서 못 바꾸고 지원팀에 요청해야 합니다.
- 보안 플러그인 — 알 수 없는 User-Agent를 막는 설정.
- 요청 속도 제한 — 짧은 시간에 요청이 몰리면 429로 차단.
- 국가·IP 차단 — 해외 IP를 막아두면 해외에서 오는 AI 봇이 전부 걸립니다.
그래서 이 도구에서 판정 불가가 뜨면 robots.txt가 아니라 그 앞단부터 확인하시는
편이 빠릅니다.
자주 묻는 질문
AI 크롤러를 허용하는 게 좋습니까, 막는 게 좋습니까?
AI 검색에서 발견되기를 원한다면 허용해야 합니다. 막으면 인용될 문서 자체가 없습니다.
반대로 콘텐츠가 학습에 쓰이는 것을 원치 않으시면 학습용 봇(GPTBot, Google-Extended 등)만
막고 검색용 봇(OAI-SearchBot, Claude-SearchBot)은 허용하는 선택도 가능합니다.
다만 사업자 사이트에서 학습 차단의 실익은 크지 않은 편입니다.
robots.txt에서 허용했는데도 AI 답변에 안 나옵니다.
크롤 가능과 인용은 다른 단계입니다. 봇이 들어올 수 있어도, 그 질문에 대한 답이 추출
가능한 형태로 문서에 없으면 인용되지 않습니다. 접근이 확인됐다면 다음은
어떤 페이지가 인용되는가를 보십시오.
이 도구가 우리 서버에 부담을 주지 않습니까?
한 번 확인에 루트 페이지로 8회, robots.txt로 1회, 총 9회 요청이 갑니다. 일반적인 서버에는
부담이 되지 않는 수준이지만, 남용을 막기 위해 IP당 10분에 8회로 제한하고 있습니다.
입력한 주소가 저장됩니까?
저장하지 않습니다. 확인에만 쓰고 페이지를 떠나면 사라집니다. 결과도 서버에 남기지 않습니다.
경로를 넣어도 됩니까?
넣으셔도 루트 주소로 바꿔서 확인합니다. 봇 접근 차단은 대부분 사이트 단위 설정이라
루트에서 확인하면 충분하고, 특정 경로만 막힌 경우는 robots.txt 규칙을 직접 보시는 편이
정확합니다.
다음으로 읽을 것
- GEO란 무엇인가 — 접근이 확인된 뒤에 할 일
- 구글 AI 개요는 어떤 페이지를 인용하는가
- 무료 도구 전체 보기