정의
AI 에이전트 접근(AI agent access)은(는) AI 에이전트의 요청을 사이트가 허용하는지를 가리킵니다. robots.txt뿐 아니라 CDN·방화벽·보안 플러그인에서도 차단될 수 있어, 설정 파일만 봐서는 알 수 없습니다.
더 설명하면
robots.txt는 Allow인데 CDN이 403으로 막고 있는 조합이 실무에서 가장 흔합니다. 둘은 다른 층이라 따로 확인해야 합니다.
응답 코드로 판정할 때 주의할 점이 있습니다. User-Agent를 흉내 내 보낸 요청이 403을 받았다고 해서 그 봇이 막혔다고 단정할 수 없습니다. 요청한 IP 때문일 수도 있기 때문입니다.
실무에서 문제가 되는 순간
AI 검색에 안 나오는 원인을 콘텐츠에서 찾다가 몇 주를 쓰는 경우가 많습니다. 접근 확인은 몇 분이면 되므로 가장 먼저 해야 합니다. 저희 서버에서도 호스팅사 공용 설정이 특정 봇을 막고 있었고, 지원팀에 요청해서야 풀렸습니다.
자주 하는 오해
- robots.txt 를 Allow 로 해 뒀으니 됐다고 보는 것이 가장 흔한 오해입니다. 차단은 대부분 그보다 앞단에 있습니다.
확인하는 방법
- 무료 도구로 8개 봇의 응답을 한 번에 확인할 수 있습니다: /tools/ai-crawler-check/