쉬운 설명
먼저 크롤러 자체가 무엇인지부터 봅시다. 웹을 대규모로 읽는 서비스는 자동화된 프로그램을 내보내, 페이지 하나를 요청하고 그 안의 링크를 따라 더 많은 페이지로 넘어가는 일을 수천, 수백만 번 되풀이합니다. 검색 엔진은 결과 뒤에 놓인 색인을 만들려고 이 일을 수십 년째 해 왔습니다. AI 크롤러는 그 똑같은 기계 장치를 더 새로운 목적, 곧 AI 시스템이 쓸 웹페이지를 모으는 쪽으로 돌린 것입니다.
AI 크롤러가 하는 일은 대략 세 갈래이고, 이를 구분하는 쉬운 방법은 페이지를 가져온 뒤 그 페이지에 무슨 일이 생기는지를 묻는 것입니다. 첫째는 학습입니다. 크롤러가 많은 양의 글과 이미지를 끌어와 회사가 모델을 학습하거나 미세조정하게 하고, 그래서 당신의 페이지는 모델이 배우는 물웅덩이에 떨어진 한 방울이 됩니다. 둘째는 그 자리에서 답하기로, 검색이나 에이전트 트래픽이라고도 부릅니다. 사람이 무언가를 물었기에 비서가 특정 페이지를 실시간으로 가져와 읽고 답에 쓰는 것으로, 실시간 브라우징이나 RAG 방식 조회의 바탕이 되는 흐름입니다. 셋째는 AI 검색입니다. 크롤러가 사이트를 색인해 두면 답변 엔진이 누군가 검색할 때 그 내용을 요약합니다. 셋 중 어느 것도 챗봇 그 자체가 아니라는 점을 기억하세요. 크롤러는 뒤에서 조용히 도는 가져오기 프로그램이고, 당신과 대화하는 모델은 별개의 조각입니다.
이것이 2026년에 다툼이 된 까닭은 돈과 관심입니다. 보통의 검색 크롤러가 페이지를 읽으면 그 대가로 방문자를 보낼 수 있는 링크가 남습니다. 그런데 AI 시스템이 곧바로 답하려고 페이지를 읽으면, 방문자는 답만 얻고 사이트에는 오지 않을 수 있습니다. 클라우드플레어는 AI 요약이 표시될 때 사람이 전통적인 링크를 누르는 비율이 약 8퍼센트에 그쳤다는 퓨 리서치 조사를 인용했고, 얌전한 봇이 만드는 크롤 트래픽의 절반 넘게가 바뀌지 않은 페이지를 다시 가져오는 데 쓰인다고 지적했습니다. 돌아오는 방문자는 줄고 나가는 부하는 느는 이 조합 때문에, 사이트 주인들은 이제 이 트래픽을 눈으로 보고, 목적별로 나누고, 페이지마다 허용할지 막을지 값을 매길지 정하고 싶어 합니다.
비유로 보면
당신의 웹사이트를 공공 도서관의 책 한 권이라고 그려 보세요. 보통의 검색 크롤러는 목록 카드를 쓰는 사람과 같습니다. 책을 설명할 만큼 읽고 나서, 이용자를 책꽂이로 안내하는 카드를 꽂아 둡니다. 그래서 그 책을 원하는 사람은 여전히 직접 와서 책을 꺼내야 하죠. 답변 엔진을 위해 일하는 AI 크롤러는 도서관 문 앞에 선 친절한 안내자에 더 가깝습니다. 이 사람도 당신의 책을 읽었지만, 방문객이 그 내용을 물으면 그 자리에서 깔끔한 요약을 건넵니다. 방문객은 만족해서 돌아가고, 당신의 책꽂이에는 끝내 오지 않는 일이 많습니다. 누군가 당신의 책을 읽는다는 같은 행동인데도, 사람이 오느냐 마느냐에 미치는 영향은 정반대입니다. 이 간극이 바로 사이트 주인들이 크롤러를 무시하던 데서 목적별로 나누는 쪽으로 옮겨 간 이유입니다. 카드 목록은 독자를 불러들였지만, 문 앞의 요약자는 독자를 붙잡아 둘 수 있습니다. 그러니 현명한 대응은 모든 읽기를 금지하는 것이 아니라, 어떤 독자를 어떤 조건으로 들일지 정하는 것입니다.
어디에서 만나나
AI 크롤러는 오늘날 웹의 양쪽 모두에 등장합니다. 크롤러를 내보내는 쪽에서는, 회사가 공개된 웹의 큰 조각을 모아 기반 모델을 만드는 모델 학습에 쓰이고, 비서가 답을 뒷받침하려고 페이지를 실시간으로 가져오거나 브라우징 에이전트가 작업을 끝내려고 사이트를 읽는 검색과 에이전트에 쓰이며, 이는 RAG의 바탕이 되는 흐름입니다. 또 답변 엔진이 질의에 맞춰 요약하려고 페이지를 색인하는 AI 검색에도 쓰입니다. 문서를 끌어오는 코딩 비서나 원본 페이지를 읽는 가격, 뉴스 도구도 같은 부류에 듭니다. 크롤러를 받는 쪽에서는, AI 크롤러가 이제 사이트를 운영하는 누구에게나 늘 신경 쓰이는 대상입니다. 사이트 주인은 크롤러에게 무엇을 가져가도 되는지 묻는 robots.txt 파일, 어떤 AI 사업자가 방문하는지 드러내는 서버 로그와 봇 대시보드, 봇을 신원으로 허용하거나 막는 방화벽이나 CDN 규칙을 통해 이들을 마주하며, 아예 막는 대신 접근에 값을 매기는 크롤당 과금도 점점 늘고 있습니다. 작은 발행자에게 실질적인 물음은 보통 AI 크롤러가 존재하느냐가 아니라 어느 것을 반길 것이냐입니다. 여전히 독자를 보낼 수 있는 검색형 크롤러는, 한 번 읽고 돌려주는 것이 없는 학습 크롤러와는 다른 거래이기 때문입니다.
작은 예시
2026년 7월 1일, 클라우드플레어는 AI 트래픽 통제 도구 묶음과 함께 AI 크롤러를 바라보는 방식을 내놓았습니다. 크롤러를 세 가지 목적으로 나눈 것이죠. Search는 시스템이 나중에 당신의 콘텐츠에 관해 답할 수 있도록 그것을 모으거나 색인하는 봇, Agent는 사람을 대신해 실시간으로 행동하는 봇, Training은 모델을 학습하거나 미세조정하려고 콘텐츠를 가져가는 봇입니다. 각 목적을 허용하거나 막는 통제 기능은 큰 사이트만이 아니라 무료 요금제를 포함한 모든 고객에게 열렸습니다. 클라우드플레어는 또 2026년 9월 15일부터 광고를 띄우는 페이지에서는 Training과 Agent 봇을 기본으로 막고 Search는 허용하겠다고 밝혔습니다. 그런 페이지는 사람의 관심에 기대기 때문이라는 이유였죠. 통제 기능과 함께, 오래된 robots.txt 파일을 확장한 Content Use Signals도 제안했습니다. 사이트가 자기 콘텐츠를 어떻게 써도 되는지 밝히게 하는 것으로, 저장하지 말라는 immediate, 색인하고 링크해도 된다는 reference, 요약하고 재현해도 된다는 full 같은 단계를 둡니다. 아울러 AI 크롤러가 공짜로 읽게 두는 대신 크롤 단위나 사용 단위로 값을 매기는 유료 모델도 꺼냈는데, 이는 x402 표준에서 보이는 요청당 결제 방향과 맞닿아 있습니다. 함께 읽으면 그날의 메시지는 이렇습니다. 2026년에 흥미로운 물음은 AI 크롤러가 당신의 페이지에 닿을 수 있느냐만이 아니라, 그것이 목적을 밝히는지, 당신이 정한 조건을 지키는지, 읽을 때 값을 치르거나 독자를 되돌려 보내는지로 옮겨 갔다는 것입니다.
자주 하는 오해
한 줄 정리
AI 크롤러는 사람이 아니라 AI 시스템을 위해 웹페이지를 가져오는 자동화된 프로그램이며, 쓸모 있는 접근은 그것이 왜 읽는지를 이름 붙이는 것입니다. 모델을 학습하는 중이라면 당신의 페이지는 모델이 배우는 웅덩이에 합쳐집니다. 에이전트나 실시간 조회라면 특정 질문에 답하려고 한 번 읽습니다. AI 검색이라면 나중에 요약하려고 당신을 색인합니다. 이 셋은 모두 보통의 검색 크롤러와 당신에게 중요한 한 가지에서 다릅니다. 고전적 크롤러는 독자를 되돌려 보내는 색인을 만들지만, AI 크롤러는 흔히 그 자리에서 독자에게 답하는 시스템에 내용을 실어 줍니다. 크롤러를 모델인 챗봇과, 그리고 더 느슨하고 흔히 원치 않는 추출인 스크레이핑과 구분해 두세요. 사이트를 운영한다면 robots.txt는 조건을 밝히는 곳으로, 방화벽이나 CDN 규칙은 그것을 강제하는 곳으로 다루고, 트래픽을 목적별로 보고 크롤당 값을 매기는 2026년의 흐름을 지켜보되, 법이 정리되었다고 넘겨짚지는 마세요. 대부분의 곳에서 아직 그렇지 않기 때문입니다.
자주 묻는 질문
둘은 같은 기계 장치를 씁니다. 페이지를 요청하고 링크를 따라가며 되풀이하는 자동화된 프로그램이죠. 그래서 차이는 어떻게 읽느냐가 아니라 왜 읽느냐에 있습니다. 고전적 검색 크롤러는 색인을 만들려고 페이지를 읽고, 그 색인은 검색하는 사람을 당신의 사이트로 안내하려고 존재하므로, 그 읽기는 독자를 당신에게 되돌려 보내는 편입니다. AI 크롤러는 흔히 독자에게 곧바로 답하는 시스템을 위해 읽습니다. 당신의 글로 모델을 학습하려고, 비서가 답하도록 페이지를 실시간으로 가져오려고, 또는 답변 엔진이 요약하도록 당신을 색인하려고요. 그 결과가 바로 사이트 주인이 신경 쓰는 부분입니다. 검색 크롤러와의 거래는 오랫동안 '읽게 해 주면 방문자를 보내 줄 수 있다'였습니다. 요약하는 AI 크롤러와는 방문자가 답만 얻고 오지 않을 수 있습니다. 그래서 클라우드플레어를 비롯한 곳들이 2026년에 AI 트래픽을 목적별로 나누기 시작했고, AI 요약이 표시될 때 클릭률이 8퍼센트라는 수치를 들었습니다. 방식은 오래됐지만 거래는 새롭습니다.
둘 다 아니며, 이를 구분해 두면 많은 혼동을 피할 수 있습니다. 챗봇, 곧 비서는 당신이 대화하는 모델이고, AI 크롤러는 페이지를 가져오는 별개의 뒤편 프로그램입니다. 그 결과물이 그 모델을 학습했을 수도, 당신에게 답하려고 잠깐 읽히는 것일 수도 있습니다. 크롤러를 막는 일은 비서를 거부하는 일과 다르고, 비서와 대화한다고 그 순간 크롤러가 당신 사이트에 오는 것도 아닙니다. 스크레이핑은 또 다른 말입니다. 페이지에서 데이터를 자동으로 뽑아내는 일 전반을 느슨하게 가리키며, 흔히 특정 대상을 노리거나 원치 않는 것이고, 허락 없이 한다는 뉘앙스를 풍깁니다. AI 크롤러도 많이 읽을 때는 스크레이핑처럼 보일 수 있지만, 잘 운영되는 것들은 공개된 봇 이름으로 신원을 밝히고 robots.txt를 지키며, 접근에 값을 치르겠다는 경우도 점점 늘고 있습니다. 특정 가져오기가 허용되는지는 아직 정리되지 않은 법적 물음이고, 당신이 어디에 있는지와 콘텐츠를 어떻게 다시 쓰는지에 달려 있습니다. 그러니 AI 크롤러를 신원을 알 수 있는 별개의 봇 부류라고 부르는 것은 정확하고, 챗봇이나 그냥 스크레이핑으로 뭉뚱그리는 것은 부정확합니다.
AI 크롤러의 접근을 조절할 수는 있지만, 어떤 도구가 무슨 일을 하는지 아는 것이 도움이 됩니다. robots.txt 파일은 자발적 관행입니다. 이름이 지정된 봇이 어떤 경로를 가져가도 되는지 적어 두면, 대다수 주요 AI 사업자를 포함한 점잖은 크롤러는 이를 따릅니다. 문에 붙인 쪽지가 작동하는 방식과 같아서, 읽고 존중하려는 이에게는 분명하지만 그러지 않는 이에게는 소용이 없습니다. 그러니 robots.txt는 조건을 밝히는 곳이고 설정할 만한 가치가 분명히 있지만, 강제 수단은 아닙니다. 트래픽을 실제로 막으려면 요청 경로에 놓이는 통제가 필요합니다. 봇을 신원이나 행동으로 허용하거나 거부할 수 있는 서버 규칙, 방화벽, CDN이죠. 2026년에는 이런 통제도 더 정밀해졌습니다. 예를 들어 클라우드플레어는 어느 요금제의 사이트든 AI 트래픽을 Search, Agent, Training 목적별로 허용하거나 막게 했고, 허용 여부만이 아니라 어떻게 쓸 수 있는지를 밝히는 Content Use Signals라는 robots.txt 확장을 제안했으며, 접근을 끊는 대신 값을 매길 수 있는 크롤당 과금도 내놓았습니다. 그러니 합리적인 구성은 이렇습니다. robots.txt에 바람을 밝히고, 그 쪽지를 무시하는 크롤러에는 네트워크 차원의 규칙으로 뒷받침하며, 목적별로 막을지 허용할지 값을 매길지 정하되, 바탕이 되는 법은 아직 정리되는 중임을 기억하는 것입니다.