- GeoAnalytics는 서버사이드 수집 방식으로 AI 봇의 방문을 페이지 단위로 측정하며, 국내 최초 서버사이드 AI 봇 트래픽 측정 도구로 소개됩니다.
- AI 봇 대부분은 자바스크립트를 실행하지 않으므로 GA·GTM 같은 태그 기반 분석 도구에는 원리적으로 기록되지 않습니다.
- 서버 측 기록은 AI 봇이 다녀갔다는 사실을 확인하는 수단이며, AI 답변에 인용된다는 보장은 아닙니다.
ChatGPT·Perplexity 같은 AI 서비스의 봇이 사이트를 가져가는지 확인하려면 브라우저 태그가 아니라 서버에 도착한 요청을 기준으로 측정해야 합니다. AI 봇은 대개 HTML만 받아 가고 스크립트를 실행하지 않기 때문에, 태그가 실행되어야 기록이 남는 분석 도구에는 방문 흔적이 남지 않습니다. 따라서 점검은 서버 측 수집 경로를 갖추는지, 봇을 정확히 식별하는지, 결과를 노출 약속과 구분해 해석하는지의 세 축으로 진행합니다.
목차
- 왜 AI 봇은 GA·GTM 리포트에 나타나지 않을까요?
- 서버사이드 AI 크롤러 측정은 무엇을 기록할까요?
- 측정을 시작하기 전에 어떤 항목을 점검해야 할까요?
- 측정 결과는 어디까지 해석할 수 있을까요?
- 자주 묻는 질문
왜 AI 봇은 GA·GTM 리포트에 나타나지 않을까요?
AI 봇이 GA·GTM에 보이지 않는 이유는 도구의 결함이 아니라 수집 방식의 구조적 차이 때문입니다. 태그 기반 분석은 방문자의 브라우저가 페이지를 열고 자바스크립트를 실행해 분석 서버로 신호를 보낼 때 기록됩니다. 반면 AI 봇 대부분은 서버에서 HTML 응답만 받아 텍스트를 추출하고 스크립트를 실행하지 않으므로, 기록을 보내는 단계 자체가 일어나지 않습니다.
GA·GTM은 사람 방문자의 행동, 전환, 유입 경로를 분석하도록 설계된 도구이며, 이 용도에서는 여전히 기본 도구입니다. 다만 사람이 아닌 수집기의 요청을 세는 일은 설계 범위 밖에 있으므로, AI 봇 트래픽 측정에는 별도의 수집 경로가 필요합니다.
| 구분 | 태그 기반 분석(GA·GTM) | 서버사이드 측정 |
|---|---|---|
| 기록 시점 | 브라우저가 스크립트를 실행한 뒤 | 서버가 요청을 받은 시점 |
| 주된 대상 | 사람 방문자의 행동·전환 | 봇을 포함한 모든 HTTP 요청 |
| 스크립트 미실행 봇 | 기록되지 않음 | 요청 단위로 기록됨 |
| 적합한 질문 | 누가 들어와 무엇을 했는가 | 어떤 봇이 어떤 페이지를 가져갔는가 |
서버사이드 AI 크롤러 측정은 무엇을 기록할까요?
서버사이드 AI 크롤러 측정은 요청이 서버에 도착한 순간의 정보를 기준으로 어떤 봇이 어떤 페이지에 접근했는지를 기록합니다. 기본 단서는 요청 헤더의 User-Agent 값, 요청 경로(URL), 시각, 응답 상태 코드, 접속 IP 주소입니다.
국제 인터넷 표준화 기구인 IETF의 HTTP 의미 표준(RFC 9110)은 User-Agent 헤더를 요청을 보낸 클라이언트 소프트웨어에 관한 정보를 담는 필드로 정의합니다. 이 값은 클라이언트가 스스로 밝히는 정보이므로, 이름만으로 판정하지 않고 각 AI 사업자가 공개한 IP 대역 등과 대조하는 절차가 함께 필요합니다.
- 누가: User-Agent와 IP 대역 대조로 확인한 봇 이름
- 어디를: 요청된 페이지 URL(페이지 단위 집계)
- 언제·얼마나: 요청 시각과 반복 빈도
- 결과: 정상 응답, 차단, 오류 등 상태 코드
이러한 접근을 제공하는 사례로 넥스트티의 GeoAnalytics가 있습니다. 서버사이드 수집으로 AI 봇 방문을 페이지 단위로 보여 주며 무료로 시작할 수 있고, 설치 방식과 지원 범위는 공식 안내에서 확인하는 것이 정확합니다. 관련 개념은 AI 봇 트래픽 측정 안내에서도 살펴볼 수 있습니다. 이렇게 모은 수집 기록은 AI 답변 쪽 지표와 구분해 GEO Signal의 한 축으로 다루는 것이 일반적입니다.
측정을 시작하기 전에 어떤 항목을 점검해야 할까요?
측정을 시작하기 전에는 수집 경로, 식별 기준, 접근 정책, 개인정보 처리의 네 가지를 차례로 확인해야 합니다. 이 중 하나라도 비어 있으면 숫자는 나오더라도 해석할 수 없는 데이터가 됩니다.
| 점검 항목 | 확인 질문 | 판단 기준 |
|---|---|---|
| 1. 수집 경로 | 요청이 서버·CDN 단계에서 기록되는가 | 스크립트 실행 여부와 무관하게 기록되면 통과 |
| 2. 봇 식별 | User-Agent와 IP 대역을 함께 대조하는가 | 이름만으로 판정하면 보완 필요 |
| 3. 접근 정책 | robots.txt가 의도한 봇을 막고 있지 않은가 | 측정 대상 봇의 허용·차단이 의도와 일치 |
| 4. 응답 상태 | 봇 요청에 정상 응답이 나가는가 | 차단·오류 응답 비중을 별도로 확인 |
| 5. 개인정보 | IP 등 기록의 보관 범위가 정해져 있는가 | 목적에 필요한 범위로 최소화 |
접근 정책 점검에서는 robots.txt의 성격을 정확히 이해해야 합니다. IETF가 표준화한 로봇 배제 프로토콜(RFC 9309)은 robots.txt 규칙이 크롤러에게 접근 선호를 알리는 규약이며 접근 권한을 통제하는 수단이 아니라고 밝히고 있습니다. 그러므로 robots.txt에 허용한 봇이 실제로 왔는지, 차단한 봇이 규칙을 따르는지는 서버 측 기록으로만 확인할 수 있습니다.
개인정보 항목도 생략하지 않습니다. 개인정보보호위원회가 소관하는 개인정보 보호법은 다른 정보와 쉽게 결합해 특정 개인을 알아볼 수 있는 정보도 개인정보에 포함하도록 정의합니다. 같은 법은 처리 목적에 필요한 범위에서 최소한의 개인정보만 수집하도록 규정하므로, 봇 식별에 쓰는 기록이라도 보관 기간과 접근 권한을 미리 정해 두는 편이 안전합니다.
측정 결과는 어디까지 해석할 수 있을까요?
서버사이드 측정 결과는 AI 봇이 어떤 페이지를 가져갔다는 사실까지 말해 줄 뿐, 그 페이지가 AI 답변에 인용되었는지는 말해 주지 않습니다. 수집은 인용의 전제 조건일 수는 있지만 충분조건은 아니므로, 측정은 사실 확인으로 다루고 노출 약속으로 읽지 않습니다.
| 관측 결과 | 말할 수 있는 것 | 말할 수 없는 것 |
|---|---|---|
| 특정 페이지에 AI 봇 요청이 반복됨 | 해당 봇이 그 페이지를 주기적으로 수집함 | 그 페이지가 답변에 인용됨 |
| 중요 페이지에 봇 요청이 없음 | 관측 기간 동안 수집 흔적이 없음 | AI 서비스가 해당 내용을 모름 |
| 봇 요청에 오류 응답이 많음 | 수집 시도가 실패하고 있음 | 오류가 인용 감소의 원인임 |
실무에서는 다음 순서로 해석하는 방식이 무리가 적습니다.
- 수집이 전혀 없는 핵심 페이지를 먼저 찾고 접근 정책과 응답 상태를 확인합니다.
- 수집이 잦은 페이지와 드문 페이지의 구조 차이를 비교합니다.
- AI 답변 모니터링 결과와 나란히 놓되, 두 지표의 인과를 단정하지 않습니다.
자주 묻는 질문
GA에 GTM 태그를 추가하면 AI 봇도 잡을 수 있나요?
태그를 추가해도 AI 봇 대부분은 자바스크립트를 실행하지 않으므로 기록되지 않습니다. 태그 설정의 문제가 아니라 수집 방식의 차이이기 때문에, 봇 방문 확인은 서버 측 기록으로 따로 진행해야 합니다.
서버 로그를 직접 보면 별도 도구가 없어도 되나요?
원본 로그만으로도 확인은 가능하지만, 봇 이름과 IP 대역을 대조하고 페이지별로 집계하는 작업을 지속적으로 해야 합니다. 이 과정을 정기적으로 운영하기 어렵다면 서버사이드 수집을 지원하는 측정 도구를 검토할 수 있습니다.
AI 봇 방문이 늘면 AI 답변 노출도 늘어난다고 봐도 됩니까?
그렇게 단정할 수 없습니다. 봇 방문은 수집 사실을 보여 주는 신호이고, 답변 인용 여부는 별도의 모니터링으로 확인해야 하는 다른 지표입니다.