NEXTMONGNEXTMONG
← 인사이트/GEO 가이드블로그
블로그 목록으로
블로그

구글, robots.txt 공동 AI 학습 거부 신호 지원 계획

구글이 2026년 10월 30일 여러 AI 회사에 학습 거부를 한 번에 알리는 robots.txt 공동 신호를 2027년에 지원하겠다고 밝혔습니다. 작동 방식, Google-Extended와의 관계, 아직 정해지지 않은 점을 정리했습니다.

2026.11.03 넥스트몽 GEO 연구팀

구글이 2026년 10월 30일 검색 센터 블로그에서 새 계획을 발표했습니다. 여러 AI 회사에 학습 거부 의사를 한 번에 알리는 robots.txt 공동 신호를 지원하겠다는 내용입니다. 지금까지는 AI 개발사마다 규칙을 따로 적어야 했습니다.

구글은 robots.txt 공동 AI 학습 거부 신호를 다른 AI 회사와 함께 2027년에 지원하는 것이 목표라고 밝혔습니다. 이 신호는 인터넷 표준 기구 IETF(Internet Engineering Task Force)의 AIPREF 작업 그룹 논의를 바탕으로 합니다. 아직 초안 제안 단계입니다.

핵심 3줄

  • robots.txt에 공동 신호 하나를 쓰면 참여한 AI 회사 전체에 학습 선호를 한 번에 밝힐 수 있게 됩니다.
  • 이 신호로 학습을 거부하고 Google-Extended를 따로 적지 않으면, 구글은 Google-Extended 차단으로 해석할 계획입니다.
  • 기존 회사별 규칙은 그대로 작동합니다. 신호의 실제 이름과 작성 예시는 발표에 명시되지 않았습니다.

새 AI 학습 거부 신호는 어떻게 작동하나?

robots.txt 안에 공동 신호를 적으면, 참여한 AI 회사들이 이를 학습 선호로 읽는 방식입니다. 구글은 이 신호를 'policy token'이라고 부릅니다. 이 글에서는 '공동 신호'라고 하겠습니다.

사이트 설정 구글이 밝힌 처리 방식
공동 신호로 학습 거부, Google-Extended 지정 없음 Google-Extended를 막은 것으로 해석할 계획
공동 신호와 함께 Google-Extended도 지정 회사별 규칙이 공동 신호와 함께 작동
Google-Extended를 명시적으로 허용 Gemini 앱 답변에 나오고 grounding을 통해 클릭을 받을 수 있음

구글은 다른 AI 회사도 비슷하게 처리할 수 있다고 밝혔습니다. 그러면 운영자는 모든 회사에서 한꺼번에 빠질 수도 있습니다. 회사별로 골라서 허용하는 것도 가능합니다.

기존 Google-Extended와 무엇이 다른가?

가장 큰 차이는 회사마다 규칙을 따로 쓰는 부담이 줄어든다는 점입니다. 구글은 2023년부터 AI 학습 제어 수단으로 Google-Extended를 제공해 왔습니다. 이 규칙은 구글에만 통합니다.

시점 내용
2023년 구글, AI 학습 제어 수단 Google-Extended 제공 시작
2026년 10월 30일 구글, robots.txt 공동 신호 지원 계획 발표(초안 제안)
2027년 다른 AI 회사와 함께 지원하겠다고 밝힌 목표 시점

새 신호는 Google-Extended를 대체하지 않습니다. 넓은 선택은 공동 신호로 하고, 구글 같은 개별 회사에는 Google-Extended로 세부 지시를 하는 구조입니다. 참여 회사가 늘수록 신호가 통하는 범위도 넓어진다고 구글은 설명했습니다.

구글 검색 AI 개요 노출에도 영향이 있나?

이번 발표는 AI 학습 제어에 관한 것입니다. 구글 검색의 AI 개요(AI Overviews)·AI 모드(AI Mode) 노출 규칙을 바꾼다는 내용은 발표에 명시되지 않았습니다. 2025년 12월 10일 수정된 구글 검색 센터 문서는 검색 제어를 따로 설명합니다.

  • 검색 크롤링 제어는 Googlebot 대상 robots.txt 규칙으로 합니다.
  • 검색에 보이는 정보를 줄이려면 nosnippet, data-nosnippet, max-snippet, noindex를 씁니다.
  • Google-Extended는 구글의 일부 다른 시스템에서 AI 학습과 grounding을 제한하는 수단입니다.

같은 문서는 AI 개요·AI 모드에 나오려고 AI 텍스트 파일이나 별도 마크업을 만들 필요는 없다고 안내합니다. 대신 robots.txt에서 크롤링을 허용했는지 확인하라고 권합니다. 학습 거부 신호를 넣다가 Googlebot까지 막지 않도록 규칙을 나눠 봐야 한다는 뜻입니다.

아직 정해지지 않은 것은 무엇인가?

지금 공개된 것은 방향과 해석 규칙이고, 실제 문법과 시행 세부는 아직 정해지지 않았습니다. 구글이 밝힌 현재 상태는 이렇습니다.

  • 이번 내용은 초안 제안이며, IETF 작업 그룹에서 다듬고 표준화할 예정입니다.
  • 공동 신호의 토큰 이름과 robots.txt 작성 예시는 발표에 명시되지 않았습니다.
  • AI 학습 정의 외 AIPREF의 나머지 용어는 여러 이해관계자가 계속 논의 중입니다.

적용 국가·언어도 발표에 명시되지 않았습니다. 구글은 이 제안이 EU AI법의 범용 AI(GPAI) 모델 제공자 실천 강령과 맞는다고 밝혔습니다. 이 강령은 robots.txt를 게시자가 기계가 읽을 수 있는 선호를 밝히는 주요 수단으로 인정합니다.

다른 AI 회사에도 같은 신호가 통하나?

다른 AI 회사가 이 신호를 따를지는 각 회사의 참여에 달려 있습니다. 구글은 다른 회사도 비슷하게 처리할 수 있다고만 밝혔고, 참여 회사 명단은 발표에 명시되지 않았습니다. 당분간은 회사별 규칙을 함께 관리해야 한다는 뜻입니다.

robots.txt를 고칠 때는 검색 크롤러와 AI 봇 접속이 의도대로 나뉘었는지 확인해야 합니다. 넥스트몽 사이트 진단은 크롤링·색인과 AI 봇 접속 상태를 점검합니다. 못 갖춘 항목은 작업지시서로 정리해 보여 줍니다.

정리

  • 구글은 2026년 10월 30일 robots.txt 공동 AI 학습 거부 신호 지원 계획을 발표했고, 2027년 지원이 목표입니다.
  • 공동 신호로 학습을 거부하고 Google-Extended를 따로 적지 않으면, 구글은 Google-Extended 차단으로 해석할 계획입니다.
  • 검색 AI 개요·AI 모드 노출 제어는 Googlebot 규칙과 스니펫 제어로 따로 이뤄집니다.

참고 자료

#robots.txt#AI 학습 거부#구글