AI는 긴 글의 어느 문단을 인용할까: Claude 검색 실험
Peec AI가 2026년 10월 28일 공개한 Claude API 실험을 정리했습니다. 긴 글 약 14,600자 중 약 1,900자만 답변 모델에 넘어갔고, 질문의 구체적 단어를 담은 문단이 더 자주 인용됐습니다.
긴 글을 올려도 AI가 그 글을 전부 읽고 답하지는 않습니다. Peec AI가 2026년 10월 28일 공개한 Claude API 실험에서, Claude는 가져온 페이지 약 14,600자 가운데 약 1,900자만 답변 모델에 넘겼습니다. 페이지의 약 8분의 1만 인용 후보가 된다는 뜻입니다.
그렇다면 AI는 긴 글의 어느 문단을 인용할까요? 이 실험이 내놓은 답은 질문에 쓰인 구체적인 단어를 담고, 떼어 읽어도 뜻이 통하는 문단입니다. 다만 미국 업체가 외부에서 관측한 결과이며 Anthropic이 확인한 내용은 아닙니다.
핵심 3줄
- Peec AI는 734개 페이지와 1,568개 인용 구절로 Claude가 고른 조각을 재현했습니다.
- 단어 일치 공식 BM25는 인용 조각을 41.6% 맞혔고, 무작위 선택은 21.9%였습니다.
- Peec AI는 꼭 인용돼야 할 문단 하나를 짧고 구체적으로 써서 위쪽에 두라고 권했습니다.
Claude는 긴 글에서 어느 문단을 골라 인용하나?
Claude는 다시 쓴 검색어와 단어가 겹치는 조각을 고르는 경향을 보였습니다. Peec AI의 실험 순서는 다음과 같습니다.
- Claude API 응답에서 가져온 페이지와 실제 인용 문장을 확인했습니다.
- 페이지를 약 14개 조각으로 나눴습니다. 조각 경계는 Peec AI가 추정한 것입니다.
- Claude가 실행한 검색어로 조각마다 점수를 매겼습니다.
- 약 1,934자 한도 안에서 상위 2개 정도를 남기고, 실제 인용이 들어 있는지 셌습니다.
| 조각을 고른 방법 | 인용 조각을 맞힌 비율 |
|---|---|
| 무작위로 2개 | 21.9% |
| 항상 페이지 맨 위 | 34.1% |
| BM25 | 41.6% |
BM25는 1990년대에 나온 단어 일치 점수 공식입니다. 드문 단어에 높은 점수를 주고, 같은 단어를 몇 번 넘게 반복하면 점수가 거의 늘지 않습니다. 맨 위 조각이 무작위보다 잘 맞았다는 점도 눈여겨볼 만합니다.
단어만 맞으면 되나, 뜻도 봐야 하나?
Peec AI는 단어와 뜻을 둘 다 본다고 정리했습니다. 인용된 조각과 무시된 조각을 짝지어 비교했습니다. 인용 쪽을 더 높게 본 횟수는 100번 중 BM25 74번, 의미 벡터(임베딩) 68번, 신경망 재순위 모델 74번이었습니다.
공개 임베딩 모델 12개 중에서는 Voyage와 Gemini가 Claude의 선택에 근접했다고 밝혔습니다. Peec AI가 Claude 인용으로 직접 학습시킨 모델은 이 둘보다 더 잘 맞았습니다. Peec AI는 Claude가 기성 모델을 그대로 쓰지 않는 것으로 추정했습니다.
Anthropic은 2024년 9월 19일 Contextual Retrieval 기법을 발표했습니다. 조각만 떼면 "매출이 3% 늘었다"처럼 어느 회사 얘기인지 모르는 문장이 생깁니다. 이 기법은 조각마다 50~100토큰 정도의 설명을 앞에 붙입니다. 재순위까지 더하면 상위 20개 조각 검색 실패율이 67% 줄었다고 밝혔습니다. Claude 웹 검색이 이 기법을 쓰는지는 Anthropic이 밝히지 않았습니다.
긴 글의 문단은 어떻게 고쳐야 하나?
페이지마다 꼭 인용돼야 할 문단 하나를 정하고, 그 문단을 두 가지 점검에 맞추는 것이 Peec AI의 권고입니다.
- 다시 쓴 검색어가 쓸 단어가 문단에 있는가: Claude는 질문을 짧은 검색어 여러 개로 바꾸며 연도·대상 같은 단어를 보탭니다.
- 페이지에서 떼어 읽어도 뜻이 통하는가: 대명사가 많거나 다른 부분과 어긋나는 조각은 덜 뽑힌다고 했습니다.
- 숫자·연도·대상·정확한 이름을 씁니다. 대표 키워드 반복은 거의 도움이 되지 않았습니다.
- 그 문단을 짧게 다듬고, 글 끝에 묻혀 있으면 위로 올립니다.
이 결과를 어디까지 믿어야 하나?
Peec AI는 이 결과가 외부 관측이며 Anthropic이 공식 확인하지 않았다고 밝혔습니다. 시스템은 언제든 바뀔 수 있고 Claude 모델마다 다를 수 있습니다. 문단이 모델에 전달돼도 답변에 인용되지 않을 수 있다고도 했습니다. 실험 국가는 미국이며, 언어는 발표에 명시되지 않았습니다. 한국어 페이지에서 같은 비율이 나온다는 근거는 없습니다.
다른 서비스의 처리 방식도 일부만 알려져 있습니다. Peec AI는 ChatGPT도 페이지를 조각으로 나누지만, 조각에 문맥을 붙이는지는 공개되지 않았다고 했습니다. Bing은 10월 13일 AI 인용 근거 질문(grounding queries)을 주제별로 묶는 Topics Portfolio를 베타로 내놓았습니다. 수치는 어림값이라고 안내했습니다.
한국어 질문과 네이버 환경에서는 측정, 진단, 실행 순서로 이어 갈 수 있습니다. 넥스트몽 질문 분석은 고객이 실제로 쓰는 질문을 모아 우선순위를 붙입니다. AI 가시성은 그 질문을 네이버 AI 브리핑·ChatGPT·Gemini 등에 주기적으로 물어 자사 인용·언급·미노출을 기록합니다. 콘텐츠AEO는 발행 전 원고를 AI 인용 적합성 기준으로 채점하고 고칠 문장 위치를 표시합니다.
정리
- Peec AI 실험에서 Claude는 긴 글의 약 8분의 1만 답변 모델에 넘겼습니다.
- 인용된 문단은 검색어의 구체적 단어를 담고, 떼어 읽어도 뜻이 통하는 경향을 보였습니다.
- 미국에서 외부 관측한 결과이며 Anthropic이 확인하지 않았고, 한국어 적용 근거는 없습니다.
참고 자료
- Peec AI, "How to optimize content for Claude search", 2026-10-28 — https://peec.ai/blog/how-to-optimize-content-for-claude-search
- Anthropic, "Introducing Contextual Retrieval", 2024-09-19 — https://www.anthropic.com/research/contextual-retrieval
- Microsoft Bing Webmaster Blog, "Introducing Topics Portfolio (Beta) in AI Performance", 2026-10-13 — https://blogs.bing.com/webmaster/2026/10/introducing-topics-portfolio-beta-in-ai-performance/