ChatGPT·AI 검색이 자사 사이트를 읽게 하는 방법: llms.txt, 구조화 데이터, 크롤러 설정

"추천하는 ○○를 알려 줘"라고 ChatGPT에 묻는 사람이 늘면서, AI 어시스턴트가 상품이나 서비스를 고르는 입구가 되어 가고 있습니다. AI는 자신의 기억만으로 답하는 것이 아니라, 질문할 때마다 웹을 검색하고 페이지를 읽어 답변을 구성합니다. 즉, AI에 인용될지 여부는 AI 크롤러가 여러분의 페이지를 읽을 수 있는지, 그리고 읽었을 때 필요한 사실이 문장으로 적혀 있는지에 따라 결정됩니다. 이 글에서는 이를 위한 설정을 순서대로 설명합니다.

1. AI 크롤러를 거부하고 있지 않은지 확인하기

주요 AI 서비스의 크롤러는 다음과 같습니다. robots.txt에서 이들을 Disallow하고 있으면 AI의 답변에는 거의 나타나지 않습니다.

주의할 점으로, Cloudflare 등 일부 CDN은 새 사이트에서 'AI 크롤러 차단' 설정이 기본적으로 켜져 있는 경우가 있습니다. 관리 화면의 Bot 설정을 확인해 주세요. 또한 사이트가 Bing에 등록되어 있지 않으면 ChatGPT의 검색 결과에도 잘 나타나지 않습니다. Bing Webmaster Tools에는 Google Search Console의 설정을 가져오는 기능이 있으므로 몇 분 만에 등록할 수 있습니다.

2. robots.txt로 의사를 명시하기(Content Signals)

2025년부터 robots.txt에 '검색에는 사용해도 된다', 'AI 답변에의 이용은 허용', '학습에는 사용하지 않는다'와 같은 의사를 기재하는 Content Signals라는 형식이 사용되기 시작했습니다. 예시는 다음과 같습니다.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.co.jp/sitemap.xml

ai-input=yes 가 'AI 답변에 사용해도 된다'는 의미이며, 인용되기를 원한다면 yes로 설정합니다. 학습에의 이용(ai-train)은 별도로 판단할 수 있습니다.

3. llms.txt 배치하기

/llms.txt 는 사이트 개요와 주요 페이지 목록을 Markdown으로 작성한 AI용 안내 파일입니다. 사람을 위한 사이트맵과 같은 것으로, AI가 사이트 전체를 빠르게 파악할 수 있습니다.

# 会社名 — 一言でサービスの説明

> 2〜3文の説明。誰向けに、何を、いくらで。

## 主要ページ
- [料金](https://example.co.jp/pricing): プランと価格
- [よくある質問](https://example.co.jp/faq): 導入前の疑問
- [会社概要](https://example.co.jp/company): 所在地、代表者、沿革

Sotomuke가 제공하는 사이트에서는 번역 페이지 전체 언어 목록을 포함한 llms.txt가 자동으로 생성되며, 각 페이지의 HTTP 헤더에서도 참조됩니다.

4. 사실을 '문장'으로 작성하기

AI가 인용하는 것은 페이지 본문에 작성된 문장입니다. 요금표가 이미지로만 되어 있거나, 영업시간이 배너 안에만 있거나, 특징이 슬라이드 안에만 있는 상태에서는 AI에 전달되지 않습니다. 다음 항목은 본문 텍스트로 작성해 둡니다.

• 무엇을, 누구에게, 얼마에 제공하는지(가격은 숫자로)
• 소재지, 영업시간, 연락처
• 다른 곳과의 차이점('〇〇 지원', '〇〇 불필요' 등 비교에 사용되는 사실)
• 자주 묻는 질문과 답변(질문 문장을 그대로 제목으로 사용)

5. 구조화 데이터(JSON-LD) 넣기

페이지 내용을 기계가 읽을 수 있는 형태로 덧붙이는 구조입니다. 회사 정보는 Organization, 매장이라면 LocalBusiness, 상품이나 서비스는 Product 나 SoftwareApplication, 질문과 답변은 FAQPage, 기사는 Article 를 사용합니다. 가격·영업시간·소재지를 구조화해 두면 검색 엔진과 AI 모두가 오류 없이 정보를 가져갈 수 있습니다.

<script type="application/ld+json">
{ "@context": "https://schema.org", "@type": "LocalBusiness",
  "name": "店名", "url": "https://example.co.jp/",
  "address": { "@type": "PostalAddress", "addressLocality": "京都市", "addressCountry": "JP" },
  "openingHours": "Mo-Su 11:00-22:00", "priceRange": "¥¥" }
</script>

6. 다국어 페이지 준비하기

AI는 질문받은 언어로 검색하고, 해당 언어의 페이지를 우선적으로 읽습니다. 영어로 'best ryokan in Kanazawa'라고 질문받았을 때 영어 페이지가 없으면 인용되기 어려워집니다. 언어별로 URL이 있고 서버에서 번역된 HTML이 반환되는 구성으로 합니다(브라우저에서 교체하는 위젯 방식에서는 AI 크롤러에게 일본어 그대로 보입니다). hreflang으로 언어별 버전을 연결해 두면 검색 엔진 측의 처리도 정돈됩니다.

7. Markdown으로도 제공하기(선택)

일부 AI 에이전트는 HTML보다 가벼운 Markdown을 Accept: text/markdown 라는 요청으로 요구합니다. 이에 대응하면 AI가 페이지를 읽을 때의 노이즈가 줄어듭니다. Sotomuke가 제공하는 페이지는 이 요청에 대해 자동으로 Markdown을 반환합니다.

확인 방법

• ChatGPT에 "〇〇(자사명)에 대해 알려줘", "〇〇시에서 추천하는 〇〇은?"이라고 질문하여 자사 사이트가 인용되는지 확인합니다. 인용 출처 링크가 표시됩니다.
• Bing에서 site:example.co.jp 로 검색하여 페이지가 등록되어 있는지 확인합니다.
• Search Console과 Bing Webmaster Tools에서 인덱스 현황과 크롤링 오류를 확인합니다.

Sotomuke에서 공개한 번역 페이지에는 언어별 URL·hreflang·사이트맵·llms.txt·Content Signals·Markdown 제공이 처음부터 포함되어 있습니다. 일본어 사이트의 이러한 설정은 위의 절차에 따라 사이트 측에 추가해 주십시오.