"우리 회사 소개해줘"라고 물었을 때 ChatGPT가 엉뚱한 답을 내놓는다면, 문제는 AI가 아니라 우리 웹사이트에 있다. 검색엔진을 위한 robots.txt 시대가 저물어가는 지금, AI를 위한 LLMs.txt의 시대가 조용히 시작되고 있다.
검색에서 답변으로, 바뀌고 있는 웹의 주 소비자
지난 20여 년 동안 웹사이트의 가장 중요한 방문자는 구글봇이었다. 그러나 2025년을 기점으로 사용자의 질문은 점점 AI 챗봇으로 이동하고 있다. Perplexity, ChatGPT Search, Claude, Gemini는 모두 웹사이트의 콘텐츠를 읽고 요약해 사용자에게 전달한다. 사용자는 더 이상 열 개의 링크 중 하나를 고르지 않는다. AI가 내놓은 한 문단의 답변으로 판단을 끝낸다.
문제는 이 AI들이 웹사이트를 읽는 방식이 구글과 다르다는 점이다. 복잡한 HTML 마크업, 광고, 내비게이션, 쿠키 배너 속에서 핵심 정보만 뽑아내려면 토큰도 많이 들고 정확도도 떨어진다. LLMs.txt는 이 문제를 해결하기 위해 제안된 새로운 표준이다.
robots.txt와 무엇이 다른가
이름은 비슷하지만 목적은 정반대에 가깝다.
- robots.txt는 크롤러에게 접근하면 안 되는 페이지를 알려주는 파일이다.
- LLMs.txt는 AI에게 꼭 참고해야 할 핵심 정보를 안내하는 파일이다.
즉 robots.txt가 "여기는 들어오지 마"라고 선을 긋는 문서라면, LLMs.txt는 "우리 사이트의 핵심은 바로 이거야"라고 요약해 손에 쥐여주는 문서다. 형식도 다르다. robots.txt가 규칙 목록이라면 LLMs.txt는 사람이 읽어도 바로 이해되는 마크다운 문서다.
LLMs.txt는 어떻게 생겼나
구조는 놀라울 만큼 단순하다. 도메인 루트에 /llms.txt라는 파일을 두고, 다음 순서로 내용을 채운다.
- 사이트 이름과 한 줄 소개: H1 제목과 블록 인용문으로 표기
- 핵심 콘텐츠 링크: 회사 소개, 서비스, 대표 프로젝트 등 절대 놓치면 안 되는 페이지
- 선택적 섹션: 가격, FAQ, 블로그 대표글 등 맥락을 더해줄 페이지
AI는 이 마크다운을 읽고 "이 회사는 이런 일을 하고, 이런 페이지가 중요하구나"를 즉시 파악한다. HTML을 샅샅이 크롤링할 필요가 없으니 토큰 비용이 줄고, 잘못된 정보로 답할 확률도 낮아진다.
어떤 페이지를 넣어야 할까
반드시 포함할 것
회사·브랜드 소개, 주력 서비스와 제품, 대표 포트폴리오, 연락처 페이지는 LLMs.txt의 기본 구성이다. 잠재 고객이 AI에게 "이 회사 어떤 곳이야?"라고 물었을 때 AI가 보게 될 모든 근거가 여기서 나오기 때문이다.
고민해서 넣을 것
블로그 글은 모두 넣지 말고 브랜드 정체성을 대표하는 글 3~5편만 골라 넣는다. AI는 링크가 많을수록 오히려 우선순위를 잃는다. "우리 회사가 이 주제에 대해 어떻게 생각하는지 알려주고 싶다"는 관점에서 선별해야 한다.
지금 시작해야 하는 이유
LLMs.txt는 아직 W3C 같은 공식 기구가 채택한 표준은 아니다. 그러나 Anthropic, Cloudflare, Mintlify 같은 주요 AI·인프라 기업이 이미 채택했고, 따라가는 사이트가 빠르게 늘고 있다. SEO가 그러했듯 초기에 대응한 사이트가 AI 답변에서 유리한 고지를 점한다.
검색 시대에는 "우리 사이트를 구글이 어떻게 이해할까"가 중요했다. AI 시대에는 "우리 사이트를 ChatGPT가 어떻게 설명할까"가 그보다 훨씬 더 중요해진다. 한 번이라도 AI에게 자기 회사를 검색해본 사람이라면 이 차이를 이미 체감하고 있을 것이다.
CYAN은 고객사의 웹사이트를 제작할 때 LLMs.txt 작성과 AI 최적화(AIO)까지 함께 제공한다. 단순히 예쁜 웹사이트가 아니라 AI 시대에도 정확히 읽히는 웹사이트—그것이 다음 10년의 기본값이 될 것이다.