검색결과 상단에 오르는 일은 흔히 '키워드'와 '콘텐츠'의 문제로 여겨집니다. 하지만 그 앞 단계, 검색엔진 로봇이 우리 페이지를 발견하고 읽어 들이는 단계에서 이미 막혀 있다면 아무리 좋은 글도 검색결과에 뜨지 않습니다. 로봇에게 길을 안내하는 두 장의 파일, robots.txt와 sitemap.xml을 제대로 세우는 다섯 가지 원칙을 정리했습니다.
1. robots.txt는 사이트 입구의 '수위실'이다
robots.txt는 도메인 최상위 경로(example.com/robots.txt)에 놓이는 짧은 텍스트 파일로, 검색엔진 로봇이 사이트에 들어오면 가장 먼저 읽는 문서입니다. 어디를 봐도 되고 어디는 보지 말라는 출입 규칙을 담습니다.
- 관리자 페이지, 로그인 화면, 내부 검색결과처럼 색인될 필요 없는 곳은 Disallow로 막습니다.
- 반대로 정작 손님에게 보여야 할 페이지를 실수로 막아 두면, 그 페이지는 검색결과에서 통째로 사라집니다.
2. sitemap.xml은 로봇에게 건네는 '가게 약도'다
로봇은 링크를 따라 페이지를 돌아다니지만, 링크가 얕게 걸린 신규 페이지나 깊숙한 페이지는 놓치기 쉽습니다. sitemap.xml은 사이트의 모든 주요 페이지 주소를 한 목록으로 정리한 지도여서, 로봇이 빠짐없이 찾아가도록 돕습니다.
페이지 주소와 함께 마지막 수정일(lastmod)을 넣어 두면, 로봇은 바뀐 페이지를 우선 다시 읽습니다. 자주 갱신되는 블로그·공지에서 특히 효과가 큽니다.
3. 만든 지도는 검색엔진에 '직접' 알려야 한다
파일을 올려 두는 것으로 끝이 아닙니다. 구글 서치 콘솔과 네이버 서치어드바이저에 사이트를 등록하고 sitemap 주소를 직접 제출해야 색인 속도가 눈에 띄게 빨라집니다. robots.txt 안에 Sitemap: 한 줄로 지도 위치를 명시해 두는 것도 기본입니다.
4. 막을 곳과 열 곳을 또렷하게 가르라
흔한 사고는 두 가지입니다. 하나는 열어야 할 페이지를 막는 것, 다른 하나는 중복·저품질 페이지를 열어 둬 색인을 어지럽히는 것입니다.
- 같은 내용이 여러 주소로 뜨는 중복 페이지는 정리하거나 대표 주소를 지정합니다.
- robots.txt로 막은 페이지는 검색엔진이 내용을 못 읽을 뿐, 링크만으로 결과에 노출될 수 있다는 점도 기억해 둡니다.
5. '만들고 끝'이 아니라 '갱신'이 핵심이다
페이지를 새로 추가하거나 주소를 바꿨는데 sitemap을 그대로 두면, 로봇은 옛 지도를 들고 헤맵니다. 가능하면 페이지 변경 시 sitemap이 자동으로 갱신되도록 만들어 두는 편이 안전합니다. 사람이 매번 손대야 하는 구조는 결국 방치되기 마련입니다.
정리하며
robots.txt와 sitemap.xml은 화면에 보이지 않지만, 검색엔진이 우리 사이트를 '얼마나 잘 이해하느냐'를 가르는 토대입니다. 눈에 띄는 디자인만큼이나, 로봇이 길을 잃지 않도록 안내판을 세워 두는 일이 검색 유입의 첫 단추입니다. CYAN은 작은 회사 웹사이트를 만들 때 이 두 파일을 검색엔진에 제출하는 것까지 기본 과정으로 챙겨, 애써 만든 페이지가 검색결과에서 제 몫을 하도록 돕습니다.
