홈페이지를 새로 열고 네이버 서치어드바이저에 사이트맵을 제출했는데, 며칠이 지나도 상태 칸에 "수집 실패"만 떠 있는 경우가 있습니다. 지난달 한 인테리어 업체 사이트를 넘겨받았을 때도 그랬습니다. 사장님은 "네이버에 등록했는데 검색이 하나도 안 된다"고 하셨고, 확인해 보니 사이트맵이 두 달째 한 번도 수집되지 않은 상태였습니다.
사이트맵 수집 실패는 대부분 원인이 세 가지 안에 있습니다. 아래 순서대로 보면 30분 안에 어디가 막혔는지 찾을 수 있습니다.
1단계: 사이트맵 주소를 브라우저로 직접 열어 보기
가장 먼저 할 일은 제출한 주소를 그대로 브라우저 주소창에 넣어 보는 것입니다. 생각보다 많은 경우가 여기서 걸립니다.
- 404가 뜬다 — 파일이 아예 없거나, 제출한 경로가 틀렸습니다. sitemap.xml과 sitemap_index.xml을 헷갈리는 일이 흔합니다.
- 로그인 화면이나 메인 페이지로 넘어간다 — 보안 플러그인이나 리다이렉트 설정이 사이트맵까지 막고 있는 상태입니다.
- XML이 아니라 HTML 화면이 뜬다 — 서버가 파일을 웹페이지로 내보내고 있어서 로봇이 사이트맵으로 인식하지 못합니다.
앞의 인테리어 업체는 세 번째였습니다. 사이트를 옮기면서 모든 주소를 메인으로 보내는 설정이 남아 있었고, sitemap.xml도 메인 페이지로 넘어가고 있었습니다.
2단계: robots.txt가 로봇을 막고 있지 않은지 확인
사이트맵이 정상으로 열려도 robots.txt에서 막혀 있으면 수집되지 않습니다. 도메인 뒤에 /robots.txt를 붙여 열어 보고 다음을 확인합니다.
- Disallow: / 한 줄이 남아 있지 않은지. 개발 중에 검색 노출을 막으려고 넣었다가 오픈 후에도 그대로 두는 경우가 정말 많습니다.
- Yeti(네이버 검색 로봇)만 따로 차단하는 줄이 없는지.
- 맨 아래에 Sitemap: https://도메인/sitemap.xml 줄이 있는지. 필수는 아니지만 있으면 로봇이 더 빨리 찾습니다.
서치어드바이저의 "웹 페이지 수집" 메뉴에서 robots.txt 검증 도구를 쓰면 실제로 Yeti가 어떻게 읽는지 바로 확인할 수 있습니다.
3단계: 사이트맵 안의 주소가 실제로 살아 있는지 점검
파일도 열리고 robots.txt도 깨끗한데 실패가 뜬다면, 사이트맵 안에 적힌 주소들을 의심해야 합니다.
- http와 https가 섞여 있다 — 사이트는 https인데 사이트맵에는 http 주소가 적혀 있으면 모두 리다이렉트로 처리됩니다.
- www 유무가 다르다 — 서치어드바이저에 등록한 도메인과 사이트맵 속 주소의 www 여부가 다르면 다른 사이트로 봅니다.
- 지운 페이지가 남아 있다 — 리뉴얼 전 페이지 주소가 그대로 남아 404를 내는 경우입니다.
- XML 문법이 깨졌다 — 주소 안의 & 기호를 그대로 쓰거나, 한글 주소를 인코딩하지 않으면 파일 전체가 읽히지 않습니다.
사이트맵을 다시 만들 때
원인을 찾았으면 고치는 것보다 새로 만드는 쪽이 빠를 때가 많습니다. 특히 오래된 플러그인이 만든 사이트맵은 지운 페이지까지 끌고 다니는 경우가 많아서, 현재 살아 있는 페이지만으로 깨끗하게 다시 뽑는 게 낫습니다.
저희는 이럴 때 우리가 만든 무료 웹 도구 모음의 사이트맵 생성기를 씁니다. 살아 있는 페이지 주소만 정리해 넣으면 형식에 맞는 sitemap.xml을 만들어 주니, 받은 파일을 서버 최상위 폴더에 올리고 브라우저로 한 번 열어 확인하면 됩니다.
다시 제출한 뒤에 할 일
새 파일을 올렸다면 서치어드바이저에서 기존 사이트맵을 삭제하고 다시 제출합니다. 수집 상태가 바뀌기까지는 보통 하루에서 사흘 정도 걸립니다. 기다리는 동안 "웹 페이지 수집 요청"으로 메인과 핵심 페이지 몇 개를 직접 요청해 두면 첫 노출이 조금 빨라집니다.
인테리어 업체는 리다이렉트 설정을 고치고 사이트맵을 새로 만들어 제출한 지 이틀 만에 "수집 성공"으로 바뀌었고, 일주일 뒤부터 업체명 검색에 홈페이지가 뜨기 시작했습니다.
정리하면 순서는 간단합니다. 주소를 직접 열어 보고, robots.txt를 확인하고, 사이트맵 속 주소를 점검합니다. 대부분은 이 세 단계 안에서 원인이 나옵니다.