구글 서치콘솔에서 알림이 왔다. 블로그에 올린글의 오류 메시지이다. 알림의 내용은 운영중이던 블로그 사이트에서 색인 생성 범위 문제가 발견되었다는 것이다. 제목처럼 '색인이 생성되었으나 robots.txt에 의해 차단되었다는 것. 서치콘솔(Search Console)의 문제점 알림이다. 경고내용과 해결 방법을 보도록 하자.
Search Console에서 색인 문제점 발생
알림에서 볼 수 있는 주요 경고내용은 아래와 같다.
아마 이 알람은 블로그나 개인 사이트 또는 웹을 운영하면서 구글 서치콘솔에 등록을 한 사람이라면 한 번쯤은 받아 보았을 수 있는 알림의 내용이다. 대부분 크게 문제될 것 없는 내용일수 있지만 알림이 왜 오는지에 대해서 알아보도록 하자.
아래 색인 경고
경고는 개선을 위한 제안사항입니다.
일부 경고는 검색결과 노출에 영향을 미칠 수 있으며, 나중에 오류로 격상될 가능성이 있는 경고도 있습니다. 사이트에서 발견된 경고는 다음과 같습니다.
색인이 생성되었으나 robots.txt에 의해 차단됨
가능한 경우 문제를 해결하여 사이트의 사용자 환경과 Google 검색 노출을 최적화하시기 바랍니다.
 |
| 구글 서치콘솔 알림 메시지 |
이러한 오류(경고) 메시지 알림이 왜 온것일까?
일단은 궁금하기도 하고 알림창 내에 색인 생성 범위 문제 해결에 대한 가이드와 안내가 있으므로 순서에 따라 해당 페이지로 이동해 본다. (화살표)
구글 콘솔 페이지의 알림창으로 이동됨.
해당 문구 > 색인이 생성되었으나 robots.txt에 의해 차단됨. 해당 블로그 글 중에서 차단 경고가 감지된 날짜는 22년 4월 5일 이다. 주의상태. 아래 스샷을 보면 알겠지만 이런 색인 오류(차단)에 대한 원인이 되는 페이지가 무려 31개나 된다. 즉 31개의 글이 robots.txt에 의해 색인 생성 범위 문제가 있다는 것이다. 아래 스샷을 보도록 하자.
 |
| 오류 상세내용 페이지 |
robots.txt 테스터 활용, 개체 확인
위에서 처럼 색인 문제에 영향을 받은 31개의 페이지가 있다.
이 항목의 세세한 내용을 보면 특정 경로가 동일하게 나오는데 이 경로가 색인에 문제를 일으킨 것으로 보인다. 보통 기본적으로 설정된 robots.txt 내용을 보면 허용과 비허용 목록이 있는데 이것과 관련된 오류 내용이기 때문에 여기서 가장 먼저 해야 할 일은 robots.txt 테스터를 사용하는 방법이다.
우선 색인에 영향을 받은 페이지를 보도록 하자. 총 31개의 글이며 모두 동일한 경로를 보인다. 그 중 일부 페이지이다.
 |
| 색인 오류 경로 |
- 동일한 경로 : ~/m/search/tags?keyword/
만약 robots.txt 내부의 설정과 전혀 상관없는 경로의 경고(오류)라면 문제는 좀 심각해진다. 때에 따라서 수정해야 하고 코드를 손보거나 기타 처리를 해야 할 수도 있다.
하지만 이번 경우처럼 크게 심각한 것이 아니라면 그냥 두고 볼 일이다.
robots 테스터를 활용해 bots 내부의 설정(허용/차단) 내용을 확인해 볼 수 있다. 아마 아래 스샷과 비슷한 경우도 있고 사이트에 따라 차이가 있을수도 있다. (본인의 내용과 같을 수 없음)
 |
| robots.txt 들여다보기 |
자, 서치콘솔 내의 robots.txt 테스터가 친절하게 존재한다.
상단에 운영중인 사이트를 선택하면 해당 로봇의 내부 내용을 확인해 볼 수 있다. 아주 간단하게 운영중인 사이트의 설정 - 허용과 비허용 - 에 대한 내용을 볼 수 있다.
여기 보면 7번째 행렬이 이번 알림경고의 원인(색인문제)와 동일한 것을 알수 있다. 쉽게 이야기 하면 정상적인 설정에 따라 robots.txt에서 해당 경로를 차단, 비허용 했다는 것이다. 설정대로 보면 지극히 정상적인 내용이 된다.
왜 색인 오류가 생겼을까?
솔직히 그 이유는 아직까지 모르겠다. robots.txt 는 정상적인 행동을 했을 뿐인데 색인 문제에 대한 경고가 올라온다.
검색해 보면 이러한 현상은 사이트맵을 다시 제출하는 것으로 문제가 해결되는 경우도 있다고 한다. 그래서 직접 오류가 난 사이트의 사이트맵(sitemap.xml)파일을 갱신해 보았는데 역시 동일한 오류 알림이 다시 생겨났다.
- 색인 생성 범위에 대한 오류
- 검색 결과에 영향을 미칠 수 있음
- 차후에 오류로 격상될 가능성이 있음
하지만 robots.txt 테스터로 본 봇 설정내용은 이상이 없으며 해당 경로는 당연히 색인에서 제외되어야 하는 항목이므로 결과만 놓고 보자면 지극히 정상적인 결과라는 것이다. 그러므로 미리부터 걱정하지 않아도 될것 같다. 시간을 두고 결과를 보는것이 가장 이상적인 해결방법이 아닐까 생각한다.
이외에도 간혹 관리자(manage) 접근 경로에 대한 색인 오류가 생겨나기도 하는데 이것 역시 동일한 이유로 지켜보며 관리하는 사람들이 많이 있다. (큰 문제로 생각하지 않음)
이후에 다른 문제가 발생할 경우 추가로 포스팅 해 보기로 하자.