구글 웹마스터 도구 크롤링 오류
구글 웹마스터도구에 가면 크롤링 탭 안에 크롤링 오류 탭이 있습니다.
위와 같이 크롤링 오류가 계속 증가하고 있습니다. 얼마 전 블로그파일을 백업하지 않고 모두 삭제했던적이 있습니다. 새로 블로그를 개편하면서 거의 모든 주소가 바뀌었습니다. 하지만 구글 크롤링 봇?은 기존 주소를 색인해두었기 때문에 이전 주소를 크롤링하면서 404에러를 발생하고 있었습니다. 주소가 없어져 404에러가 발생하는 주소를 삭제 요청해보겠습니다.
해결방법
크롤링 탭 안에 크롤링 오류 탭에서 왼쪽 아래부분을 보면 다운로드버튼이 있습니다. 다운로드버튼을 클릭하면 아래와 같이 팝업이 생성됩니다.
Google 문서를 선택하고 확인을 클릭합니다.
구글 스프레드 시트로 내 홈페이지에서 에러가 발생하는 모든 링크를 다운받을 수 있습니다. 크롤링 에러가 나는 사이트는 현재는 모두 사용하지 않는 페이지이므로 삭제요청을 해야합니다.
웹마스터 도구의 사이드바에서 Google 색인탭을 선택 후 URL 삭제탭을 선택합니다.
일시적으로 숨기기버튼을 클릭합니다.
숨기려는 사이트 URL을 입력합니다. 이전에 구글 스프레드 시트로 받았던 에러가 발생하는 URL을 복사 -> 붙여넣기 합니다. 그리고 계속버튼을 클릭합니다.
첫 번째 항목인 페이지를 검색결과에서 일시적으로 숨기고 캐시에서 삭제하기를 선택 후 요청 제출을 클릭합니다.
제출을 완료하면 위와같이 제거 요청이 됩니다. 시간이 지나면 신청한 페이지는 크롤링 되지않고 검색에서도 삭제됩니다.
크롤링 탭 안에 크롤링 오류에서 다운로드 버튼 아래부분 체크박스에 삭제 요청된 페이지를 선택하고 수정됨으로 표시버튼을 클릭하여 수정 요청을 하면 크롤링 오류 해결이 될 것 입니다.