구글 서치콘솔 포스팅 등록 robots.txt 오류 해결방법

구글 서치콘솔에서 포스팅을 등록할 때 발생하는 robots.txt 오류를 해결하는 방법을 알아보세요. 이 가이드는 robots.txt 파일을 수정하고 Googlebot의 접근을 허용하여 오류를 해결하는 구체적인 방법을 알려드리겠습니다.

목차
1. 문제의 원인 파악
2. robots.txt 파일 수정 방법
3. Googlebot 접근 허용 설정
4. 구글 서치콘솔에서 확인하는 방법
5. 추가적인 팁과 주의사항

robots.txt 오류 해결방법

1. 문제의 원인 파악

구글 서치콘솔에서 "robots.txt 파일에서 차단됨"이라는 오류 메시지가 보일 때가 있습니다. 이는 사이트의 robots.txt 파일이 Googlebot의 접근을 차단하고 있기 때문입니다. 이 문제를 해결하려면 먼저 문제의 원인을 파악해야 합니다.

2. robots.txt 파일 수정 방법

robots.txt 파일은 사이트의 루트 디렉토리에 위치하며, 검색 엔진 크롤러가 접근 가능한 경로를 정의합니다. 이 파일을 수정하려면 다음 단계를 따르세요.

◎ 방법

① FTP 클라이언트 사용

● FTP 클라이언트(예: FileZilla)를 사용해 사이트의 루트 디렉토리에 접속합니다.
● 호스트, 사용자명, 비밀번호, 포트를 입력해 서버에 접속합니다.

② robots.txt 파일 찾기

● 사이트의 루트 디렉토리(대개 public_html 또는 www)에 있는 robots.txt 파일을 찾습니다.
● 파일이 없다면, 새로운 파일을 생성합니다.

③ 파일 수정

● robots.txt 파일을 텍스트 편집기(예: Notepad++)로 엽니다.
● Googlebot이 접근할 수 있도록 다음 내용을 추가합니다.

User-agent: Googlebot
Allow: /

 

● 파일을 저장하고 서버에 업로드합니다.
▶ 파일을 서버에 업로드할 때는 사이트의 루트 디렉토리(public_html 또는 www)에 저장해야 합니다.
▶ 예를 들어, yourwebsite.com/robots.txt 경로에 위치해야 합니다.

 

 

백링크를 통해 웹사이트 트래픽과 SEO 성과를 극대화하는 방법

 

3. Googlebot 접근 허용 설정

Googlebot의 접근을 허용하는 설정이 필요합니다. robots.txt 파일에 Googlebot을 허용하는 규칙을 추가했다면, 다음 단계를 통해 설정을 확인할 수 있습니다.

◎ 방법

① 구글 서치콘솔 접속

● 구글 서치콘솔에 로그인합니다.
● 사이트를 선택합니다.

② URL 검사 도구 사용

● 좌측 메뉴에서 'URL 검사' 도구를 선택합니다.
● 문제가 발생한 URL을 입력하고 'Enter' 키를 누릅니다.

③ 라이브 테스트

● 'URL이 Google에 등록되지 않았습니다'라는 메시지가 뜨면 '라이브 테스트' 버튼을 클릭합니다.
● 테스트가 완료되면, Googlebot이 해당 페이지에 접근할 수 있는지 확인합니다.

4. 구글 서치콘솔에서 확인하는 방법

수정 후 구글 서치콘솔에서 제대로 설정이 적용되었는지 확인해야 합니다.

◎ 방법

① 구글 서치콘솔 접속

● 구글 서치콘솔에 로그인합니다.
● 사이트를 선택합니다.

② URL 검사 도구 사용

● 'URL 검사' 도구를 사용해 수정된 URL을 테스트합니다.
● 오류가 해결되었는지 확인합니다. 해결되지 않았다면 다시 robots.txt 파일을 점검합니다.

 

에드센스 CPC, CTR 낮은 이유와 올리는 방법

5. 추가적인 팁과 주의사항

robots.txt 파일 수정 외에도 다음 사항들을 체크해야 합니다.

● 캐시 문제: 수정 후 서버 캐시를 지우고, 브라우저 캐시도 새로고침합니다.
● 사이트맵: 최신 사이트맵을 서치콘솔에 제출해 크롤링을 유도합니다.
● 오류 로그: 서버의 접근 로그를 확인해 Googlebot의 요청이 어떻게 처리되는지 모니터링합니다.

마무리

구글 서치콘솔에서 발생하는 robots.txt 오류는 사이트의 접근성을 저하시킬 수 있는 중요한 문제입니다. 위에서 설명한 단계를 통해 문제를 해결하면, 사이트의 검색 엔진 최적화(SEO)를 더욱 강화할 수 있습니다. 항상 최신 정보를 유지하고, 정기적으로 서치콘솔을 점검해 최적의 상태를 유지하세요.

 

검색엔진 최적화(SEO) 쉽게 시작하기