robots.txt 이 무엇인지 오류 해결 방법에 대해 알아보자

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치하는 텍스트 파일로, 검색 엔진의 웹 크롤러에게 웹사이트의 어느 부분을 크롤링하거나 인덱싱하지 말라고 지시하는 역할을 합니다. 이 파일은 웹사이트의 주소 뒤에 "/robots.txt"를 추가하여 접근할 수 있습니다.

 

robots.txt 파일은 다음과 같은 정보를 포함합니다

• User-agent: 어떤 검색엔진 크롤러를 지정할 것인지를 나타냅니다. 별표(*)는 "와일드 카드" 사용자 에이전트를 나타내며, 이는 지침이 특정 봇이 아닌 모든 봇에 적용됨을 의미합니다.
• Disallow: 검색 엔진 크롤러가 접근하면 안 되는 웹 페이지나 디렉토리를 지정합니다.

robots.txt 파일은 웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러가 액세스하거나 정보수집을 해도 되는 페이지가 무엇인지, 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 .txt (텍스트) 파일입니다. 이 파일은 검색엔진 크롤러가 웹사이트에 접속하여 정보 수집을 하며 보내는 요청으로 인해 사이트 과부하되는 것을 방지하기 위해 사용됩니다.

 

robots.txt 오류를 해결하고 설정하는 방법

1. robots.txt 파일 확인하기: 웹사이트의 루트 디렉토리에서 robots.txt 파일을 찾아보세요. 보통 ‘도메인.com/robots.txt’로 접근할 수 있습니다.
2. 잘못된 설정 수정하기: 만약 중요한 페이지가 ‘Disallow’에 의해 차단되어 있다면, 해당 항목을 수정하거나 제거해야 합니다.
3. 재크롤링 요청하기: 수정 후 Google이나 다른 검색 엔진에 재크롤링을 요청할 수 있습니다.
4. 정기적인 검토: robots.txt 파일은 정기적으로 검토하고 필요한 경우 업데이트해야 합니다.

만약 '실패: Robots.txt를 찾을 수 없음' 오류가 발생한 경우, 티스토리에 로그인 한 후, 꾸미기 - 스킨 편집 - HTML 편집 - 파일업로드를 클릭하고, images/robots.txt가 있다면 삭제한 후 새로운 파일을 업로드해야 합니다.

 

네이버에서 robots.txt 오류가 발생한 경우, 네이버 로봇 차단설정/변경을 클릭하고, 모든 검색엔진의 로봇에 대하여 수집을 하도록 설정한 후, 사이트 등록에 들어가서 robots.txt 오류가 있는 티스토리 사이트를 더블클릭하여 들어가고, 왼쪽 탭에서 [검증] - 를 클릭하면 됩니다.

 

위의의 방법들을 통해 robots.txt 오류를 해결하고 올바르게 설정할 수 있습니다.