업데이트되거나 새 Robots.txt 파일을 다시 제출하는 방법

로봇 txt

우리 대행사는 유기적 검색 컨설팅 업계의 여러 SaaS 공급 업체. 우리가 최근에 작업을 시작한 한 클라이언트는 애플리케이션을 하위 도메인에 배치하고 브로셔 사이트를 핵심 도메인으로 이동하는 상당히 표준적인 관행을 수행했습니다. 이는 프로덕션 팀과 마케팅 팀이 서로 의존하지 않고 필요에 따라 업데이트 할 수 있도록하므로 표준 관행입니다.

유기적 검색 상태를 분석하는 첫 번째 단계로 웹 마스터에 브로셔와 애플리케이션 도메인을 모두 등록했습니다. 그때 우리가 즉각적인 문제를 확인했습니다. 모든 애플리케이션 페이지가 검색 엔진에 의해 색인화되지 않도록 차단되었습니다. 웹 마스터의 robots.txt 항목으로 이동하여 즉시 문제를 식별했습니다.

마이그레이션을 준비하는 동안 개발 팀은 애플리케이션 하위 도메인이 검색으로 인덱싱되는 것을 원하지 않았기 때문에 검색 엔진에 대한 액세스를 허용하지 않았습니다. robots.txt 파일은 사이트의 루트에있는 파일입니다. yourdomain.com/robots.txt – 검색 엔진이 사이트를 크롤링해야하는지 여부를 알 수 있습니다. 전체 사이트 또는 특정 경로에서 인덱싱을 허용하거나 허용하지 않는 규칙을 작성할 수 있습니다. 사이트 맵 파일을 지정하는 줄을 추가 할 수도 있습니다.

그리고, robots.txt에 파일에 사이트가 크롤링되고 검색 결과 순위에 색인화되지 않도록하는 다음 항목이 있습니다.

사용자 에이전트 : * 금지 : /

다음과 같이 작성되어야합니다.

사용자 에이전트 : * 허용 : /

후자는 사이트를 크롤링하는 모든 검색 엔진에 대해 사이트 내의 모든 디렉토리 또는 파일에 액세스 할 수있는 권한을 제공합니다.

좋습니다. 이제 robots.txt에 파일은 완벽하지만 Google은 어떻게 알고 언제 사이트를 다시 확인합니까? 글쎄, 당신은 절대적으로 Google에 robots.txt를 확인하도록 요청할 수 있지만 너무 직관적이지 않습니다.

로 이동 구글 서치 콘솔 서치 콘솔 ~로 크롤링> robots.txt 테스터. 테스터 내에서 가장 최근에 크롤링 된 robots.txt 파일의 콘텐츠를 볼 수 있습니다. robots.txt 파일을 다시 제출하려는 경우 제출을 클릭하면 몇 가지 옵션이있는 팝업이 나타납니다.

robots.txt 다시 제출

마지막 옵션은 Google에 업데이트 요청. 해당 옵션 옆에있는 파란색 제출 버튼을 클릭 한 다음 크롤링> robots.txt 테스터 페이지를 다시로드하는 메뉴 옵션. 이제 다시 크롤링되었음을 나타내는 날짜 스탬프와 함께 업데이트 된 robots.txt 파일이 표시됩니다.

업데이트 된 버전이 표시되지 않으면 제출을 클릭하고 업로드 된 버전보기 실제 robots.txt 파일로 이동합니다. 많은 시스템이이 파일을 캐시합니다. 실제로 IIS는 사용자 인터페이스를 통해 입력 한 규칙에 따라이 파일을 동적으로 생성합니다. 새 robots.txt 파일을 게시하려면 규칙을 업데이트하고 캐시를 새로 고침해야 할 가능성이 높습니다.

robots-txt 테스터

당신은 어떻게 생각하십니까?

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터 처리 방법 알아보기.