검색 엔진은 콘텐츠를 어떻게 찾고, 크롤링하고, 색인을 생성합니까?

검색 엔진 마케팅 (SEO)

주로 검색 및 소셜 최적화에 초점을 맞춘 오늘날 필요한 보이지 않는 모든 확장 성 옵션 때문에 고객이 자체 전자 상거래 또는 콘텐츠 관리 시스템을 구축하도록 권장하지 않습니다. 나는 기사를 썼다 CMS 선택 방법 그리고 나는 그저 자신의 콘텐츠 관리 시스템을 구축하고 싶은 유혹에 빠진 회사들에게 여전히 그것을 보여줍니다.

그러나 사용자 지정 플랫폼이 필요한 상황이 절대적으로 있습니다. 이것이 최적의 솔루션 일 때, 저는 여전히 고객에게 검색 및 소셜 미디어에 맞게 사이트를 최적화하는 데 필요한 기능을 구축하도록 요청합니다. 기본적으로 필요한 세 가지 주요 기능이 있습니다.

  • robots.txt에
  • XML 사이트 맵
  • 메타 데이터

Robots.txt 파일이란 무엇입니까?

robots.txt에 파일 – robots.txt에 파일은 사이트의 루트 디렉토리에있는 일반 텍스트 파일이며 검색 엔진에 검색 결과에서 포함하고 제외해야하는 내용을 알려줍니다. 최근 몇 년 동안 검색 엔진은 파일 내에 XML 사이트 맵 경로를 포함하도록 요청했습니다. 다음은 모든 봇이 내 사이트를 크롤링 할 수 있도록 허용하고 내 XML 사이트 맵으로 안내하는 내 예입니다.

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

XML Sitemap이란 무엇입니까?

XML 사이트 맵 – HTML이 브라우저에서보기위한 것처럼 XML은 프로그래밍 방식으로 요약되도록 작성됩니다. XML 사이트 맵은 기본적으로 사이트의 모든 페이지와 마지막 업데이트 날짜의 표입니다. XML 사이트 맵은 데이지 체인 방식으로 연결될 수도 있습니다. 즉, 하나의 XML 사이트 맵이 다른 하나를 참조 할 수 있습니다. 사이트의 요소 (FAQ, 페이지, 제품 등)를 논리적으로 구성하고 자체 Sitemap으로 분류하려는 경우 유용합니다.

사이트 맵은 사용자가 만든 콘텐츠와 마지막 편집시기를 검색 엔진에 효과적으로 알리는 데 필수적입니다. 사이트로 이동할 때 검색 엔진이 사용하는 프로세스는 사이트 맵과 스 니펫을 구현하지 않으면 효과적이지 않습니다.

XML Sitemap없이, 페이지가 발견되지 않도록 위험을 감수하고 있습니다. 내부 또는 외부로 연결되지 않은 새 제품 방문 페이지가있는 경우 어떻게해야합니까? Google은이를 어떻게 발견합니까? 글쎄요, 간단히 말해서 ... 링크가 발견 될 때까지 당신은 발견되지 않을 것입니다. 고맙게도 검색 엔진은 콘텐츠 관리 시스템과 전자 상거래 플랫폼이 레드 카펫을 선보일 수 있도록합니다!

  1. Google은 사이트에 대한 외부 또는 내부 링크를 발견합니다.
  2. Google은 페이지의 색인을 생성하고 콘텐츠와 참조 링크 사이트의 콘텐츠 및 품질에 따라 순위를 매 깁니다.

XML Sitemap 사용, 당신은 당신의 콘텐츠의 발견이나 당신의 콘텐츠의 업데이트를 우연히 떠나지 않을 것입니다! 너무 많은 개발자가 자신을 해치는 지름길을 사용하려고합니다. 사이트 전체에 동일한 리치 스 니펫을 게시하여 페이지 정보와 관련이없는 정보를 제공합니다. 그들은 모든 페이지에 동일한 날짜 (또는 한 페이지 업데이트시 모두 업데이트 됨)로 사이트 맵을 게시하여 시스템을 게임하고 있거나 신뢰할 수없는 검색 엔진에 대기열을 제공합니다. 또는 그들은 검색 엔진을 전혀 핑하지 않습니다… 그래서 검색 엔진은 새로운 정보가 출판되었다는 것을 깨닫지 못합니다.

메타 데이터 란? 마이크로 데이터? 리치 스 니펫?

리치 스 니펫은 신중하게 태그가 지정된 마이크로 데이터입니다. 뷰어에게는 표시되지 않지만 검색 엔진이나 소셜 미디어 사이트에서 활용할 수있는 페이지에는 표시됩니다. 이를 메타 데이터라고합니다. Google은 Schema.org 가격, 수량, 위치 정보, 등급 등과 같은 기타 정보 스 니펫뿐만 아니라 이미지, 제목, 설명 등을 포함하기위한 표준으로 사용됩니다. 스키마는 검색 엔진 가시성과 사용자가 클릭 할 가능성을 크게 향상시킵니다. 을 통하여.

Facebook은 OpenGraph 프로토콜 (물론 같을 수는 없습니다), Twitter에는 Twitter 프로필을 지정하는 스 니펫도 있습니다. 점점 더 많은 플랫폼에서이 메타 데이터를 사용하여 게시 할 때 포함 된 링크 및 기타 정보를 미리보고 있습니다.

웹 페이지에는 사람들이 웹 페이지를 읽을 때 이해하는 근본적인 의미가 있습니다. 그러나 검색 엔진은 해당 페이지에서 논의되는 내용을 제한적으로 이해합니다. 웹 페이지의 HTML에 태그 ( "Hey search engine,이 정보는이 특정 영화, 장소, 사람 또는 비디오를 설명합니다. 유용하고 적절한 방식으로 표시합니다. 마이크로 데이터는 HTML5에 도입 된 태그 집합으로,이를 가능하게합니다.

Schema.org, MicroData 란 무엇입니까?

물론 이들 중 어느 것도 필수 사항은 아니지만… 강력히 추천합니다. 예를 들어 페이스 북에서 링크를 공유했는데 이미지, 제목 또는 설명이 나오지 않으면 ... 관심을 갖고 실제로 클릭하는 사람은 거의 없습니다. 그리고 스키마 스 니펫이 각 페이지에없는 경우 물론 검색 결과에 계속 나타날 수 있습니다.하지만 경쟁 업체가 추가 정보를 표시 할 때 이길 수 있습니다.

Search Console에 XML Sitemap 등록

자체 콘텐츠 또는 전자 상거래 플랫폼을 구축 한 경우 검색 엔진을 핑 (ping)하고 마이크로 데이터를 게시 한 다음 찾을 콘텐츠 또는 제품 정보에 대한 유효한 XML 사이트 맵을 제공하는 하위 시스템이 있어야합니다.

robots.txt 파일, XML 사이트 맵 및 리치 스 니펫이 사이트 전체에서 맞춤 설정되고 최적화되면 각 검색 엔진의 상태와 가시성을 모니터링 할 수있는 각 검색 엔진의 Search Console (웹 마스터 도구라고도 함)에 등록하는 것을 잊지 마십시오. 검색 엔진의 사이트. Sitemap 경로가 나열되지 않은 경우 지정하고 검색 엔진에서 사이트 맵을 사용하는 방법, 문제가 있는지 여부 및 수정 방법을 확인할 수도 있습니다.

검색 엔진과 소셜 미디어에 레드 카펫을 설치하면 사이트 순위가 더 좋아지고, 검색 엔진 결과 페이지의 항목이 더 많이 클릭되고, 페이지가 소셜 미디어에서 더 많이 공유되는 것을 확인할 수 있습니다. 모두 합산됩니다!

Robots.txt, Sitemap 및 MetaData가 함께 작동하는 방식

이러한 모든 요소를 ​​결합하는 것은 사이트에 레드 카펫을 설치하는 것과 매우 유사합니다. 다음은 검색 엔진이 콘텐츠를 인덱싱하는 방법과 함께 봇이 수행하는 크롤링 프로세스입니다.

  1. 사이트에 XML Sitemap 위치를 참조하는 robots.txt 파일이 있습니다.
  2. 귀하의 CMS 또는 전자 상거래 시스템은 임의의 페이지로 XML Sitemap을 업데이트하고 날짜를 게시하거나 날짜 정보를 편집합니다.
  3. CMS 또는 전자 상거래 시스템은 검색 엔진을 핑하여 사이트가 업데이트되었음을 ​​알립니다. 직접 핑하거나 RPC 및 다음과 같은 서비스를 사용할 수 있습니다. 핑오매틱 모든 주요 검색 엔진에 푸시합니다.
  4. 검색 엔진은 즉시 돌아와 Robots.txt 파일을 존중하고 사이트 맵을 통해 새 페이지 또는 업데이트 된 페이지를 찾은 다음 페이지를 색인화합니다.
  5. 페이지 색인을 생성 할 때 리치 스 니펫 마이크로 데이터를 활용하여 검색 엔진 결과 페이지를 개선합니다.
  6. 다른 관련 사이트가 귀하의 콘텐츠로 연결 될수록 귀하의 콘텐츠 순위가 더 높아집니다.
  7. 콘텐츠가 소셜 미디어에서 공유 될 때 지정된 리치 스 니펫 정보는 콘텐츠를 올바르게 미리보고 소셜 프로필로 안내하는 데 도움이 될 수 있습니다.

댓글 2

  1. 1

    내 웹 사이트에서 새 콘텐츠의 색인을 생성 할 수 없습니다. 웹 마스터에서 사이트 맵과 URL을 가져 왔지만 여전히 개선 할 수 없습니다. Google 백엔드 문제입니까?

당신은 어떻게 생각하십니까?

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터 처리 방법 알아보기.