검색 엔진은 콘텐츠를 어떻게 찾고, 크롤링하고, 색인을 생성합니까?
요즘에는 주로 검색 및 소셜 최적화에 초점을 맞춘 보이지 않는 확장성 옵션이 필요하기 때문에 고객에게 자체 전자 상거래 또는 콘텐츠 관리 시스템을 구축하는 것을 자주 권장하지 않습니다. 나는 에 기사를 썼다. CMS 선택, 그리고 콘텐츠 관리 시스템을 구축하고 싶은 유혹을 느끼는 나와 함께 일하는 회사에 여전히 이를 보여줍니다.
검색 엔진은 어떻게 작동합니까?
검색 엔진이 작동하는 방식부터 시작해 보겠습니다. 다음은 Google에서 제공하는 훌륭한 개요입니다.
그러나 맞춤형 플랫폼이 꼭 필요한 상황이 절대적으로 있습니다. 이것이 최적의 솔루션일 때에도 나는 여전히 고객에게 검색 및 소셜 미디어용 사이트를 최적화하는 데 필요한 기능을 구축하도록 촉구합니다. 세 가지 주요 기능이 필요합니다.
- robots.txt에
- XML 사이트 맵
- 메타 데이터
Robots.txt 파일이란 무엇입니까?
robots.txt에 파일 – robots.txt에 파일은 사이트의 루트 디렉터리에 있는 일반 텍스트 파일이며 검색 엔진에 검색 결과에 포함하고 제외해야 하는 항목을 알려줍니다. 최근 몇 년 동안 검색 엔진에서는 파일 내에 XML 사이트맵 경로를 포함하도록 요청했습니다. 다음은 모든 봇이 내 사이트를 크롤링하고 내 XML 사이트맵으로 연결하도록 허용하는 내 예입니다.
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlXML Sitemap이란 무엇입니까?
XML 사이트 맵 - 처럼 HTML 은 브라우저에서 보기 위한 것이며 XML은 프로그래밍 방식으로 소화되도록 작성되었습니다. 안 XML 사이트맵은 사이트의 모든 페이지와 마지막 업데이트 날짜를 보여주는 표입니다. XML 사이트맵은 데이지 체인 방식으로 연결될 수도 있습니다. 즉, 하나의 XML 사이트맵이 다른 XML 사이트맵을 참조할 수 있습니다. 사이트의 요소를 논리적으로 구성하고 분류하려는 경우에 유용합니다(자주 묻는 질문, 페이지, 제품 등)을 자체 Sitemap으로 만들 수 있습니다.
사이트맵은 귀하가 만든 콘텐츠와 해당 콘텐츠가 마지막으로 편집된 시기를 검색 엔진에 효과적으로 알리는 데 필수적입니다. 귀하의 사이트로 이동할 때 검색 엔진의 프로세스는 사이트맵과 스니펫을 구현하지 않으면 효과적이지 않습니다.
XML Sitemap없이, 페이지가 발견되지 않을 위험이 있습니다. 내부적으로나 외부적으로 연결되지 않은 신제품 랜딩 페이지가 있다면 어떻게 될까요? Google은 이를 어떻게 발견하나요? 글쎄요, 링크가 발견될 때까지 당신은 발견되지 않을 것입니다. 다행히 검색 엔진을 통해 콘텐츠 관리 시스템과 전자 상거래 플랫폼이 레드 카펫을 깔아줄 수 있습니다!
- Google은 사이트에 대한 외부 또는 내부 링크를 발견합니다.
- Google은 페이지의 색인을 생성하고 페이지의 콘텐츠와 참조 링크 사이트의 콘텐츠 및 품질에 따라 순위를 매깁니다.
XML Sitemap 사용, 콘텐츠 발견이나 업데이트를 우연에 맡겨두는 것이 아닙니다! 너무 많은 개발자들이 자신에게도 해를 끼치는 지름길을 택하려고 합니다. 사이트 전체에 동일한 리치 스니펫을 게시하여 페이지 정보와 관련이 없는 정보를 제공합니다. 그들은 모든 페이지에 동일한 날짜가 포함된 사이트맵을 게시합니다(또는 한 페이지가 업데이트될 때 모두 업데이트됨). 검색 엔진에 시스템을 조작하고 있거나 신뢰할 수 없다는 대기열을 제공합니다. 또는 검색 엔진에 전혀 핑을 보내지 않으므로 검색 엔진은 새로운 정보가 게시되었음을 인식하지 못합니다.
메타 데이터 란? 마이크로 데이터? 리치 스 니펫?
리치 스 니펫은 신중하게 태그가 지정된 마이크로 데이터입니다. 뷰어에는 숨겨져 있지만 검색 엔진이나 소셜 미디어 사이트에서 활용할 수 있는 페이지에는 표시됩니다. 이를 메타데이터라고 합니다. Google은 다음을 준수합니다. Schema.org 이미지, 제목, 설명은 물론 가격, 수량, 위치 정보, 평점 등과 같은 수많은 정보 스니펫을 포함하는 표준으로 사용됩니다. 스키마는 검색 엔진 가시성과 사용자가 클릭할 가능성을 크게 향상시킵니다.
Facebook은 OpenGraph 프로토콜(물론 동일할 수는 없음), X X 프로필을 지정하는 스니펫도 있습니다. 점점 더 많은 플랫폼이 이 메타데이터를 사용하여 게시할 때 포함된 링크 및 기타 정보를 미리 봅니다.
웹 페이지에는 사람들이 웹 페이지를 읽을 때 이해하는 근본적인 의미가 있습니다. 그러나 검색 엔진은 해당 페이지에서 논의되는 내용을 제한적으로 이해합니다. 웹 페이지의 HTML에 태그 ( "Hey search engine,이 정보는이 특정 영화, 장소, 사람 또는 비디오를 설명합니다. 유용하고 적절한 방식으로 표시합니다. 마이크로 데이터는 HTML5에 도입 된 태그 집합으로,이를 가능하게합니다.
Schema.org, MicroData 란 무엇입니까?
물론 이들 중 어느 것도 필수 사항은 아니지만… 강력히 추천합니다. 예를 들어 페이스 북에서 링크를 공유했는데 이미지, 제목, 설명이 나오지 않을 때… 관심을 갖고 실제로 클릭하는 사람은 거의 없을 것입니다. 그리고 스키마 스 니펫이 각 페이지에없는 경우에는 물론 검색 결과에 계속 나타날 수 있습니다.하지만 경쟁 업체가 추가 정보를 표시하면 이길 수 있습니다.
Search Console에 XML Sitemap 등록
자신만의 콘텐츠나 전자 상거래 플랫폼을 구축했다면 검색 엔진을 ping하고 마이크로데이터를 게시한 다음 찾을 콘텐츠나 제품 정보에 대한 유효한 XML 사이트맵을 제공하는 하위 시스템이 있어야 합니다.
robots.txt 파일, XML 사이트맵, 리치 스니펫이 사이트 전체에 걸쳐 사용자 정의되고 최적화되면 각 검색 엔진에 등록하는 것을 잊지 마세요. 검색 콘솔 (일컬어 웹마 스터 도구) 검색 엔진에서 사이트의 상태와 가시성을 모니터링할 수 있습니다. Sitemap 경로가 나열되지 않은 경우 이를 지정하고 검색 엔진이 Sitemap을 어떻게 사용하는지, 문제가 있는지 여부, 심지어 이를 수정하는 방법까지 확인할 수 있습니다.
검색 엔진과 소셜 미디어에 레드 카펫을 펼치면 사이트 순위가 높아지고, 검색 엔진 결과 페이지의 항목이 더 많이 클릭되고, 페이지가 소셜 미디어에서 더 많이 공유된다는 것을 알게 될 것입니다. 모든 것이 합산됩니다!
Robots.txt, Sitemap 및 MetaData가 함께 작동하는 방식
이러한 모든 요소를 결합하는 것은 사이트에 레드 카펫을 깔는 것과 같습니다. 검색 엔진이 콘텐츠를 색인화하는 방법과 함께 봇이 수행하는 크롤링 프로세스는 다음과 같습니다.
- 사이트에 XML Sitemap 위치를 참조하는 robots.txt 파일이 있습니다.
- 귀하의 CMS 또는 전자상거래 시스템은 XML Sitemap을 페이지와 게시 날짜 또는 편집 날짜 정보로 업데이트합니다.
- CMS 또는 전자상거래 시스템은 검색 엔진에 핑을 보내 사이트가 업데이트되었음을 알립니다. 직접 ping하거나 RPC 및 Ping-o-matic과 같은 서비스를 사용하여 모든 주요 검색 엔진에 푸시할 수 있습니다.
- 검색 엔진은 즉시 반환하고 Robots.txt 파일을 존중하며 사이트맵을 통해 새 페이지나 업데이트된 페이지를 찾은 다음 페이지의 색인을 생성합니다.
- 페이지를 색인화할 때 제목, 메타 설명, HTML5 요소, 제목, 이미지, 대체 태그 및 기타 정보를 활용하여 해당 검색에 대해 페이지를 적절하게 색인화합니다.
- 페이지를 색인화할 때 제목, 메타 설명, 리치 스니펫 마이크로데이터를 활용하여 검색 엔진 결과 페이지를 향상합니다.
- 다른 관련 사이트가 귀하의 콘텐츠로 연결 될수록 귀하의 콘텐츠 순위가 더 높아집니다.
- 콘텐츠가 소셜 미디어에서 공유되면 지정된 리치 스니펫 정보는 콘텐츠를 적절하게 미리 보고 소셜 프로필로 연결하는 데 도움이 될 수 있습니다.
