Screaming Frog의 SEO Spider를 사용하여 대규모 사이트를 크롤링하고 데이터를 추출하는 방법

비명 소리 개구리 SEO 거미
읽기 시간 : 3

우리는 현재 여러 고객을 지원하고 있습니다. Marketo 마이그레이션. 대기업이 이와 같은 엔터프라이즈 솔루션을 활용함에 따라 기업이 모든 접점을 인식하지 못할 때까지 수년에 걸쳐 프로세스와 플랫폼으로 엮인 거미줄과 같습니다.

Marketo와 같은 엔터프라이즈 마케팅 자동화 플랫폼에서 양식은 사이트 및 랜딩 페이지 전체에서 데이터의 진입 점입니다. 회사는 업데이트를 위해 식별해야하는 사이트 전체에 수천 개의 페이지와 수백 개의 양식이있는 경우가 많습니다.

이를위한 훌륭한 도구는 개구리의 SEO 거미 비명… 사이트에서 데이터를 크롤링, 감사 및 추출하기 위해 시장에서 가장 인기있는 플랫폼 일 것입니다. 이 플랫폼은 기능이 풍부하며 필요한 거의 모든 작업에 대해 수백 가지 옵션을 제공합니다.

Screaming Frog SEO Spider : 크롤링 및 추출

Screaming Frog SEO Spider의 주요 기능은 다음을 기반으로 사용자 지정 추출을 수행 할 수 있다는 것입니다. 정규식, XPathCSSPath 세부 사항. 이는 클라이언트 사이트를 크롤링하고 페이지에서 MunchkinID 및 FormId 값을 감사하고 캡처하려는 경우 매우 유용합니다.

도구를 사용하여 구성> 사용자 지정> 추출 추출하려는 요소를 식별합니다.

screamingfrog 사용자 지정 추출

추출 화면에서는 사실상 무제한 데이터 수집이 가능합니다.

Screaming Frog SEO Spider 추출 규칙

Regex, XPath 및 CSSPath 추출

MunchkinID의 경우 식별자는 페이지 내에있는 양식 스크립트 내에 있습니다.

<script type='text/javascript' id='marketo-fat-js-extra'>
    /* <![CDATA[ */
    var marketoFat = {
        "id": "123-ABC-456",
        "prepopulate": "",
        "ajaxurl": "https:\/\/yoursite.com\/wp-admin\/admin-ajax.php",
        "popout": {
            "enabled": false
        }
    };
    /* ]]> */

그런 다음 정규식 규칙 페이지에 삽입 된 스크립트 태그 내에서 ID를 캡처하려면 :

Regex: ["']id["']: *["'](.*?)["']

양식 ID의 경우 데이터는 Marketo 양식 내의 입력 태그에 있습니다.

<input type="hidden" name="formid" class="mktoField mktoFieldDescriptor" value="1234">

우리는 XPath 규칙 페이지에 삽입 된 양식 내에서 ID를 캡처합니다. XPath 쿼리는 이름이 다음과 같은 입력이있는 양식을 찾습니다. formid, 추출하면 가치:

XPath: //form/input[@name="formid"]/@value

Screaming Frog SEO Spider 자바 스크립트 렌더링

Screaming Frog의 또 다른 훌륭한 옵션은 페이지의 HTML에 국한되지 않고 사이트 내에 양식을 삽입 할 JavaScript를 렌더링 할 수 있다는 것입니다. 이내에 구성> 스파이더, 렌더링 탭으로 이동하여 활성화 할 수 있습니다.

Screaming Frog SEO Spider 자바 스크립트 렌더링

물론 사이트를 크롤링하는 데 시간이 조금 더 걸리지 만 JavaScript에 의해 클라이언트 측에서 렌더링되는 양식과 서버 측에 삽입 된 양식을 얻을 수 있습니다.

이것은 매우 특정한 응용 프로그램이지만 대규모 사이트에서 작업 할 때 매우 유용한 응용 프로그램입니다. 사이트 전체에 양식이 포함 된 위치를 감사하고 싶을 것입니다.

Screaming Frog SEO Spider 다운로드

당신은 어떻게 생각하십니까?

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터 처리 방법 알아보기.