웹사이트에서 모든 페이지를 찾는 방법 - 8가지 쉬운 방법

웹사이트에 존재하는 모든 페이지를 어떻게 찾나요? 가장 먼저 떠오르는 아이디어는 사이트의 도메인 이름을 Google에 검색하는 것입니다.

하지만 색인 생성에 실패한 URL은 어떻게 되나요? 아니면 고아 페이지인가요? 아니면 웹 캐시?

웹사이트의 모든 페이지를 찾는 것은 매우 쉽습니다. 하지만 방문자나 검색봇의 눈에 보이지 않는 페이지가 있다는 점을 고려하면 특별한 주의가 필요합니다. 이 가이드는 사용할 도구와 함께 사이트의 모든 페이지를 찾는 8가지 방법을 보여줍니다.

웹사이트의 모든 페이지를 찾는 방법은 다음과 같습니다.

웹사이트의 모든 페이지를 찾아야 하는 이유

웹사이트의 모든 페이지를 찾아야 하는 데에는 수많은 이유가 있습니다. 몇 가지 예를 들면 다음과 같습니다.

1. 새로운 고객의 웹사이트를 감사하고 색인 문제를 찾아냅니다.

끊어진 링크, 서버 오류, 느린 페이지 속도, 열악한 모바일 사용성 등의 기술적 문제로 인해 Google에서 페이지 색인을 생성할 수 없습니다. 따라서 사이트 감사를 통해 사이트에 있는 URL 수와 그 중 문제가 있는 URL이 무엇인지 밝혀집니다. 결국 이는 SEO가 프로젝트의 향후 작업 범위를 추정하는 데 도움이 됩니다.

2. 실수로 색인이 생성되지 않은 자신의 사이트 페이지를 감지합니다.

웹사이트에 중복 콘텐츠가 있는 경우 Google은 모든 중복 콘텐츠의 색인을 생성하지 못할 수 있습니다. 긴 리디렉션 체인과 404개의 URL에 대해서도 마찬가지입니다. 사이트에 이러한 체인이 많으면 크롤링 예산이 헛되이 소비됩니다. 결과적으로 검색 봇이 사이트를 방문하는 빈도가 줄어들고 전반적으로 색인이 더 나빠집니다. 그렇기 때문에 일반적으로 정상으로 보이는 경우에도 정기적인 감사가 필요합니다.

3. Google 색인 생성에 적합하지 않은 색인 생성된 페이지를 찾아냅니다.

일부 페이지(예: 관리자용 로그인 페이지, 개발 중인 페이지 또는 장바구니)는 검색 색인에 필요하지 않습니다. 그러나 이러한 페이지는 규칙 충돌이나 기술 파일 오류로 인해 귀하의 의지에 반하여 색인이 생성될 수 있습니다. 예를 들어 페이지를 허용하지 않기 위해 robots.txt에만 의존하는 경우에도 URL이 계속 크롤링되어 검색에 나타날 수 있습니다.

4. 오래된 페이지를 찾고 완전한 콘텐츠 점검을 계획합니다.

Google은 사용자에게 가능한 최상의 결과를 제공하는 것을 목표로 합니다. 따라서 콘텐츠의 품질이 낮거나 얇거나 중복된 경우 색인이 생성되지 않을 수 있습니다. 아직 다루지 않은 주제가 무엇인지 알기 위해 모든 페이지의 목록을 갖는 것이 좋습니다. 모든 콘텐츠 인벤토리를 활용하면 콘텐츠 전략을 보다 효과적으로 계획 할 수 있습니다.

5. 고아 페이지를 찾고 연결 전략을 계획합니다.

고아 페이지는 들어오는 링크가 없는 페이지입니다. 이로 인해 사용자와 검색 봇이 페이지를 거의 방문하지 않거나 전혀 방문하지 않습니다. 고아 페이지는 Google에서 색인이 생성되어 우연히 사용자를 끌어들일 수 있습니다. 그러나 웹사이트에 너무 많은 고아 페이지가 있으면 그 권위가 손상됩니다. 사이트 구조가 명확하지 않고, 페이지가 도움이 되지 않거나 중요하지 않게 보일 수 있으며, 모든 데드우드가 웹사이트의 전체 가시성을 떨어뜨릴 것입니다.

6. 웹사이트를 재설계하고 아키텍처를 변경합니다.

웹사이트 재설계를 계획하고 사용자 경험을 개선하려면 먼저 모든 페이지와 관련 지표를 찾아야 합니다.

모든 페이지의 논리적 계층 구조를 갖춘 명확하고 체계적인 구조는 검색 엔진이 콘텐츠를 더 쉽게 찾는 데 도움이 될 수 있습니다. 따라서 홈페이지에서 한 번, 두 번, 세 번 클릭하면 모든 중요한 URL에 접근할 수 있어야 합니다.

사용자 경험은 크롤링 및 순위에 영향을 미치지 않지만 웹 사이트의 품질 신호에 중요합니다. 성공적인 구매, 재방문자 수, 방문자당 페이지 조회수 및 기타 수많은 측정 항목을 통해 웹 사이트가 방문자에게 얼마나 유용한지 알 수 있습니다.

7. 경쟁사의 웹사이트를 분석합니다.

경쟁업체의 페이지를 감사함으로써 귀하는 그들의 SEO 전략을 더 깊이 파고들 수 있습니다. 즉, 상위 트래픽 페이지, 페이지에 가장 많이 링크된 페이지, 최고의 추천 소스 등을 공개할 수 있습니다. 이렇게 하면 귀중한 통찰력을 얻고 경쟁업체에 효과적인 방법을 배울 수 있습니다.. 그들의 기술을 빌려 결과를 비교하여 자신의 웹사이트를 개선하는 방법을 알아볼 수 있습니다.

웹사이트의 모든 페이지를 찾는 방법은 여러 가지가 있지만, 각 경우마다 다른 방법을 사용할 수 있습니다. 그럼 각 방법의 장단점을 알아보고, 어떻게 하면 문제없이 사용할 수 있는지 알아보겠습니다.

1. 구글 검색 연산자로 찾아보세요

Google 검색을 사용하면 웹사이트의 모든 페이지를 빠르게 찾을 수 있습니다. 검색창에 "사이트: 귀하의 도메인"을 입력하기만 하면 Google이 색인한 웹사이트의 모든 페이지를 표시합니다.

그러나 'site:' 연산자로 표시되는 검색결과가 사이트의 색인 생성된 페이지의 정확한 수를 반드시 반영하는 것은 아니라는 점을 기억하는 것이 중요합니다.

첫째, Google이 모든 페이지를 크롤링한 직후에 색인을 생성한다는 보장은 없습니다. 다양한 이유로 특정 페이지를 색인에서 제외할 수 있습니다. 예를 들어 일부 페이지를 중복되거나 품질이 낮은 것으로 간주합니다.

둘째, 'site:' 검색 연산자는 웹사이트에서 삭제된 페이지를 표시할 수도 있지만 해당 페이지는 Google에 캐시된 페이지 또는 보관된 페이지로 유지됩니다.

따라서 "site:" 검색어는 사이트 규모를 대략적으로 파악하는 좋은 시작입니다. 그러나 색인에서 누락되었을 수 있는 나머지 페이지를 찾으려면 몇 가지 다른 도구가 필요합니다.

2. robots.txt 파일을 확인하세요

‌Robots.txt는 개별 페이지 또는 전체 디렉터리에 대한 허용/불허 규칙을 사용하여 검색 봇에게 웹 사이트를 크롤링하는 방법을 지시하는 기술 파일입니다.

따라서 파일은 사이트의 모든 페이지를 표시하지 않습니다. 그러나 검색 봇의 액세스가 금지된 페이지를 찾는 데 도움이 될 수 있습니다.

어떻게

robots.txt를 사용하여 제한된 페이지를 찾는 방법은 다음과 같습니다.

다음은 YouTube용 로봇 지시문의 예입니다.

어떻게 작동하는지 확인하세요. 예를 들어 가입 페이지가 허용되지 않습니다. 그러나 Google에서 검색할 때 해당 페이지를 얻을 수 있습니다. 해당 페이지에 대한 설명 정보는 제공되지 않습니다.

모든 페이지가 제대로 크롤링되는지 확인하려면 robots.txt 규칙을 다시 확인해야 합니다. 따라서 이를 검토하려면 Google Search Console이나 사이트 크롤러와 같은 도구가 필요할 수 있습니다. 잠시 후에 그것에 대해 자세히 설명하겠습니다.

지금까지 파일의 목적에 대해 자세히 알아보려면 색인 생성에서 웹 페이지 숨기기에 대한 이 가이드를 읽어보세요.

3. 사이트맵을 살펴보세요

사이트맵은 웹마스터가 적절한 사이트 색인 생성을 위해 사용하는 또 다른 기술 파일입니다. 주로 XML 형식으로 되어 있는 이 문서에는 색인을 생성해야 하는 웹사이트의 모든 URL이 나열되어 있습니다. 사이트맵은 웹사이트의 구조와 콘텐츠에 대한 귀중한 정보 소스입니다.

대규모 웹사이트에는 여러 개의 사이트맵이 있을 수 있습니다. 파일 크기는 URL 50,000개 및 50MB로 제한되므로 여러 개로 분할할 수 있으며 디렉터리, 이미지, 비디오 등에 대한 별도의 사이트맵을 포함할 수 있습니다. Shopify 또는 Wix 와 같은 전자상거래 플랫폼 사이트맵을 자동으로 생성합니다. 다른 경우에는 파일을 생성하는 플러그인이나 사이트맵 생성 도구가 있습니다.

어떻게

무엇보다도 웹사이트의 사이트맵을 사용하면 웹사이트의 모든 페이지를 쉽게 찾고 해당 페이지의 색인이 생성되었는지 확인할 수 있습니다.

또한 사이트맵에 문제가 있을 수 있으므로 가끔씩 사이트맵의 정확성을 다시 확인해야 합니다. 사이트맵이 비어 있거나, 404 코드로 응답하거나, 오래 전에 캐시되었거나, 원하지 않는 잘못된 URL이 포함되어 있을 수 있습니다. 색인에 나타나도록 합니다.

사이트맵의 유효성을 검사하는 좋은 방법은 웹사이트 크롤링 도구를 사용하는 것입니다. 온라인에서 사용할 수 있는 여러 웹사이트 크롤러 도구가 있으며 그 중 하나는 사이트 전체 감사를 위한 강력한 SEO 도구인 WebSite Auditor 입니다. 웹사이트의 모든 페이지를 찾고 기술 파일의 유효성을 검사하는 데 어떻게 도움이 되는지 살펴보겠습니다.

4. SEO 스파이더로 크롤링하기

이 단계에는 WebSite Auditor. 지금 무료로 다운로드할 수 있습니다. 다운로드 WebSite Auditor

어떻게

WebSite Auditor를 사용하여 웹사이트의 모든 페이지를 찾는 방법은 다음과 같습니다.

특정 검색 봇이나 사용자 에이전트에 대한 지침을 지정할 수 있습니다. 크롤러에게 URL 매개변수 무시, 비밀번호로 보호된 사이트 크롤링, 도메인 단독 또는 하위 도메인과 함께 크롤링 등을 지시합니다.

확인을 클릭하면 도구가 사이트를 감사하고 사이트 구조 > 페이지 섹션의 모든 페이지를 수집합니다.

WebSite Auditor는 URL이 검색 엔진에 적절하게 최적화되었는지 재확인하는 데 도움을 줍니다. 설정이 빠르고 인터페이스가 매우 직관적이므로 몇 분 안에 도구에 대해 알게 될 것입니다.

다음은 여러분을 위한 짧은 비디오 가이드입니다:

웹사이트 크롤링 도구에서 무엇을 얻을 수 있는지 살펴보겠습니다.

모든 리소스가 포함된 페이지 목록을 수집합니다.

모든 페이지 탭에서 열 헤더를 클릭하면 URL, 제목 또는 기타 열별로 목록을 정렬할 수 있습니다.

Website Auditor 다운로드

검색창을 사용하여 키워드 또는 페이지 URL을 기준으로 페이지 목록을 필터링할 수 있습니다. 이는 특정 페이지나 페이지 그룹을 찾는 경우 유용할 수 있습니다.

게다가 눈에 보이는 열을 추가하여 메타 태그, 제목, 키워드, 리디렉션 또는 기타 페이지 SEO 요소와 같이 이 페이지에 대한 추가 정보를 표시할 수 있습니다.

마지막으로 URL을 클릭하면 작업공간 아래쪽에 있는 페이지의 모든 리소스를 검사할 수 있습니다.

모든 데이터는 도구 내에서 처리하거나 CSV 또는 Excel 형식으로 복사/내보낼 수 있습니다.

기술적 오류의 영향을 받은 페이지 목록 가져오기

사이트 감사 섹션에는 다음과 같은 오류 유형별로 분할된 페이지 목록이 표시됩니다.

Website Auditor 다운로드

각 문제 유형 아래에는 이 요소가 중요한 이유에 대한 설명과 해결 방법에 대한 몇 가지 제안이 표시됩니다.

시각화된 사이트 구조 보기

또한 모든 URL 간의 관계를 보여주는 사이트 구조 > 시각화 에서 시각적 사이트맵을 검사할 수 있습니다. 대화형 지도를 사용하면 페이지와 링크를 추가하거나 제거하여 사이트 구조를 조정할 수 있습니다. 내부 PageRank 값을 다시 계산하고 Google Analytics에서 추적한 페이지뷰를 확인할 수 있습니다.

Website Auditor 다운로드

생성기 도구를 사용하여 기술 파일 검증

또한 WebSite Auditor는 robots.txt 파일과 사이트맵의 가용성도 확인합니다.

이를 통해 웹사이트 도구 의 기술 파일을 편집하고 적절한 설정으로 사이트에 바로 업로드할 수 있습니다.

파일을 편집할 때 특별한 구문을 관찰할 필요는 없습니다. 필요한 URL을 선택하고 필요한 규칙을 적용하기만 하면 됩니다. 그런 다음 클릭하여 파일을 생성하고 컴퓨터에 저장하거나 FTP를 통해 사이트에 업로드하세요.

Website Auditor 다운로드

5. Search Console에서 페이지 확인

사이트의 모든 페이지를 검색할 수 있는 또 다른 훌륭한 도구는 Google Search Console입니다. 이는 페이지의 색인 생성을 확인하고 검색 봇이 이러한 URL을 올바르게 색인화하는 것을 방해하는 문제를 밝히는 데 도움이 됩니다.

어떻게

아직 색인이 생성되지 않은 페이지를 포함하여 색인 생성 상태별로 모든 페이지를 분석할 수 있습니다.

Search Console을 사용하여 사이트의 모든 페이지를 찾는 방법은 다음과 같습니다.

1. 색인 보고서 로 이동하여 색인이 생성된 페이지에 대한 데이터 보기를 클릭합니다. 귀하의 웹사이트에서 검색봇이 마지막으로 크롤링한 모든 페이지가 표시됩니다. 그러나 표에는 최대 1,000개의 URL 제한이 있다는 점에 유의하세요. 제출된 모든 URL 등에서 알려진 모든 페이지를 정렬하는 빠른 필터가 있습니다.

2. 색인화되지 않음 탭을 활성화합니다. 아래 도구는 각 URL이 색인화되지 않은 이유에 대한 세부정보를 제공합니다.

각 이유를 클릭하고 문제의 영향을 받는 URL을 확인하세요.

어려운 점은 페이지의 기본 URL뿐만 아니라 앵커 링크, 페이지 매김 페이지, URL 매개변수 및 수동 정렬이 필요한 기타 쓰레기도 얻을 수 있다는 것입니다. 그리고 테이블의 항목 제한이 1,000개로 인해 목록이 불완전할 수 있습니다.

무엇보다도, 다양한 검색 엔진에는 다른 색인 생성 규칙이 있을 수 있으며 이러한 문제를 찾아 처리하려면 해당 웹마스터 도구를 사용해야 한다는 점을 염두에 두십시오. 예를 들어 Bing 웹마스터 도구, Yandex 웹마스터, 네이버 웹마스터 등을 사용하여 해당 검색 엔진에서 색인을 확인합니다.

6. Google Analytics를 사용하세요

Google Analytics는 가장 널리 사용되는 분석 플랫폼 중 하나이므로 웹사이트 소유자나 편집자라면 누구나 이에 대해 잘 알고 있을 것입니다. 오래된 Universal Analytics는 곧 Google Analytics 4로 대체될 예정입니다. 이제 두 버전의 도구를 모두 살펴보겠습니다.

어떻게

Google Universal Analytics 에서 사이트 페이지를 수집하려면 다음 단계를 따르세요.

페이지 조회수, 이탈률, 페이지에 머문 평균 시간 등과 같은 사용자 행동 통계가 포함된 페이지를 볼 수 있습니다. 전체 기간 동안 페이지 조회수가 가장 적은 페이지에 주의를 기울이십시오. 아마도 고아 페이지일 가능성이 높습니다.

Google Analytics 4 에서 유사한 흐름을 다시 만들려면 다음 안내를 따르세요.

콘솔과 마찬가지로 URL 매개변수 등이 포함됩니다. 페이지 상단의 내보내기 버튼을 클릭하여 페이지 목록을 CSV 또는 Excel 시트로 내보낼 수 있습니다.

7. 로그 분석

일부 웹사이트는 규모가 매우 커서 강력한 SEO 스파이더라도 모든 페이지를 크롤링하는 데 어려움을 겪을 수 있습니다. 로그 분석은 대규모 웹사이트의 모든 페이지를 찾고 검사하는 데 좋은 옵션입니다.

웹 사이트의 로그 파일을 분석하면 방문자를 웹에서 유입시키는 모든 페이지, 방문자의 HTTP 응답, 크롤러가 페이지를 방문하는 빈도 등을 식별할 수 있습니다.

로그 파일은 서버에 저장되며 이를 검색하려면 필요한 수준의 액세스 권한과 로그 분석 도구가 필요합니다. 따라서 이 방법은 기술에 정통한 사람, 웹마스터 또는 개발자에게 더 적합합니다.

어떻게

로그 분석을 사용하여 사이트의 모든 페이지를 찾는 단계는 다음과 같습니다.

8. CMS로 작업하기

웹사이트의 모든 페이지를 찾는 또 다른 방법은 콘텐츠 관리 시스템(CMS)을 참조하는 것입니다. CMS 에는 귀하가 만든 웹사이트의 모든 URL이 포함되어 있기 때문입니다. CMS의 예로는 뉴스, 블로그, 전자상거래, 기업 사이트 등 다양한 도메인의 콘텐츠 편집을 위한 웹사이트 구축 도구가 포함된 Wordpress 또는 Squarespace가 있습니다.

어떻게

CMS는 모양이 상당히 다르지만 대부분의 경우 일반적인 단계가 적용됩니다.

CMS의 다양한 섹션에 속할 수 있는 다양한 유형의 페이지인 카테고리, 블로그 게시물 또는 랜딩 페이지가 있을 수 있습니다.

대부분의 CMS에서는 생성 날짜, 작성자, 카테고리 또는 기타 기준을 기준으로 URL을 정렬할 수 있습니다. 검색창을 사용하여 키워드나 제목으로 페이지 목록을 필터링할 수도 있습니다.

요약

웹사이트의 모든 페이지를 찾으려면 다양한 방법과 도구가 있습니다. 선택하는 작업은 수행할 작업의 목적과 범위에 따라 다릅니다.

이 목록이 도움이 되기를 바라며 이제 SEO를 처음 접하는 경우에도 사이트의 모든 페이지를 쉽게 수집할 수 있기를 바랍니다.

아직 답변되지 않은 질문이 있으면 Facebook의 사용자 그룹 에 언제든지 문의하세요.