사이트맵(sitemap)의 의미/제출방법/제작도구들

사이트맵(sitemap)의 의미/제출방법/제작도구들은 아래의 게시글을 정리하였고 여기서는 워드프레스에서 사용가능한 사이트맵 생성 및 제출 플러그인을 소개합니다.

사이트맵(sitemap)의 의미(역할)/제출방법/파일 요구 사항/파일 형식/제작도구들/검사기

워드프레스 사이트맵 생성 플러그(Google XML Sitemaps plugin)

동영상을 선호하시는 분은 아래의 동영상을 보고 포스팅을 살펴보세요.

 

1. 사이트맵 생성 플러그(Google XML Sitemaps plugin)인 추가, 설치, 활성화하기

이 플러그인은 자동으로 사이트맵을 갱신해 주므로 꼭 설치 및 운영하시길 권합니다. 

루트 디렉토리에 robots.txt를 수동으로 만들어 이용하시는 경우, 이 플러그인은 24.7.6 기준 작동하지 않습니다. 그 이유는 아래의 검색 엔진 업데이트 부분에 설명을 참조하세요.

[24.7.6 Memo]지금까지 제작한 모든 사이트에서 sitemap이 잘 만들어졌는데, 24년에 만든 사이트 meat4u.kr에서는 사이트맵이 만들어지지 않는 경험을 하였습니다. 플러그인의 설정 페이지에 보면 ‘가상 robots.txt 파일에 사이트맵 URL을 추가합니다. 워드프레스에서 생성한 가상 robots.txt가 사용됩니다. 사이트 디렉토리에 실제 robots.txt 파일이 존재하지 않아야 합니다!‘ 가 추가되었는데 이 기능이 추가되면서부터 사이트맵이 안 만들어지는 것 같습니다. 플러그인 충돌일 수도 있으므로 더 살펴보고 추가 메모하겠습니다.

XML Sitemap Generator for Google

• 버전: 4.1.1
• 글쓴이: Auctollo
• 최근 업데이트: 4 개월 전
• 요구되는 워드프레스 버전: 3.3 또는 이상
• 호환되는 버전: 5.5.3
• 활성 설치: 2 백만이상
• WordPress.org 플러그인 페이지 »
• 플러그인 홈페이지 »

    가. 플러그인 설치 및 활성화

비슷한 이름의 플러그인이 많습니다. Google XML Sitemaps를 정확히 입력하여 플러그인 추가, 설치, 활성화 해줍니다.

관리자화면에서 [설정] -> [XML-sitemap]] 를 선택하여 들어가 줍니다.

    나. 개요 및 강점

“The URL to your sitemap index fileis (사이트맵 인덱스 파일이 추가될 URL 경로는) : http://www.aiforu.kr/sitemap.xml.” 부분에서 사이트맵 경로와 파일명( http://www.aiforu.kr/sitemap.xml )를 확인 및 복사해 두세요. 구글 서치 콘솔(구, 구글 웹마스터 도구), Bing와 네이버 웹마스터 등에 사이트맵을 제출할 때 필요합니다.

구글뿐만 아니라 Bing (formerly MSN Live Search) 에도 통지해줍니다. 훌륭합니다. 

홈페이지, 포스트들, 정적 페이지들, 카테고리들, 이번 달의 아카이브, 오래된 아카이브, 태그 페이지들, 작성자 페이지들의 수집 빈도와 우선권까지 설정할 수 있는 옵션이 제공되어집니다.

대부분의 사이트맵 도구들은 생성은 편리하나 수동으로 제출하는 것이 번거로운데, 이 플러그인은 한번 사이트맵을 작성 및 제출하면, 플러그인에서 수집빈도 설정값에 따라 자동으로 갱신하여 사이트맵을 만들어 제출하기 때문에 검색엔진최적화(SEO)에 많은 도움이 됩니다.

    다. 상세 사용법

아래 이미지의 분홍색 네모칸 안은

• The URL to your sitemap index file is: http://www.aiforu.kr/sitemap.xml

와 같이 사이트맵이 위치할 위치를 알려줍니다.

아래의 이미지에서 알수 있듯이 구글과 Bing에 사이트맵 업데이트를 통지해 줍니다. robots.txt 파일에도 사이트맵을 추가해 주어 검색크롤러에게 사이트맵 주소를 알려주어 크롤링되게 합니다.

•  Notify Google about updates of your site
  No registration required, but you can join the Google Webmaster Tools to check crawling statistics.
•  Notify Bing (formerly MSN Live Search) about updates of your site
  No registration required, but you can join the Bing Webmaster Tools to check crawling statistics.

.Add sitemap URL to the virtual robots.txt file 에 체크하시면,

•  Add sitemap URL to the virtual robots.txt file.
  The virtual robots.txt generated by WordPress is used. A real robots.txt file must NOT exist in the site directory!

robots.txt file안에  아래와 같이 sitemap 경로를 표시(예 : Sitemap: https://www.opentable.shop/sitemap.xml)해 주어 robots.txt를 찾은 검색엔진에게 sitemap 의 url 을 알려주어 색인이 잘 되게 합니다. 이 기능은 매우 유용합니다. 꼭 체크하시고 활용해 주세요.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.opentable.shop/sitemap.xml

루트 디렉토리에 robots.txt를 수동으로 만들어 이용하시는 경우, 이 플러그인은 24.7.6 기준 작동하지 않습니다. 그 이유는 아래의 검색 엔진 업데이트 부분에 설명을 참조하세요.

검색 엔진 업데이트

• 가상 robots.txt 파일에 사이트맵 URL 추가:  이 기능을 활성화하면 플러그인이 가상 robots.txt 파일에 사이트맵 URL을 추가합니다. 이렇게 하면 ping 알림 기능을 지원하지 않는 검색 엔진(예: Baidu 또는 Yandex)이 사이트맵을 검색할 수 있습니다. WordPress가 사이트맵을 생성하므로 블로그 디렉토리에 robots.txt 파일이 저장되어 있지 않은지 확인하세요!
• IndexNow 프로토콜은 Microsoft Bing, Seznam.cz, Naver, Yandex 검색 엔진에 웹사이트 변경 사항을 실시간으로 알리는 기본 방법이 되었습니다. 플러그인의 모든 버전도 이 프로토콜을 지원합니다. IndexNow에 대한 FAQ를 검토하세요 .
• Sitemap Ping Protocol은 Microsoft와 Google에서 더 이상 사용 되지 않습니다. LastMod 속성 은 검색 엔진이 귀하의 웹사이트에서 업데이트된 콘텐츠를 인식하는 방식입니다. Google Search Console 과 Microsoft Bing Webmaster Tools 에 사이트를 추가하여 검색 엔진이 귀하의 사이트에 대한 크롤링 진단 및 피드백을 제공할 수 있도록 하세요. robots.txt 힌트만으로는 충분하지 않습니다.
• 보다 자세한 정보는 Auctollo 의 XML Sitemap Generator: Community Edition Help 를 참조하세요.

XML-sitemap_기본옵션

업데이트 통지: 정보 더 보기    Notify Google about updates of your site No registration required, but you can join the Google Webmaster Tools to check crawling statistics.  Notify Bing (formerly MSN Live Search) about updates of your site No registration required, but you can join the Bing Webmaster Tools to check crawling statistics.  Add sitemap URL to the virtual robots.txt file. The virtual robots.txt generated by WordPress is used. A real robots.txt file must NOT exist in the site directory! 고급 옵션: 정보 더 보기 메모리 한계를 증가시킴:  (예. “4M”, “16M”) 실행 시간 제한을 증가시키도록함:  (초 단위로 기입, 예.”60″ 또는 “0” (제한 없음))  Try to automatically compress the sitemap if the requesting client supports it. Disable this option if you get garbled content or encoding errors in your sitemap. XSLT 스타일시트를 포함:  (.xsl 파일의 전체 또는 상대 주소)  Use default Override the base URL of the sitemap:  Use this if your site is in a sub-directory, but you want the sitemap be located in the root. Requires .htaccess modification. 정보 더 보기  Include sitemap in HTML format  Allow anonymous statistics (no personal information) 정보 더 보기

XML-sitemap_사이트맵 내용

사이트맵 내용은 상세할수록 좋으므로 모두 check해줍니다

WordPress standard content:    홈페이지 추가  포스트 추가  정적 페이지 추가  카테고리 추가  아카이브 추가  작성자 페이지 추가  태크 페이지 추가 Custom taxonomies:  Include taxonomy pages for 상품 카테고리  Include taxonomy pages for 상품 태그  Include taxonomy pages for 제품 배송 클래스 Custom post types:  Include custom post type My Templates  Include custom post type 상품  Include custom post type MailPoet Page  Include custom post type MailPoet page Further options:  Include the last modification time. This is highly recommended and helps the search engines to know when your content has changed. This option affects all sitemap entries.

Change Frequencies( XML-sitemap 수집빈도변경 )

저는 개인적으로 빠르게 update되도록 홈페이지, 포스트들, 정적 페이지들은  수집빈도를 Daily 로 하였습니다.

주의: 각 태그에 있는 수치들은 고려할 수 있는 사항일 뿐 절대적인 명령은 아닙니다. 서치 엔진의 Crawler가 아래의 정보를 수집 결정을 내릴 때 고려한다고 해도 “매시간” 으로 된 페이지를 더 긴 주기로 수집할 수도 있고 “매년” 으로 된 페이지를 더 짧은 주기로 수집할 수도 있습니다. 이것은 “하지않음”으로 된 페이지도 마찬가지로 주기적 수집을 할 수도 있어서 그러한 페이지에 발생한 변화를 예기치 않게 수집할 수도 있습니다.

Always Hourly Daily Weekly Monthly Yearly Never  홈페이지 Always Hourly Daily Weekly Monthly Yearly Never  포스트들 Always Hourly Daily Weekly Monthly Yearly Never  정적 페이지들 Always Hourly Daily Weekly Monthly Yearly Never  카테고리들 Always Hourly Daily Weekly Monthly Yearly Never  이번 달의 아카이브 ( 홈페이지와 같아야 합니다.) Always Hourly Daily Weekly Monthly Yearly Never  오래된 아카이브 ( 예전 포스트를 수정했을 때만 변경 하십시오.) Always Hourly Daily Weekly Monthly Yearly Never  태그 페이지들 Always Hourly Daily Weekly Monthly Yearly Never  작성자 페이지들

 

우선권

0.0 ~ 1.0 사이에 숫자중 선택하여 우선권을 부여할 수 있는데, 0.0 이 우선인지 1.0이 우선인지는 모르겠습니다.

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  홈페이지 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  포스트 ( 만약 자동 계산이 중지 되었을 경우 ) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  최소 포스트 우선권 (만약 자동 계산이 활성화 되어있을 때도) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  정적 페이지들 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  카테고리들 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  아카이브 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  태그 페이지들 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0  작성자 페이지들

    라. 다른 플러그인에서 사이트맵 생성되고 있다면 해지해주세요.

Yoast SEO 플러그인을 사용하는 경우, XML Sitemap 작성 기능을 해제하세요.

((2019-09-25 memo))

yoast로 사이트맵을 만들면 해당 사이트맵 경로, 예를들면 이 사이트의 경우, https://www.aiforu.kr/sitemap.xml 이 되는데 https://www.aiforu.kr/sitemap.xml을 인터넷에서 실행해보면 https://www.aiforu.kr/sitemap.xml 으로 바로 실행되지 않고 다시 https://www.copy114.kr/sitemap_index.xml 으로 forwading 되고  아래와 같이 표시됩니다. 다시 forwading 이 되어 검색엔진이 크롤링 및 색인이 잘 안되는 문제를 겪었습니다. 그래서 현재는 yoast sitemap은 사용 중지하고 Google XML Sitemap 만을 사용하고 있습니다. 

XML Sitemap

Generated by YoastSEO, this is an XML Sitemap, meant for consumption by search engines.

You can find more information about XML sitemaps on sitemaps.org.

This XML Sitemap Index file contains 9 sitemaps.

Sitemap	Last Modified
https://www.copy114.kr/post-sitemap.xml	2019-09-23 13:52 +09:00
https://www.copy114.kr/page-sitemap.xml	2019-09-18 15:51 +09:00
https://www.copy114.kr/product-sitemap.xml	2019-09-23 09:37 +09:00
https://www.copy114.kr/mailpoet_page-sitemap.xml	2019-05-28 10:18 +09:00
https://www.copy114.kr/category-sitemap.xml	2019-09-23 13:52 +09:00
https://www.copy114.kr/post_tag-sitemap.xml	2019-09-23 13:52 +09:00
https://www.copy114.kr/product_cat-sitemap.xml	2019-09-23 09:37 +09:00
https://www.copy114.kr/product_tag-sitemap.xml	2019-09-23 09:37 +09:00
https://www.copy114.kr/author-sitemap.xml	2019-09-11 14:18 +09:00

yoast  SEO 플러그인에서 제공하는 사이트맵도 훌륭하지만 사이트맵만은 아래의 Google XML Sitemap plugin 을 사용하시길 권합니다.

검색엔진최적화(SEO)를 위해 Yoast SEO 플러그인을 사용하는 경우, 사이트맵 생성 플러그(Google XML Sitemaps)와 충돌하므로 작성 기능을 해제(Disable)해주세요.

검색엔진최적화(SEO)를 위해 Yoast SEO 플러그인을 사용하는 경우, 사이트맵 생성 플러그(Google XML Sitemaps)와 충돌하므로 작성 기능을 해제(Disable)해주세요.

2019-09-21 현재는 [Yoast] -> [General] ->[Features]에서 disable(사용하지 않음)으로 설정해주셔야합니다.

보다 상세한 설명이 필요하시면 아래의 게시글을 참조하세요.

Yoast SEO plugin(워드프레스 검색엔진최적화(SEO) 플러그인, 요스트 플러그인) & Yoast SEO metabox 사용법

젯팩 플러그인을 사용하는 경우, XML Sitemap 작성 기능을 해제하세요.

젯팩 플러그인의 사이트맵은 Yoast SEO plugin 처럼 XML Sitemaps을 abc.com/sitemap.xml 처럼 보여주지 못하고 아래와 같이 forwarding 하여 검색엔진이 다시 forwarding 한 주소로 찾아가야하는 번거로움이 있고 실제 색인도 잘 안되는 것 같습니다.

워드프레스 관리자 페이지 좌측 상단의 [Jetpack] -> [설정]으로 이동하시어 [트랙픽]을 선택하시면

중간에 [XML 사이트 맵 생성]을 풀어주세요.

    마. Trouble Shooting(문제 해결)

출처 : Auctollo 의 XML Sitemap Generator: Community Edition Help

사이트맵을 도메인 루트로 옮기세요

WordPress 사이트가 example.com/blog/와 같은 하위 디렉토리에 설치된 경우 사이트맵은 기본적으로 example.com/blog/sitemap.xml에 생성됩니다. 그러나 사이트맵을 example.com/sitemap.xml로 이동하려면 플러그인 설정 페이지의 “사이트맵의 기본 URL 재정의” 필드에 ” http://example.com/blog/ “를 입력하면 됩니다.

그렇게 한 후에는 도메인의 루트 디렉토리에 있는 .htaccess 파일에 재작성 규칙을 추가해야 합니다. 재작성 규칙의 코드는 다음과 같습니다.

<IfModule mod_rewrite.c>
RewriteEngine 켜짐
RewriteRule ^sitemap(-+([a-zA-Z0-9_-]+))?\.xml(\.gz)?$ /your-blogdir/sitemap$1.xml$2 [L]
</IfModule>

“your-blogdir”을 WordPress 사이트가 설치된 하위 디렉토리의 실제 이름으로 바꿔야 합니다. 이 재작성 규칙은 example.com/sitemap.xml에서 example.com/blog/sitemap.xml로 사이트맵에 대한 요청을 리디렉션합니다.

일반적인 문제

Google 웹마스터 도구는 0개의 색인된 페이지를 표시합니다.

Google 웹마스터 도구에서 사이트맵의 일부 페이지를 “제출됨”으로 표시하지만 “인덱싱됨”으로 표시하지 않거나 인덱싱된 페이지 수가 제출된 페이지 수보다 적은 문제가 발생하는 것은 드문 일이 아닙니다. 이러한 시나리오에서는 다음을 확인하세요.

• 올바른 웹사이트를 확인했습니다. Google은 HTTP 또는 HTTPS, www/non-www, 루트/하위 폴더를 구분합니다. 따라서 블로그가  http://www.blog.com/ 에서 실행되는 경우  Google 웹마스터 도구에  http://www.blog.com/을 추가하고 사이트맵으로 http://www.blog.com/sitemap.xml을 추가해야 합니다  . http://blog.com/  또는  https://www.blog.com/을  추가하면  인덱싱된 페이지가 표시되지 않습니다.
• 귀하의 사이트맵에는 오류가 없습니다. 귀하의 사이트맵에는 Google에서 크롤링할 때 귀하의 웹사이트가 느리게 로딩되는 것과 같은 경고가 포함되어 있을 수 있습니다. 이는 귀하의 사이트맵에 대한 문제가 아닙니다.
• 사이트맵에 사용할 수 없는 페이지로 연결되는 링크가 있는 경우 WordPress에서 해당 링크를 찾아 설치한 플러그인을 확인하세요. 플러그인은 게시되고 비밀번호가 없는 모든 게시물을 게시물 테이블에서 읽습니다. 사이트맵에 무언가가 나타나면 WordPress 데이터베이스에 있는 것입니다.
• 마지막으로, Google 웹마스터 도구의 통계는 실시간이 아니라는 점에 유의하세요. 이는 정보 제공을 위한 목적으로만 제공됩니다. Google 검색에서 “site:” 연산자를 사용하여 현재 블로그의 어떤 페이지가 인덱싱되어 있는지 확인하세요. Google 웹마스터 도구에 새로운 URL이 인덱싱되어 표시되려면 몇 시간 또는 며칠이 걸릴 수 있지만 검색 결과에는 이미 포함되어 있습니다.

Google 웹마스터 도구에서 “XML 태그가 없습니다”라고 보고합니다.

귀하의 사이트맵은 콘텐츠가 없기 때문에 Google에서 읽히지 않습니다. 문제를 해결하기 위해 취할 수 있는 몇 가지 단계는 다음과 같습니다.

• 먼저 사이트맵을 확인하여 내부에 URL이 있는지 확인하세요. 없다면 Google에서 인덱싱할 콘텐츠가 없습니다.
• 문제가 있는 사이트맵이 sitemap-externals.xml인 경우 외부 페이지를 추가했는지 확인하세요. 추가한 경우 각 페이지의 URL이 올바른지, 플러그인 설정 페이지의 “추가 페이지” 섹션에 빈 줄이 없는지 확인하세요. 페이지 끝에 있는 “업데이트 옵션” 버튼을 사용하여 모든 설정을 다시 저장해 볼 수도 있습니다.
• 문제가 있는 사이트맵이 sitemap-archives.xml이고 게시물이 없고 페이지만 있는 경우 “사이트맵 콘텐츠”에서 “아카이브 포함” 설정을 비활성화하여 문제를 해결할 수 있습니다. 이렇게 하면 사이트맵에 아카이브가 포함되지 않고 인덱싱하려는 페이지만 포함됩니다.

Google 웹마스터 도구에서 “잘못된 XML”이라고 보고하거나 내 브라우저에서 “XX행 6열에 오류 발생: XML 선언은 문서 시작 부분에서만 허용됨”이라고 합니다.

사이트맵이나 RSS 피드가 작동하지 않는 문제를 해결하려면 브라우저에서 사이트맵을 열고 “소스 보기”를 선택하여 XML 태그 앞에 빈 줄이나 공백이 있는지 확인할 수 있습니다. 빈 줄이 있거나 공백이 있는 경우 다른 플러그인이나 테마의 functions.php 파일에 새 줄이나 공백이 있기 때문일 수 있습니다. functions.php 파일이 ?>로 끝나고 그 뒤에 빈 줄이나 공백이 없는지 확인하세요. 그래도 문제가 해결되지 않으면 다른 플러그인을 하나씩 비활성화하여 문제가 있는 플러그인을 찾아보세요. 임시 해결책으로 이 공백 수정을 사용해 볼 수도 있습니다 .

Google 웹마스터 도구에서 “사이트맵이 HTML 형식입니다”라고 보고합니다.

Google 웹마스터 도구에서 오류 메시지가 표시되는 이 문제가 발생하는 것은 드문 일이 아닙니다. 이 문제는 일반적으로 도구 자체의 결함으로 인해 발생하며, 가장 좋은 대처 방법은 사이트맵을 다시 제출하고 기다리는 것입니다. 이 문제는 보통 시간이 지나면 저절로 해결됩니다.

Google 웹마스터 도구는 사이트맵에 대해 “404 Not found”를 보고합니다.

• WordPress의 퍼머링크 설정을 확인하고 거기에서 저장 버튼을 클릭합니다. Apache 및 Apache 호환 웹 서버의 경우 최소한 다음 재작성 규칙이 문서 루트에 필요합니다.
  RewriteRule ^index\.php$ - [L]
• nginx를 웹 서버로 사용하는 경우 Rewrite Rules를 수동으로 추가하세요. 규칙은 플러그인의 설정 페이지에 표시되어야 합니다.

2. 구글 웹마스터에 등록하기(소유권 확인 및 사이트맵 제출하기)

사이트맵을 구글 웹마스터 도구 및 네이버 웹마스터 도구에 등록해 주면 수집현황까지 확인할 수 있어서 더 좋습니다.

      가. 소유권확인

구글 웹마스터 도구(http://google.com/webmasters, 구글 검색 결과에 웹사이트와 콘텐츠가 잘 노출되도록 해주는 서비스. 최근에 웹마스터 도구가 “Search Console”로 명칭이 변경되었습니다. 구글 애널리틱스에도 검색엔진최적화대신 “Search Consol”로 변경되었습니다. 연결후 구글 애널틱스에서 분석결과 확인시 참조하세요.)에 접속하여 사이트를 추가(속성 추가)해줍니다.

사이트 추가(속성 추가)를 하려면 소유권을 확인해주어야 합니다.

소유권을 확인하는 방법중 HTML 을 업로드 하는 방식은 http://wpx.kr/40 참고하세요.

코드를 넣는 방식은 아래의 저희의 게시글을 참조하세요.

Header and Footer plugin(워드프레스 플러그인, 사이트 소유권확인, 애널리틱스 분석코드, 구글 애드워즈의 리마케팅 태그를 편집할 수 있는 플러그인)

      나. 사이트맵 제출하기

[크롤링] -> [Sitemaps] -> sitemap.xml 을 입력해주고 [제출]하여 제출해줍니다.

접수중이라고 뜨면 제출은 잘 된 것이고 완료를 기다리시면 됩니다.

3. 네이버 마스터 도구에도 사이트맵 제출하기

구글 웹마스터도구에 등록을 하였듯이 국내 검색포탈 1위인 네이버 웹마스터도구( http://webmastertool.naver.com/ )에도 꼭 사이트맵을 제출해주세요.  네이버 자연검색에 매우 많은 도움을 주므로 꼭 해주세요.

4. 얀덱스 웹마스터 도구에도 사이트맵 제출하기

얀덱스 웹마스터 도구를 사용하고 계시다면 얀덱스에서도 사이트맵을 제출해 주세요.

[Indexing] -> [Sitemap files]에서 해주시면 됩니다.

사이트맵(sitemap.xml)을 신규로 제출하거나 이미 제출했던 내역을 확인할 수 있습니다.  http://www.dighomethai.com/sitemap.xml

robots.txt 에서 사이트맵 경로를 알려주면 “Sitemap files found in robots.txt”와 같이 나오면서 사이트맵의 계층구조와 상태 그리고 링크된 파일의 숫자까지 상세히 보여줍니다.

---

참고자료 : 1.  워드프레스 검색엔진최적화 – 2) 워드프레스 XML 사이트 맵 만들기

2. Auctollo 의 XML Sitemap Generator: Community Edition Help