검색엔진의 크롤링 프로세스는 이전의 크롤링 작업을 통해 수집한 웹 주소 목록과 웹사이트 소유자가 제공한 사이트맵에서부터 시작됩니다. 크롤러는 웹사이트를 방문한 다음 사이트에 있는 링크를 사용하여 다른 페이지를 찾습니다. 사이트맵은 검색엔진이 크롤링 과정에서 발견하지 못했을 수도 있는 페이지 정보를 검색엔진에 제공해주는 역할을 합니다. 사이트맵 제출은 검색엔진최적화(SEO)에 시작이며 기본중에 기본입니다.
다음과 같은 여러 방법으로 Google이 사이트맵의 색인을 생성하도록 요청할 수 있습니다.
http://www.google.com/ping?sitemap=<사이트맵_전체_URL> http://www.google.com/ping?sitemap=https://example.com/sitemap.xmlrobots.txt 파일 내 아무 곳에나 다음 행을 삽입하여 사이트맵으로 연결되는 경로를 지정합니다. 이렇게 하면 Google에서 다음번에 사이트를 크롤링할 때 사이트맵을 찾을 수 있습니다.Sitemap: http://example.com/my_sitemap.xml파일 요구 사항은 얀덱스의 sitemap 파일 요구 사항을 표시한 것입니다. 다른 검색엔진에는 달라질 수 있으나 Yandex는 Sitemap 프로토콜 을 준수하므로 다른 검색엔진도 다르지 않을 것입니다.
보통 XML 및 TXT 형식을 지원하는데 xml을 더 많이 사용합니다. 사이트맵(sitemap.xml)는 다음 요소로 구성됩니다.
| Tag(꼬리표) | 필수 여부 | 상세 설명(Description) |
|---|---|---|
| loc(장소) | 예 | 페이지 주소. |
| lastmod(최종 수정 시각) | 아니요 | 페이지가 마지막으로 업데이트 된 날짜입니다.최대 크기는 100 바이트입니다. |
| changefreq(갱신 주기) | 아니요 | 페이지 변경 빈도.( Frequency of page changes. )최대 크기는 100 바이트입니다. |
| 우선 순위( priority ) | 아니요 | 페이지의 중요성. 로봇은 0.0에서 1.0까지 계수의 존재 및 값에 따라 정렬 된 페이지를 하나씩로드합니다. 사이트에 가장 중요한 URL 값을 지정하십시오.최대 크기는 100 바이트입니다. |
www.sitemaps.org/schemas 에 맞추어 만들어진 일반적인 XML 형식의 sitemap.xml 은 아래와 같이 표시됩니다.
This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9“ xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance“ xsi:schemaLocation=”http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd“>
<!– Generated by Web-Site-Map.com –>
<url>
<loc>http://garipo.co.kr/</loc>
<lastmod>2021-02-04T01:38:43+00:00</lastmod>
<changefreq>always</changefreq>
<priority>1.00</priority>
</url>
<url>
<loc>http://garipo.co.kr/sub01/sub01.php</loc>
<lastmod>2021-02-04T01:38:44+00:00</lastmod>
<changefreq>always</changefreq>
<priority>0.85</priority>
</url>
<url>
<loc>http://garipo.co.kr/board/bbs/board.php?bo_table=interior</loc>
<lastmod>2021-02-04T01:38:45+00:00</lastmod>
<changefreq>always</changefreq>
<priority>0.85</priority>
</url>
<url>
<loc>http://garipo.co.kr/sub01/sub03.php</loc>
<lastmod>2021-02-04T01:38:45+00:00</lastmod>
<changefreq>always</changefreq>
<priority>0.85</priority>
</url>
<url>
<loc>http://garipo.co.kr/board/bbs/board.php?bo_table=menu&sca=menu01</loc>
<lastmod>2021-02-04T01:38:46+00:00</lastmod>
<changefreq>always</changefreq>
<priority>0.85</priority>
</url>
Google Sitemap Generator Plugin 으로 만든 XML형식의 sitemap.xml 은 아래와 같이 표시됩니다.
This is a XML Sitemap which is supposed to be processed by search engines which follow the XML Sitemap standard like Ask.com, Bing, Google and Yahoo.
It was generated using the WordPress content management system and the Google Sitemap Generator Plugin by Arne Brachhold.
You can find more information about XML sitemaps on sitemaps.org and Google’s list of sitemap programs.
| URL | Priority | Change frequency | Last modified (GMT) |
|---|---|---|---|
| https://www.openfood.kr/%ec%a0%84%ec%9e%90%ec%83%81%ea%b1%b0%eb%9e%98%ec%9d%b8%ed%84%b0%eb%84%b7%ec%82%ac%ec%9d%b4%eb%b2%84%eb%aa%b0-%ed%91%9c%ec%a4%80%ec%95%bd%ea%b4%80/ | 60% | Daily | 2020-12-05 02:42 |
Generated with Google (XML) Sitemaps Generator Plugin for WordPress by Arne Brachhold. This XSLT template is released under the GPL and free to use.
If you have problems with your sitemap please visit the plugin FAQ or the support forum.
아래의 게시글을 통해 정리하였습니다.
얀덱스 사이트맵 검사기(Sitemap validator) https://webmaster.yandex.com/tools/sitemap/
URL 옵션을 이용하면 타사 사이트의 사이트맵도 유효성을 검증할 수 있습니다. 다양한 오류과 경고들을 확인할 수 있으니 꼭 활용해 주세요.
얀덱스 웹마스터 도구( https://webmaster.yandex.com/ )
사이트맵은 검색 엔진이 사이트에서 URL을 찾는 데 도움이 되지만 사이트맵의 모든 항목이 크롤링되고 색인이 생성된다는 보장은 없습니다. 그러나 대부분의 경우 사이트에 사이트맵이 있으면 도움이 됩니다 . (구글검색센터의 사이트맵 알아보기 )
다음과 같은 경우 사이트맵이 필요할 수 있습니다.
다음과 같은 경우 사이트맵이 필요하지 않을 수 있습니다.
두 개 이상의 사이트맵 추가를 고려해야 하는 주된 이유는 링크 밀집을 최소화할 뿐만 아니라 검색 엔진에서 모든 페이지를 크롤링하고 색인을 생성하도록 하기 위함입니다 . 여러 사이트맵은 웹 사이트의 콘텐츠를 분류하고 범주화하는 데 매우 효율적입니다.( Why Should You Use Multiple Sitemaps? )
참고자료 : 1. 구글검색센터의 사이트맵 알아보기
1 Comment
[…] 사이트맵(sitemap)의 의미(역할)/제출방법/제작도구들 […]