6. Robots.txt를 위한 tool(도구) : SEO 챝(SEOCHAT, http://tools.seochat.com/tools/online-robots-txt-generator)

참조 : 2019-12-31 기준 SEOCHAT, http://tools.seochat.com/tools/online-robots-txt-generator 는 서비스가 중단되었습니다. 메모장을 이용하시거나 다른 솔루션을 찾아 이용해주세요. 

SEO 시책들을 나눠볼 때, 검색엔진 크롤러에 대한 최적화와 인덱스(검색엔진이 웹페이지를 데이타 베이스에 등록하는 것)에 대한 최적화로 나눌 수 있습니다. Robots.txt에 대한 최적화나 Sitemapl.xml에 대한 최적화 작업들은 크롤러에 대한 최적화입니다.  Robots.txt는 크롤러에게 읽어가야 할 페이지와 읽어 가서 인덱스하지 말아야할 페이지를 나눠 지시하는 역할을 합니다.

참조 : Robots.txt 는 검색로봇을 안내하는 역할을 하고 개인정보등 검색에 노출되지 말아야 할 것등을 결정하는 역할을 하므로 의미가 있으나 잘 못 만들면 사이트의 전체 페이지가 검색 노출에서 차단될 수 있으므로 초심자 분들은 아래의 게시글을 숙지하시고 만들어주시길 권합니다.

7. 사이트맵(Sitemap.xml)을 제작 도구들(tools)

가. XML-Sitemaps.com(www.xml-sitemaps.com)

웹 초기에는 수작업으로 웹 디렉토리에, 운영하는 사이트를 등록하거나 웹크롤러가 자동 수집해 가는 것만으로도 검색엔진에서 거의 모든 웹페이지를 탐색하는 것이 가능했지만 웹의 정보량이 방대해지면서 검색엔진 사이트맵이 필요하게 됩니다. 웹페이지의 특정 영역(예를들면, 플래쉬로 만든 부분)은 크롤러가 접근을 못하거나 AJAX(Asynchronous Javascript And XML) 등을 사용하여 동적으로 업데이트 되는 콘텐츠는 수집에서 누락되는 현상이 생기게 되면서 필요성이 부각되게 되었습니다.

사이트 툴도 크롤러 검색엔진최적화(SEO)에서 중요한데,  Sitemap.xml을 만듦에 쉽게 이용할 수 있는 tool을 소개합니다. 바로 XML-Sitemaps.com(www.xml-sitemaps.com)에서 제공하는 서비스입니다.

GUI 화면에서 간단하게 URL을 입력하면 해당 사이트의 Sitemap 파일을 작성해 준다. 이렇게 작성된 파일은 웹사이트 루트 도메인 폴더 밑에 두는 것으로 Sitemap 설정 작업은 완성되게 됩니다.

저도 이사이트를 통해 sitemap.xml을 만들었습니다. 500개의 index를 자동으로 만들어줍니다. (단점은 500개까지만 가능하다는 점입니다. )구글 등 검색엔진에 제출하면 크롤링에 많은 도움이 됩니다. 너무 간단하나 초기에 검색엔진 크롤링이 원할하게 해주는데 있어 중요하니 꼭 해주세요.

사용법은 아래의 유튜브 동영상을 참조하세요.

앞부분에는 서버 upload/download 프로그램인(FTP 프로그램)으로 많이 사용하는 File Ziller 사용법도 나오니 작성된 sitemap.xml을 자신의 site에 upload하실때 참조하시어 이용하세요.

사이트맵에 관한 보다 정확한 정보는 http://www.sitemaps.org에서 얻으실 수 있습니다.

나. http://www.web-site-map.com/ (사이트맵(sitemap)만들기, 구글, 네이버, 빙에 제출하기 을 참조하세요)

XML-Sitemaps.com(www.xml-sitemaps.com) 만큼이나 직관적이고 편리합니다.

다. 워드프레스 사용자는 워드프레스 사이트맵 제출 플러그인(Google XML Sitemaps plugin)을 이용하세요