안녕하세요. 멍짱입니다.
어제 웹 크롤러를 알아보고 구글 서치 콘솔(Google Search Console)에 블로그를 등록까지 해봤습니다. 오늘은 국내 대표 포털사이트 네이버에도 등록해보려고 합니다.
네이버는 확실히 우리나라 유저들을 위한 배려를 많이 해둔 것 같다는 생각이 들었습니다. 구글 검색이 좋다는 것은 인정하지만, 편의성은 네이버가 앞서는 것 같습니다.
네이버에서는 '네이버 웹마스터도구'(http://webmastertool.naver.com)라는 서비스를 지원하고 있습니다. 친절하게 예시 절차와 보기 쉬운 UI를 지원하고 있으니 멘트만 보고 따라해도 원활하게 등록이 가능했습니다.
그러면 하나씩 설명드리겠습니다.
(방법1) HTML 검증파일을 업로드하여 검증
- 대상 : 티스토리, 네이버블로그, github 등 자료업로드를 지원하는 사이트
- 방법 : 검증파일을 홈페이지 최상단에 업로드하고 그 링크로 검증(업로드는 주인만 가능)
(방법2) 업로드 없이 HTML 검증코드 삽입으로 검증
- 대상 : 구글 블로그 등 자료업로드가 불가능한 사이트
- 방법 : HTML코드에서 최상단 <head>영역에 검증코드를 삽입하여 검증(수정은 주인만 가능)
저는 구글 블로그를 등록하는 것을 목표로 하였으니 (방법2)를 채택하여 진행하겠습니다.
구글 블로그는 네이버 블로그와 다르게 사용자가 직접 블로그의 모든 것들을 수정할 수 있도록 HTML편집을 지원하고 있습니다.(HTML고수에게는 최고, 초보에게는 최악이기도 합니다)
여기서 상단부 <head>섹션으로 이동합니다.
그리고 네이버에서 안내한 검증코드(메타태그)를 붙여넣습니다.
HTML수정을 종료하고 네이버 웹마스터도구로 다시 돌아옵니다.
그리고 하단에 보안코드를 입력하여 검증절차를 시행하면 '사이트 소유 확인이 완료되었습니다'라는 메시지를 보실 수 있습니다.
robots.txt를 수정하기 위해 구글 블로그로 다시 돌아가서, 아래와 같이 입력합니다.
(잘못 들어가는 경우, 검색엔진이 사이트 검색을 하지 않게되니 조심해야 합니다)
# Blogger Sitemap generated on 2018.12.16
User-agent: *
Allow: /
Sitemap: http://kgu3405.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://kgu3405.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
User-agent: * (어떤 검색엔진이든 검색 허용)
Allow: / (해당 사이트 하위에 있는 모든 페이지 검색 허용)
Sitemap: --- (등록하려는 사이트 최상위 페이지)
robots.txt가 정상등록되었다면, 사이트 하위에 있는 페이지 링크들도 자동으로 검색이 가능하게 되고 위에 사진처럼 '수집이 가능합니다' 라는 문구가 나옵니다.
그리고 최종적으로 '사이트 정상 접속 여부'가 체크된 것을 확인할 수 있습니다.
이제 곧 마지막 단계입니다, 조금 더 힘냅시다!!
검색엔진은 이렇게 얻은 정보를 나중에 손 쉽게 찾기위해 정리하는 작업, 즉 색인(index)을 합니다.
구글 블로그에서 "글 = 웹 페이지" 입니다. 그렇기 때문에 새로운 글을 적었다면 이렇게 웹페이지 수집, 즉 색인(index) 작업을 해주어야 합니다.
(수동으로 매번 해야하는지에 대해서는 테스트 결과가 나오는대로 올리겠습니다)
작업이 상당히 길었습니다만, 1~2번 과정은 최초 사이트 등록시에만 필요한 과정입니다. 새 글을 블로그에 올린 경우 3번 과정만 진행해주면 됩니다.
다음에는 sitemap.xml, rss에 대해서 연구하고 올려보겠습니다~!
어제 웹 크롤러를 알아보고 구글 서치 콘솔(Google Search Console)에 블로그를 등록까지 해봤습니다. 오늘은 국내 대표 포털사이트 네이버에도 등록해보려고 합니다.
네이버는 확실히 우리나라 유저들을 위한 배려를 많이 해둔 것 같다는 생각이 들었습니다. 구글 검색이 좋다는 것은 인정하지만, 편의성은 네이버가 앞서는 것 같습니다.
네이버에서는 '네이버 웹마스터도구'(http://webmastertool.naver.com)라는 서비스를 지원하고 있습니다. 친절하게 예시 절차와 보기 쉬운 UI를 지원하고 있으니 멘트만 보고 따라해도 원활하게 등록이 가능했습니다.
그러면 하나씩 설명드리겠습니다.
웹 크롤러 사용을 위한 3가지 과정(네이버, 구글 모두 해당됩니다)
1-1. 사이트 소유확인 절차
내 사이트를 다른 사람이 마음대로 네이버에서 검색 가능하게 등록하면 어떻게 될까요? 홍보되서 좋아할 사람도 있겠으나, 내 홈페이지 정보가 공개되지 않기 원하는 사람도 있을 수 있습니다. 그래서 모든 웹 크롤러에서는 가장 먼저 사이트의 실제 주인인지 검증하는 절차를 진행합니다.
(방법1) HTML 검증파일을 업로드하여 검증
- 대상 : 티스토리, 네이버블로그, github 등 자료업로드를 지원하는 사이트
- 방법 : 검증파일을 홈페이지 최상단에 업로드하고 그 링크로 검증(업로드는 주인만 가능)
(방법2) 업로드 없이 HTML 검증코드 삽입으로 검증
- 대상 : 구글 블로그 등 자료업로드가 불가능한 사이트
- 방법 : HTML코드에서 최상단 <head>영역에 검증코드를 삽입하여 검증(수정은 주인만 가능)
저는 구글 블로그를 등록하는 것을 목표로 하였으니 (방법2)를 채택하여 진행하겠습니다.
1-2. (방법2) HTML 검증코드 삽입
구글 블로그 옵션 메뉴에서 [테마] - [HTML편집] 을 들어갑니다.
구글 블로그는 네이버 블로그와 다르게 사용자가 직접 블로그의 모든 것들을 수정할 수 있도록 HTML편집을 지원하고 있습니다.(HTML고수에게는 최고, 초보에게는 최악이기도 합니다)
여기서 상단부 <head>섹션으로 이동합니다.
그리고 네이버에서 안내한 검증코드(메타태그)를 붙여넣습니다.
HTML수정을 종료하고 네이버 웹마스터도구로 다시 돌아옵니다.
그리고 하단에 보안코드를 입력하여 검증절차를 시행하면 '사이트 소유 확인이 완료되었습니다'라는 메시지를 보실 수 있습니다.
2. robots.txt 수정작업
네이버, 다음 등 각 포털사이트들은 검색엔진을 갖고 있습니다. 모든 검색엔진이 공용으로 사용하는 이름표 같은 것이 있는데 이것이 바로 robots.txt입니다.
robots.txt를 수정하기 위해 구글 블로그로 다시 돌아가서, 아래와 같이 입력합니다.
(잘못 들어가는 경우, 검색엔진이 사이트 검색을 하지 않게되니 조심해야 합니다)
# Blogger Sitemap generated on 2018.12.16
User-agent: *
Allow: /
Sitemap: http://kgu3405.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://kgu3405.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
User-agent: * (어떤 검색엔진이든 검색 허용)
Allow: / (해당 사이트 하위에 있는 모든 페이지 검색 허용)
Sitemap: --- (등록하려는 사이트 최상위 페이지)
robots.txt가 정상등록되었다면, 사이트 하위에 있는 페이지 링크들도 자동으로 검색이 가능하게 되고 위에 사진처럼 '수집이 가능합니다' 라는 문구가 나옵니다.
그리고 최종적으로 '사이트 정상 접속 여부'가 체크된 것을 확인할 수 있습니다.
이제 곧 마지막 단계입니다, 조금 더 힘냅시다!!
3. 색인 등록(indexing)
위 과정을 통해 검색엔진이 내 블로그를 찾고, 내부를 검색할 수 있게 설정했습니다. 그런데 여기 사이트에 어떤 정보가 담겨있는지는 정확히 모르기 때문에 "이것은 TV, 저것은 냉장고..." 처럼 정보를 알려주는 과정이 필요합니다.검색엔진은 이렇게 얻은 정보를 나중에 손 쉽게 찾기위해 정리하는 작업, 즉 색인(index)을 합니다.
구글 블로그에서 "글 = 웹 페이지" 입니다. 그렇기 때문에 새로운 글을 적었다면 이렇게 웹페이지 수집, 즉 색인(index) 작업을 해주어야 합니다.
(수동으로 매번 해야하는지에 대해서는 테스트 결과가 나오는대로 올리겠습니다)
작업이 상당히 길었습니다만, 1~2번 과정은 최초 사이트 등록시에만 필요한 과정입니다. 새 글을 블로그에 올린 경우 3번 과정만 진행해주면 됩니다.
다음에는 sitemap.xml, rss에 대해서 연구하고 올려보겠습니다~!
댓글
댓글 쓰기