검색엔진의 이해: 크롤러, 스파이더, 봇의 원리
검색엔진의 이해: 크롤러, 스파이더, 봇의 원리 본 글에서는 SEO 웹문서 설계 과정에서 알아야 할 기초적인 용어와 그 원리에 대해 탐구합니다. 우리는 검색엔진 업데이트의 의미적 이해를 통해, 검색엔진의 크롤러 원리를 파악하며, Black Hat보다는 White Hat SEO의 중요성을 알아볼 것입니다. 크롤러, 스파이더, 봇이란? 크롤러는 웹상에서 수많은 SEO 웹문서의 링크를 추적하고 수집하는 로봇을 의미합니다. 이는 때때로 스파이더나 봇이라고도 불립니다. 이 크롤러는 계속해서 검색엔진을 순회하며 HTML 내용을 색인하고, 검색엔진의 데이터베이스에 저장합니다. 콘텐츠가 새롭게 업로드되거나 기존 콘텐츠가 업데이트되면 해당 내용들을 수집해 반영합니다. 구글 및 네이버의 검색엔진 크롤링 원리 구글, 네이버..
2023. 9. 10.
