대표 검색 엔진 구글을 통해 구글이 크롤러를 어떻게 교육시켰는지 크롤러가 공부한 내용들을 확인해 보겠습니다.
2010년대 초 (판다 알고리즘, 펭귄 알고리즘, 허밍버드 알고리즘, 피존 알고리즘)
판다 알고리즘
• 관련 정보가 너무 빈약한 콘텐츠
• 다른 사람의 글을 복사했거나 일부만 수정한 콘텐츠
• 특정 키워드 상위 노출을 의도로 내용은 같지만 특정 단어만 변경한 글들
예) 변호사 관련 글을 작성해 단어만 서울 변호사, 부산 변호사, 대전 변호사 등으로 수정한 글.
• 내용보다 광고가 더 많은 콘텐츠
• 특정 목적을 가지고 특정 작업을 대량으로 진행한 사이트
예) 하나의 웹사이트에서 다양한 분야의 짧은 콘텐츠를 만드는 것. 대부분의 사람들이 궁금해하는 것들에 대한 짧은 답변을 만들고 웹사이트 상위 노출 의도.
대응: 중복 콘텐츠 삼가, 인위적인 키워드와 자체 스팸 요소 삭제.
펭귄 알고리즘
• 검색 엔진 상위 노출을 목적으로 구축된 링크, 저품질 웹사이트, 게시글과 관련 없는 사이트에서 연결된 의도적인 링크
• 특정 키워드를 부자연스러울 정도로 많이 포함한 글
예) 정수기
정수기를 제일 잘 만드는 정수기 업체입니다. 좋은 정수기를 만들기 위해 정수기 필터에 많은 연구를 하고 있습니다.
정수기 교환, 정수기 필터, 좋은 정수기, 저렴한 정수기, 정수기 렌탈, 정수기 가격, 정수기 비용
*정보를 위한 글이 아니라 키워드만 넣은 글은 패널티 부여.
대응: 어색한 백링크 삭제, 홈페이지 평가 저하시키는 백링크 홈페이지 검색하여 신고.
허밍버드 알고리즘
Knowledge graph:
-사용자의 검색 의도를 파악해 관련 내용 보여주기
1. 검색한 키워드가 2가지 이상 의미를 가지고 있는 경우, 모두 검색 결과에 보여줌.
2. 특정 검색 결과에 대한 요약 정보 제공
3. 키워드 관련 정보 같이 제공.
예) BTS의 RM을 검색했다면 생년월일, 가족관계, 유명한 노래, 최근 예정 콘서트 정보 등 모두 보여줌.
Smantic Search:
– 검색자의 의도가 명확하지 않아도 전체적인 맥락 이해하여 정보 제공하기
예) 하와이안 피자 검색 시 만드는 법을 찾는지, 파는 곳을 찾는지, 토핑 종류가 궁금한지 사용자의 의도를 넓게 해석해 관련 정보를 모두 제공함.
-대화체로 검색 가능함.
예) 노트북 업그레이드 어떻게 하지?
대응: 사용자의 검색 의도를 파악하고 적합한 콘텐츠 제공.
피존 알고리즘
-사용자의 위치를 기반으로 검색 결과를 보여줌.
예) 사용자가 강남구 청담동에 있고, 이곳에서 강남 파스타를 검색하면 청담동에 위치한 파스타 전문점이 상위 노출됨.
대응: 위치기반 검색이 적용되어 다른 지역에서 검색하면 자신의 웹사이트나 위치정보가 나타나지 않을 수 있으나 양질의 콘텐츠를 제작하고 온페이지 SEO, 오프페이지 SEO에 충실하면 큰 문제 없음.
2010년대 중후반 (랭크브레인 알고리즘, 구글 모바일 퍼스트 인덱싱, Fred 알고리즘, BERT 알고리즘, 코어 알고리즘)
랭크브레인 알고리즘
-모호한 쿼리, 처음 본 쿼리에 대한 대응 알고리즘 제작
*쿼리란? 검색 엔진에게 특정한 데이터를 보여달라는 검색자의 요청.
머닝 러신을 이용해 사용자가 의도하는 정보를 찾아 제공함. 검색 의도를 파악하고자 사용자의 위치, 동의어 등으로 단어를 분석하고 개인에 따른 정보를 확인한다.
예) 2020년을 기준으로 코로나를 검색하면 전 세계 감염 현황, 국내 확진자 현황, 지역별 확진자 현황 등을 보여준다. 예전이었다면 ‘코로나 맥주’에 대한 내용을 보여주었을 것이다.
-얕은 지식으로 만들어진 콘텐츠, 표절 혹은 더 이상 가치가 없는 콘텐츠, 키워드 스터핑을 사용한 웹사이트를 더욱 잘 식별함.
-질문에 따라 검색 순위가 다름: 단순 키워드 매칭, 링크의 양, 콘텐츠 질로만 상위 랭크되는 것이 아니라 검색자의 의도에 가까운 페이지를 상위 노출시킴.
-웹사이트 특징에 따라 상위 노출 요소가 다름.
예) 사건 사고 보도, 월간지, 주간지 등 최신 정보를 제공하는 사이트는 업데이트 날짜, 최근 연결된 링크가 중요.
백과사전 등 변하지 않는 정보를 제공하는 사이트는 콘텐츠의 양과 질이 중요함.
키워드별 페이지 생성은 효과적이지 못함. 랭크브레인을 통해 특정 키워드가 아닌 관련 검색 결과를 모두 보여주기 때문임.
예) ‘레몬’ 키워드의 경우 레몬의 역사, 레몬 요리, 레몬 고르는 법, 레몬 세척법 등을 여러 곳에 나누어 작성하기 보다 한 곳에 레몬에 관한 고품질의 정보를 제공하는 것이 효과적.
모바일 퍼스트 인덱싱
모바일 퍼스트 인덱싱이란? PC버전보다 모바일 버전을 우선적으로 색인하는 정책.
• 사이트별 모바일 버전 페이지를 파악하여 사용자가 불편함을 느끼는 페이지는 패널티 부여.
대응: 모바일 버전 로딩 속도와 사용자 친화성 파악하여 최적화 시키기
Fred 알고리즘
광고 수익을 노린 저품질 사이트, 과도한 광고와 블랙햇 전략(구글 가이드라인에 위배되는 모든 전략), 인위적인 링크를 생성해 연결하여 사용하는 등의 웹사이트는 검색 순위에서 밀린다.
Fred가 웹사이트를 평가하는데 중요히 여기는 요소는 E• A• T다.
Expertise(전문성): 유머와 가십거리를 다루는 사이트는 전문성이 크게 중요하지 않지만 지식적인 내용을 다루는 사이트는 전문성이 필수. 콘텐츠가 정직하고 사용자들에게 유용한 정보를 많이 제공하면 전문성을 보인다고 할 수 있다.
Authoritativeness(권위성): 글쓴이의 전문성에서 얻을 수 있다.
Trustworthiness(신뢰성): 페이지 방문자들이 해당 페이지를 믿을만하다고 느껴야 한다. (재방문율 등에서 확인 가능)
대응: 저품질 백링크 구매, 과도한 광고, 저품질의 콘텐츠 금지
BERT 알고리즘
• 검색 문장의 단어를 입력된 순서대로 처리하지 않음. 모든 단어의 연관성을 이해해 검색 결과를 보여줌.
예) 다른 사람 약 처방
사용자 의도: 병원에 직접 가지 못하는 환자를 대신해 약을 처방받을 수 있는지 질문함.
검색 엔진:
과거: 약 처방전을 제공하는 사람으로 인식해 처방전이라는 단어에 대해 풀이한 의학 전문 사이트를 보여줌.
현재: 사용자가 환자의 대변인으로서 검색어를 입력한 의도를 파악함. 다른 사람 약 처방을 받을 수 있는지, 어떻게 받을 수 있는지 등의 정확도 높은 검색 결과를 보여줌.
-사용자가 특정 사이트를 클릭하지 않아도 필요 정보를 바로 볼 수 있도록 피처드 스니펫 제공.
*이로 인해 웹사이트들은 더욱 트래픽을 얻기 어려워짐.
대응: 사용자의 검색 의도에 적합하고 정보가 알찬 콘텐츠 제공
2020년대 (C• 19 Pandemic, 코어웹바이탈)
C• 19 Pandemic
코로나 유행으로 구글의 검색 알고리즘은 E• A• T에 더욱 초첨이 맞춰짐.
코로나에 대한 수많은 루머와 부정확한 데이터 확산에 대응하고 사용자들에게 유용한 정보를 찾도록 돕고 잘못된 정보를 피하도록 해야 했기 때문.
코어 웹 바이탈
• 웹페이지에 대해 구글이 제시하는 성적표라고 할 수 있음. (로딩 속도, 응답 속도, 콘텐츠 로딩 안정성 등을 확인함.)
• 구글 서치 콘솔을 통해 해당 서비스를 제공하고 있음.
위 내용들의 공통점들을 간단히 요약하자면 아래와 같습니다.
1. 인위적인 키워드, 링크 생성 X
2. 사용자의 검색 의도 파악
3. 양질의 알찬 정보가 담긴 콘텐츠 제작
4. 모바일 친화적
5. 사용자가 사용하기 편리한 사이트
크롤러는 위와 같이 학습한 조건들을 포함한 수백가지의 기준으로 각 페이지들의 품질을 평가합니다. 나의 콘텐츠가 조건들에 잘 부합해서 점수를 좋게 받으면 상위 랭크되는 것이고, 점수를 낮게 받으면 랭킹이 떨어지거나 삭제되는 것이지요.
그래서 사용자들의 눈에 띄려면 우선 로봇에게 잘 보여야 합니다. 하지만 결국 구글은 사용자의 검색 만족도를 가장 중요하게 여깁니다. 구글이 어떻게 사용자의 만족도를 파악할까요?
구글 정보 검색 단계입니다. 구글은 이 검색 단계를 분석해 해당 페이지가 검색 의도를 잘 달성했는지 판단합니다.
1. 검색어 입력(사용자)
2. 검색 의도 파악(크롤러)
3. 검색 결과 페이지 생성(크롤러)
4. 페이지에 있는 링크 중 하나 클릭(사용자)
5. 클릭한 페이지 읽기(사용자)
6. 페이지 재방문 또는 재검색(사용자)
만약 사용자의 검색 의도와 우리가 만든 콘텐츠가 잘 맞아 떨어지면 해당 페이지에 머무는 시간이 많아질 것입니다. 만약 페이지에 원하는 정보가 없으면 5단계를 건너 뛰고 6단계로 넘어가겠죠. 구글은 이런 사용자의 행동을 모니터링해서 사용자에게 만족감을 주었다고 생각하는 웹페이지의 랭킹을 상위 조정합니다. 결국 SEO에 성공하려면 로봇과 사람을 모두 만족시켜야 하는 것입니다.