Обнаружение сайта – 3 составляющих SEO (часть 1)

Post date: 15 лист. 2015 18:05:04

В эру поисковых машин, SEO может быть сведено к 3 основным элементам или функциям: время на обследование сайта (обнаружение), время на индексацию (куда также входит и фильтрация), и время на ранжирование (алгоритмы).

Сегодня первая часть из трех, мы поговорим про обнаружение сайта поисковыми машинами.

Сведение SEO к этим основным элементам позволяет SEOшникам создать своего рода шаблон для работы над продвижением в поисковиках. Применяя этот шаблон можно не углубляться в специфику и тонкости действий в данном шаблоне.

И иногда это нам на руку, так как поисковые машины - это сверхсекретные монстры... роботы-монстры.

Этот тезис основан на следующих предположениях:

• Googlebot (или бот любого другого поисковика) заходит на страницы для чтения информации. Это всегда будет так, по крайней мере до тех пор, пока Google не научится осмосу.
• Google, основываясь на информации, полученной во время процесса обнаружения, выделяет и анализирует URL в режиме реального времени для того, чтобы принять решения об индексации.
• Основываясь на две вышеперечисленные ступени действий, происходит процесс ранжирования, обычно он очень точен.
• Процесс повторяется.

Поисковики исследуют, индексируют и ранжируют веб-страницы. Поэтому SEOшники должны основывать все свои тактики на этих шагах поисковиков. Вот те простые выводы, которые будут полезны SEOшникам, вне зависимости от конкуренции в нише:

• Все дело в обнаружении страницы
• Все дело в индексации
• Все дело в ранжировании

Но конечно, Google как и все другие поисковики существуют с одной целью — развить бизнес, удовлетворяя потребности пользователей. Поэтому, мы должны постоянно помнить следующее:

• Все крутиться вокруг пользователей

И конечно же, так как по своей природе SEO — это соревнование, в котором для выхода в топ выдачи нужно победить своих конкурентов, мы должны заметить следующее:

• Все дело в конкуренции

Учитывая все вышесказанное, мы можем вывести несколько SEO тактик для каждой из фаз работы поисковика.

Процесс обнаружения страниц

SEO начинается с исследования того, как поисковый бот обнаруживает страницы. Googlebot, например, исследуя наш сайт, видит все детали, которые записываются в логи. Эти несут следующую информацию:

• Сложности обнаружения
• Страницы, которые не следовало читать
• Дубликаты контента
• Частота и глубина чтения страниц
• Наличие ошибок с серверной стороны: 302, 304, 307, 5хх и т. д.
• Наличие цепей редиректов
• Наличие ненужных ошибок 404

Специальные скрипты (AudetteMedia's logfilt), которые помогают быстро разобрать множество таких логов, используются в разных ситуациях:

На уровне корпорации существует такой инструмент для анализа как http://www.splunk.com/, который может разобрать всю информацию по user-agent, сортируя ее по коду-статусу сервера, времени и дате:

Xenu – это полноценное приложение, которое предоставляет полнейшую информацию о посещении сайта поисковым ботом. Приложение работает с более чем 10 000 страницами, поэтому его лучше использовать на корпоративном уровне. Вот несколько советов по работе с Xenu или подобными:

• Загрузить домен или часть сайта на SEMrush
• Экспортировать все данные по запросам в CSV
• Загрузить этот файл в Xenu или другое приложение
• Отсортировать по коду

Эта быстрая и простая методика помогает найти такие коды как 302 и другие.

В Google Webmaster Tools также есть полезная для SEOшников информация по обнаружению страницы, дубликатам контента и частоте захождения бота на сайт:

Существуют также и другие инструменты, с помощью которых вы можете посмотреть на страницы сайта глазами поискового бота (например Lynx и SEO Browser ).

SEO – это действия

Самое главное в SEO - это точная информация, но еще важнее то, что и как можно поделать с этой информацией. Все дело в том, как вы интерпретируете данную информацию, а не то, как вы ее достанете.

Подвергая SEO работу систематизации, сообразительные SEOшники делают шаблон действий или методов, основываясь на теорию обнаружения, индексации и ранжирования, что впоследствии приводит их сайты прямиком в топы поисковой выдачи.