Обнаружение сайта
В эпоху Google, поисковую оптимизацию можно свести к трем основным пунктам:
1. Время, затрачиваемое на обнаружение и исследование сайта (краулинг)
2. Время, затрачиваемое на процесс добавления сведений о сайте (индексация), куда также включена и фильтрация
3. Время, затрачиваемое на расположение по каким-либо параметрам, например, по приоритету (ранжирование)
Данное упрощение позволяет не углубляться в тонкости и специфику работы SEO. Вместо этого специалистами создается своего рода шаблон для продвижения сайтов в поисковых системах
Безусловно, иногда это бывает крайне удобно, так как некоторые аспекты работы поисковых машин весьма сложны и малопонятны
Что нам известно на данный момент? Вот схематичный цикл работы поисковика:
1. Поисковый робот(паук), например, Googlebot, перебирает все страницы интернета с последующим анализом(краулит). До тех пор, пока Google не научится мгновенному получению информации об обновлениях, эта фаза будет неотъемлемой частью работы поисковой системы.
2. Поисковик, учитывая данные, полученные в процессе краулинга, выделяет и анализирует адреса интернет-ресурсов (URL, Uniform Resource Locator) в режиме реального времени и проводит индексацию.
3. Происходит ранжирование по приоритету, основанное на двух предыдущих пунктах, происходит в режиме реального времени и постоянно подстраивается под вновь
4. Процесс бесконечно повторяется.
Последнее является не столько пунктом, сколько способом создать непрерывность процесса.
Поисковики краулят, индексируют и ранжируют веб-страницы. Специалисты должны выстраивают свою тактику работы, основываясь за этих фазах работы поисковика. Собственно, в своей работе SEO-шникам необходимо сосредоточить все усилия на внимательном изучении особенностей именно этих трех пунктов.
Итак, больше всего нас интересуют:
1. Краулинг
2. Индексация
3. Ранжирования и как следствие – результирующая страница (SERP, Search Engine Result Page,СЕРП)
Но ни для кого не секрет, что все поисковые системы существуют исключительно с целью развития бизнеса, построенного на удовлетворении потребностей своих клиентов. Совершенно очевидно, что удобство пользователей имеет определяющее значение.
Также стоит отметить, что SEO по своей природе является областью, развитие которой основано на конкуренции. Как и в любой конкурентной нише, выход в лидеры одного из участников всегда происходит в ущерб другим, провоцирует бурное развитие технологий и улучшение качества обслуживания.
Исходя из всего вышесказанного, мы можем показать вам несколько примеров тактик работы для каждой из трех описанных фаз процесса поиска. Это позволит вам сформулировать общий план действий по оптимизации.
Краулинг.
SEO начинается с исследования процесса краулинга. Поисковый робот перебирает страницы, обнаруживает наш сайт. Далее он изучает все его особенности и подробно записывает их в журнальный файл (log-файл, логи), который несет в себе следующую информацию:
1. Ловушки для пауков
2. Страницы, краулить которые нет необходимости
3. Наличие дубликатов контента
4. Частота и глубина краулинга
5. Наличие ошибок сервера с кодом 302, 304, 307, 5хх и других ответов сервера.
6. Наличие цепей перенаправлений и циклов
7. Наличие лишних ошибок 404
Существует множество способов изучения содержимого логов. Например, специальные скрипт AudetteMedia’s logfilt, помогает быстро разобрать большие объемы данных логов и предоставить четкую информацию, упорядоченную по многим параметрам.
В крупных компаниях используются инструменты для анализа, например Splunk, которые способны разобрать всю информацию и выявить нужные детали, основываясь на определенных пользовательских сегментах(user-defined segments), к примеру, пользовательском программном агенты (user-agent), отсортированном по коду статуса сервера, а также дате и времени:
Xenu – это клиентское приложение, способное к небольшому краулингу и предоставляющее отличную базу данных с быстрым доступом. Приложение может обрабатывать более 10 000 страниц, поэтому его лучше использовать для выборочной проверки в крупных компаниях.
Для работы с Xenu, а также с другими высококачественными инструментами краулинга, вы можете использовать следующую схему:
1. Загрузите домен или часть сайта на сервис анализа ключевых слов (SEMrush)
2. Экспортируйте все полученные по запросам URL в текстовый формат, предназначенный для представления табличных данных (CSV)
3. Загрузите этот файл в Xenu или другой краулер
4. Отсортируйте по коду отклика.
Этот метод работы позволит вам быстро обнаружить коды ошибок сервера и т.д.
Google Webmaster Tools является одним из самых лучших инструментов в распоряжении специалистов SEO. Он позволяет углубиться в особенности процесса краулинга, получить информацию по дубликатам контента, частоте посещения сайта пауками и времени ожидания при поиске данных.
Существуют и другие полезные инструменты для анализа, например Lynx и SEO Browser. С их помощью вы получаете возможность просматривать страницы сайта так, как это делает паук или увидеть особенности процессов, происходящих межу клиентом и сервером, что позволит вам легко и быстро находить и устранять любые неполадки(посредством программы Charles).
В SEO главное – это то, как вы действуете.
В SEO точная информация крайне важна, но еще важнее то, каким образом возможно использование полученных данных. Главное не то, какую информацию вы способны получить, а то, насколько умело вы сможете ей распорядиться.
В процессе систематического анализа SEO, основанного на трех ключевых фазах, а именно на краулинге, индексации и ранжировании, самые разумные специалисты SEO могут разработать схему действий и методики для продвижения своих сайтов, которые позволят получить желаемые места в топах выдачи.
Комментарии