Ускоряем индексацию сайта

Чем чаще поисковый робот посещает ваш сайт и, чем больше информации он скачает, тем быстрее вы попадаете в индекс. То, насколько часто робот посещает ваш ресурс, зависит от многих факторов, одним из них является и частота обновления контента на нем.

Для чего нужна быстрая индексация? Все просто, только благодаря скорости индексации, можно отследить, как какие-либо изменения повлияли на позиции в поисковой выдаче. А отслеживание результатов работы по продвижению позволяет сделать ряд выводов, пусть иногда и отрицательных, но это тоже замечательный опыт, полученный на практике.

Как добиться отличной индексации сайта.

Рассмотрим основные причины и пути их решения.

• Долгое отсутствие изменений в плане нового контента или его обновлении отрицательно сказывается на индексации. Если сайт не обновляется, зачем на него заходить поисковому боту?
  Лучше публиковать по 1-3 новых статей в неделю, нежели 10-30 раз в месяц. Таким образом, мы дадим понять поисковикам, что над ресурсом работают, и он развивается.
• Сложная, непродуманная структура сайта может также отрицательно сказаться на его обновлении в индексе. Не стоит углубляться в уровнях, если в этом просто нет логического смысла.
  Как правило, структура разделов закладывается еще на этапе проработки семантического ядра, до начала разработки. Продумайте будущую структуру сайта, на крайний случай выберите несколько конкурентов и посмотрите у них.
• Много «мусорных» страниц (дубли, ненужный или малого объема контент, неуникальный контент) способствует снижению скорости индексации. Дело в том, что у поисковых роботов есть свой ресурс, который может расходоваться на ненужные нам материалы. Они могут мешать обходу важных для нас разделов и публикаций.
  Поэтому приоритетно запретить индексировать служебные страницы, такие как страницу регистрации авторизации, результатов поиска и другие, а также избавить от дублей, которые могут возникать в результате работы некоторых расширений, таких как «паджинация», фильтры, сортировка и других.
• Еще одним критерием нескорой индексации сайта может служить долгая загрузка страниц – «Page Speed Rank», а если робот и вовсе не получит ответа вовремя, то она попросту вывалится из индекса.
• Огромное количество страниц – тоже не показатель сверх быстрой индексации, поскольку на их обход необходимы ресурсы и время. С этой ситуацией помогает бороться заголовок «Last Modified», о настройке которого я расскажу позже.

Исключаем «мусорные» страницы.

Если с порядком публикаций статей и структурой сайта все просто, то вот как избавиться от ненужного контента, не всегда понятно.

Давайте для начала найдем «мусор» на сайте. Если вы зарегистрированы в панели вебмастера Яндекс или Google, то с легкостью обнаружите их в списке проиндексированных.

Иначе, с помощью команды «site» поисковой системы Яндекс находим список всех проиндексированных материалов и просматриваем их. Для этого в строку поиска Яндекс вбиваем следующую конструкцию:

site:site.ru

Во-первых, необходимо избавиться от служебных и вспомогательных страниц, которые не несут информационного характера и не учувствуют в семантике: страница регистрации, авторизации, результатов поиска, личный кабинет пользователя, административная панель сайта и другие страницы. Их мы просто в грубой форме запрещаем индексировать, прописав соответствующие инструкции в файл robots.txt. Пример корректного файла robots.txt для CMS MODx Evolution я уже приводил.

Пример:
Disallow: /login
Disallow: /register
Disallow: /admin
Disallow: /profile
Disallow: /search
Disallow: /tags

И так для всех страниц, которые считаются «мусором».

Во-вторых, нужно исключить всевозможные дубли, которые возникают при «паджинации» страниц, работе фильтров, сортировке, выборе города или языка. Как правило, это связано с добавлением к основному URL дополнительных GET параметров:

http://site.com/articles/
и
http://site.com/articles/?page=2

Для подобных дублей существует прекрасный инструмент под названием атрибут rel=”canonical”, он позволяет исключить весь повторяющийся контент. Как это делается, вы можете посмотреть, я уже говорил об этом ранее. Я считаю, что данный подход преимуществен перед жестким запретом в «роботс». Но если же вы не хотите ничего «допиливать», то инструкция в robots.txt тоже будет работать:

Disallow: /articles/?page=*

О том как ускорить загрузку сайта, я расскажу чуть позже.

Просмотров: 3149

Статьи по теме:

• htaccess MODx Evolution (htaccess MODx)
• Избавляемся от дублей (Дубли в пагинации или rel="canonical")
• Заголовок Last-Modified (Ускоряем индексацию сайта или заголовок Last-Modified.)

Написать комментарий

Имя:
Email:
Тема:
Комментарий: *