Судя по количеству создаваемых тем на форумах для web мастеров, проблемы индексации сайтов поисковой системой Яндекс, как новых, так и в возрасте, являются самой животрепещущей темой во все времена. Количество тем о плохой индексации сайта, либо о вылете страниц из индекса, растут как грибы после дождя. У каждого вэбмастера со стажем есть свои методы ускорения индексации сайтов, проверенные годами. И так, встречайте:

Как ускорить индексацию нового сайта на WordPress в Яндексе

Наша задача: максимально ускорить индексацию нового сайта, построенного на платформе WordPress, поисковой системой Яндекс.

Методы решения этой задачи: пинг

Что такое пинг? В словарях можно найти различное толкование этого слова. С точки зрения поисковой системы Яндекс ( а нам ведь нужна именно эта поисковая система), пинг - это специальное сообщение для поисковой системы о том, что на Вашем сайте опубликован новый материал, и самое время прислать на Ваш сайт робота для его индексации. Источник - Яндекс.

Небольшое отступление: А Вы не задумывались, почему все известные блого сервисы (ЖЖ, твиттер и т.п) так великолепно индексируются поисковыми системами? Ответ можно найти на самом Яндексе - система автоматического оповещения (то бишь пинг) в эти сервисах работает по умолчанию.

Шаг первый - Используем внутренние возможности платформы WordPress
После того как Вы установили все необходимые темы, плагины и шаблоны, настроили ЧПУ и постоянные ссылки (на этом подробно останавливаться не буду, так как это тема отдельной статьи, которая отходит от рамки нашего задания), а также запретили к индексации всевозможные дубли страниц, которыми так грешит платформа WordPress (об этом немного ниже), переходим к настройке собственно самого пинга.

В панели администратора WordPress, в левой колонке находим раздел Параметры и в нем вкладку Написание

Переходим на страницу настроек параметров написания. Нас интересует самый последний по расположению (однако один из самых главных по назначению для ускорения индексации) подраздел на этой странице - Сервисы обновления

Как указано в самом WP - "Когда вы публикуете новую статью, WordPress автоматически уведомляет следующие сайты служб слежения за обновлениями".
По умолчанию, там указывается всего один адрес подобного сервиса, эффективность от которого для нашей задачи равна практически нулю. Для того что бы повысить эту самую эффективность, вносим в соответствующее поле вот этот самый списочек дополнительных адресов (по одному адресу в каждой строке)


жмем кнопку Сохранить изменения
Теперь после публикации нового материала на Вашем сайте, сообщение об этом будет автоматически отправлено поисковым системам. При ежедневной публикации по 1-2 статье, новости или материала другого характера, уже через 2-7 дней поисковая система Яндекс делает выводы о том, что в глобальной сети интернет появился часто обновляемый сайт (это чисто мое предположение, которое однако подтверждается практикой), на сайте начинает частенько заходить робот индексирующий новый материал, страницы в течении нескольких часов появляются в быстроиндексе (их уже можно даже наблюдать некоторое время в панели Яндекс вэбмастер и в результатах поиска) , в ближайший полноценный апдейт поисковой выдачи Яндекса, все страницы проиндексированные роботом попадают и в основную выдачу поисковой системы Яндекс.
Немного отступления: Если немного погуглить, то можно найти списки более 150-ти сервисов, на которые можно отправлять сообщения о новом материале на сайте, и которые помогают ускорить его индексацию. Однако для моих сайтов вполне хватает и этих.

Шаг второй - Использование сторонних сайтов

Роботов для индексации нового сайта можно заманить на свой сайт не только напрямую с поисковой системы, но и с сайтов, на которых они успешно пребывают уже длительное время. Для этого необходимо произвести несколько телодвижений.
Шаг второй показал свою эффективность не только для сайтов на платформе WordPress, но что бы сильно не уходить от темы показывать и рассказывать буду все таки на его примере.

1. Для начала настраиваем RSS ленты нашего сайта. Для этого в разделе Параметры находим вкладку Чтение
и выставляем количество сообщений публикуемых в RSS ленте ( я обычно ставлю в диапазоне 5-10 сообщений), а также в настройках указываем публикацию анонса новой статьи, а не все статьи в целом (что бы хоть как то усложнить жизнь некоторым недобросовестным вебмастерам, которые воруют контент).

2. Регистрируем и оформляем по человечески аккаунт в сервисе микроблогов Twitter - https://twitter.com/
На форумах всплывали сообщения, что для индексации материалов можно использовать и абсолютно нулевые аккаунты этого сервиса микроблогов, однако рисковать не хочется. Поэтому целесообразней потратить некоторое время на заполнение всех полей в своем профиле, тем более что их не так уж и много, загрузить аватарку и заменить стандартный бэкграунд, то бишь фон, на что нибудь оригинальное. Тем более, что в дальнейшем для привлечения читателей, или как их называют в twittere followers, человеческий вид Вашего аккаунта будет огромным плюсом. Также добавляем десяток другой сообщений (твитов) дабы он не выглядел совсем пустым.

В интернете огромное огромное количество сайтов и сервисов, на которых можно взять аватарки и фоны абсолютно бесплатно и дабы не рекламировать эти ресурсы, выбор останется за Вами.

3. Приступаем к привлечению читателей (followers) на наш красочно оформленный twitter-аккаунт. Для этого будем использовать программу Twidium. Программа платная, однако у нее есть бесплатный тестовый период 7 дней, которых нам хватит за глаза что бы привлечь сотню другую читателей, далеко не на один аккаунт. Если же Вам потребуется прокаченные аккаунты в промышленных масштабах, то стоит задуматься о покупке платной версии, тем более что стоимость программы вполне приемлема.
Скачиваем программу на http://www.twidium.com/download.htm. Устанавливаем ее на свой компьютер. Добавляем данные (логин и пароль) Вашего twitter аккаунта:
Настройки - Настройки аккаунтов - Добавить аккаунт

Далее создаем проект для массфоловинга:
Проект - Создать проект -Масфоловинг

Выбираем аккаунт, для которого будем производить поиск читателей, вводим хештеги для эффективного поиска аккаунтов, которые с большой степенью вероятности ответят нам взаимностью.
Вот собственно и сам список этих хештегов:



Выставляем в задании фоловить не более 200 читателей в день, для того бы наш молодой аккаунт не попал под бан со стороны администрации. И нажимаем кнопку Старт. Как показывает практика, более 60% аккаунтов которые мы зафолловили, ответят нам взаимностью. Тех же кого не привлек Ваш твиттер аккаунт с помощью все той же программы twidium можно удалить.

4. Когда наша RSS лента настроена и твиттер аккаунт оформлен и прокачан, самое время настроить автоматическую трансляцию записей из Rss ленты в twitter. Для этого можно воспользоваться сервисом TwitterFeed - http://twitterfeed.com/ либо плагином для WordPress под названием RF Twitter Post - http://wordpress.org/extend/plugins/rf-twitterpost/

Возникает вполне резонный вопрос - а сколько нужно твиттер-аккаунтов для ускорения индексации нового сайта?
Здесь можно спорить и размышлять до посинения, поэтому расскажу лишь о схеме которая успешно работает у меня:
Я создаю тематический twiiter-аккаунт, в который транслирую материалы с нескольких сайтов той же тематики. Используя все тот же Twidium прокачиваю данный аккаунт дополнительно в поиске реальных читателей, что кроме ускорения индексации привлекает дополнительных посетителей на группу сайтов. Данный метод также позволяет постоянно держать на своем twitter-акаунте быстророботов, когда уделяешь внимание больше тому или иному сайты в данный момент времени, а другие сайты в этот момент не обновляются.

Если же заморачиваться с глубокой прокачкой twittera не хочется, вполне достаточно будет настроить трансляцию с одного сайта в подготовленный для этого один twitter аккаунт.

Кроме твиттера можно использовать кросспостинг анонсов в социальные сети, блоговые сервисы, публикацию Ваших новостей на крупных новостных порталах, но это уже тема отдельного разговора, да и не все эти кросспостинги и публикации можно автоматизировать.

Вот и все. Сделав всего два несложных шага, Вы получите ускорение индексации Вашего нового сайта поисковой системой Яндекс в автоматическом режиме,т.е это не потребует от Вас в дальнейшем абсолютно никаких действий, ну за исключением публикации новых материалов, конечно! Кстати и для старого сайта эти манипуляции будут не лишними.

Плюсы: минимум телодвижений с нашей стороны – один раз введя прилагаемый список адресов сервисов оповещения, Вы получаете инструмент по ускорению индексации Вашего сайта на весь срок его жизни, что экономит Ваше драгоценное время

Минусы: При использовании пинга, резко ужесточаются требования к качеству Вашего сайта. Иначе страницы как быстро влетают в индекс поисковых систем, так же быстро будут и вылетать из индекса, ускоряя наступление санкций со стороны поисковых систем.

Для того что бы пинг не повредил Вашему молодому сайту обратите внимание на следующие моменты:
1. Следует публиковать только качественный, уникальный контент написанный людьми и для людей. Но это относится ко всем СДЛ, поэтому более подробно останавливаться на этом пункте не буду.
2. Следует избавиться от дублей страниц, которыми так грешит платформа WordPress. Для этого можно воспользоваться возможностями файла robots.txt, запретив в нем роботам поисковых систем посещать те или иные страницы и разделы сайта:
Пример содержания файла robots.txt которые используются на всех моих сайтах построенных на движке WordPress




Или же используя плагин All in One SEO Pack включить использование тэга noindex и nofollow для архивов, рубрик, для архивов по тегам, комментарием и т.п.

3. Следует использовать только надежный и всегда доступный хостинг для Вашего сайта. Очень странно, что большинство авторов, пишущих про индексацию сайтов не уделяют должного внимание хостингу на котором размещается новый сайт. А между тем недоступность сайта в момент посещения его роботами поисковых систем, может раз и навсегда отвадить их от Вашего сайта.
Список хостингов на которых у мня не возникало проблем с WordPress даже минимальных тарифных планах:



На этом заканчиваю. Удачи Всем в продвижении Ваших проектов!