Если сайт действительно будет постоянно наполняться, то быстробот итак у вас поселится)
После того как это произойдет пропишите в роботсе директиву crawl-delay и задайте частоту скачивания страницы. Эта директива для того чтобы снизить нагрузку на сервер.

Короче забейте на всё это, ПС сами знают когда им сканировать нужно)

Сообщение отредактировал serg5777 - 23.1.2013, 20:54

Таким образом, ее можно только ограничить - быстрее боты к вам заходить не станут.
Частота посещения сайта ботами - зависит только от частоты обновлений, ПС сами ее определяют.
Ну или, прогните свои странички по социалкам (лучше по твиттеру), и будет вам счастье.

Сообщение отредактировал genjnat - 23.1.2013, 20:59

Есть такая вещь как пинг, для Яндекса его можно послать вручную. Для гугла его можно послать по соответствующему протоколу (XML-RPC). Это позволит сообщить данным ПС об обнослении/добавлении страниц. Некоторые CMS умеют посылать "пинги" из коробки, некоторые при помощи соответствующих модулей. Это не гарантирует что они тут же примутся индексировать их, но иногда может помочь.
Про crawl-delay уже ответили выше, причем она, если правильно помню, работает только для Яндекса.

Сообщение отредактировал Маркъ - 23.1.2013, 21:37

Та вот "заморозили" моя аккаунт пока... раньше так и делал, проблем не знал =)

koroluk1990, в теме "регистрация" появился новый прогонщик по твиттеру.

koroluk1990, дик люди продают пачками

Где? Кто? Дайте ссылку, надо взять один твитерок для индексации =)

Одного может и не хватить =)
Вообще, просто развивайте сайт, так как только его постоянное и качественное развитие сегодня является залогом успешной индексации. Проверено на опыте.
И еще - если сайт молодой, то до полугода лучше его особо ничем не гонять, т.к. это манипуляция выдачей, и последнее время она жестко пресекается на молодых ресурсах.

Что бы не загонять каждую страницу Вашего сайта в индекс, или через адурилку, рекомендую подключить RSS ленту Вашего сайта, к данному сервису. После этого, все публикуемые новости на сайте, будут транслироваться автоматически в твиттер и другие блоги, микро блоги.