Этот сайт был проверен, и признан опасным.

Если Я не сайте не буду закрывать определенные страницы, то 90% их будет не уникальным. А еще, если есть ссылки с датами - следующая неделя, предыдущая. Такое зацикливание может образоваться. Причем нофоллоу не помогает.

Есть рекомендации от яндекса и google по составлению robots.txt и там же написано для чего и какие страницы надо закрывать от индексации.

1. Прежде всего это страницы, которые повторяют контент.
2. В принципе любые страницы, которые могут понизить ваш сайт в рейтинге, и которые можно открыть только для пользователей (для этого опять же прочитайте рекомендации поисковых систем).

Подскажите, я создала запись новой страницы в меню "Главная", "О блоге", "Запись", а почему робот ее не видит ?

Сейчас проверила в Гугле и робот ее не видит из-за запрета robots.txt

Что в robots.txt убрать, чтобы проверялись страницы в меню ?

Скопируйте сюда что у вас там в роботс, подскажем
Возможно запрещены сами страницы, а возможно категории, к которым эти страницы относятся.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap:

А может мне вообще его убрать ?

Пока я не наполнила достаточно сайт ?

И что это за красный файл в корневом каталоге

sitemap.xml.gz

может меня уже забанили ?

Сообщение отредактировал Teresa - 23.12.2011, 9:33

На первый взгляд все правильно, но не зная сайта и его структуры, точно сказать не могу. Ребят, кто тут еще грамотный, может вы косяк найдете?

Универсального роботса не бывает, его настраивают под каждый конкретный сайт. Зайдите сюда www.webmaster.yandex.ru/robots.xml и проверьте указанные выше страницы, Яша скажет закрыта ли она и какой строкой в роботс.

Ну и пропишите в роботс какой домен у вас основной (который вы продвигаете)

или

Если у вас установлен плагин для sitemap.xml, пропишите

А то чего месту пустовать. Кроме того, надо разрешить индексацию папки где у вас хранятся картинки.

У вас два пути: Прочитать пару статей про роботс (материала валом), или удалить его, поскольку нее зная матчасти он когда-то вылезет боком.
sitemap.xml.gz - это сжатая карта сайта в формате .xml, видать у вас установлен плагин генерирующий ее.

Сообщение отредактировал Eterns - 23.12.2011, 10:38

В Яше меня еще нет. Я сейчас в инструментах ВМ Гугля ставила сайт на проверку роботом.

Пишет, что "Запрещено в файле robots.txt", хотя я его удалила час назад.

Плагин у меня стоит Sitemap.

"Host: www.yousite.ru или Host: yousite.ru, в зависимости какой домен у вас основной (который вы продвигаете)."

А какой домен лучше продвигать ?

Ну раз сайт новый, ситуация не критична. Покурите мануалы по robots, подождите что скажут админ-панели поисковиков.

Какой вам больше нравится. Лично я предпочитаю без www. Хотя если домен короткий с www. иногда выглядит красивей.
Кстати, ваш выбор нужно потом будет указать в панелях вебмастера (ищите вкладку типо "основной домен"). Да и в .htaccess можно редирект сделать (но не зная броду лучше не лезть)

Сообщение отредактировал Eterns - 23.12.2011, 10:52

Eterns как вы все понятно объясняете.

Да, я видела там галочку с выбором доменов, сейчас поставлю без www.
А может, просто потому не видит, что я статью вчера выложила ?
И он еще не нашел ее ?
В общем я удалила роботс и статью. Или статью оставить ?

Хотя.. Ставлю весь сайт на поиск и тоже пишет, что "запрещено"
А может это быть потому, что у меня там на хосте два новых сайта и в другом запрещено все роботсом ?

Сообщение отредактировал Teresa - 23.12.2011, 11:33