[X] Помощник

[matador2011 Topic Starter]

гугл индексирует страницы запрещенные в robot.txt

вот что записано в robot.txt:


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/


User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Host:********.ru

Sitemap: http://********.ru/sitemap.xml



естественно вместо звездочек сайт...
Так вот в яндексе 58 страниц в индексе а у гугла 1180, причем в гугле есть страницы с такими вот адресами:
http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1344531102
http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1343944030

как мне от такого добра избавится??

[Fallup]

Есть такое.
Гугл у нас очень важный, он сам решает следовать ему запретам в роботс или нет.

[4ester7]

Что, серьезно есть такое? За такое можно в суд подавать

[anchous]

для гугля следует использовать метатеги роботс, ибо их крайлер даже имеет свойство подсасывать страницы описанные в роботсе и не попавшие в индекс, так как краулер до них не мог дойти

[serg5777]

Да он даже rel="nofollow" обходит

[yurashklyaev]

Гугл монополист и сам решает, что индексировать а что нет. Проблема таже возникла. Попробуйте средствами php вставить мета в эти страницы или верните 404

[Fallup]

монополист и сам решает, что индексировать а что нет.

Не вижу связи между принципами индексирования и позицией на рынке. Юзайте мета-теги, robots лишь рекомендация для паука.

Да он даже rel="nofollow" обходит

А это, кстати, ссылочный атрибут и к индексу страницы отношения не имеет никакого.

[serg5777]

А это, кстати, ссылочный атрибут и к индексу страницы отношения не имеет никакого.

а да, сорь, попутал немного)

[matador2011 Topic Starter]

Ну дак как с этим бороться??? подскажите люди добрые

[OlegT]

Ну дак как с этим бороться??? подскажите люди добрые

Вам же подсказали - юзайте метатег robots
Вот кстати хорошая статья на эту тему