X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Гугл индексирует страницы запрещенные в Robots.txt
matador2011
matador2011
Topic Starter сообщение 30.8.2012, 19:10; Ответить: matador2011
Сообщение #1


Участник
***

Группа: User
Сообщений: 165
Регистрация: 15.12.2011
Поблагодарили: 18 раз
Репутация:   4  


гугл индексирует страницы запрещенные в robot.txt

вот что записано в robot.txt:


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/


User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Host:********.ru

Sitemap: http://********.ru/sitemap.xml



естественно вместо звездочек сайт...
Так вот в яндексе 58 страниц в индексе а у гугла 1180, причем в гугле есть страницы с такими вот адресами:
http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1344531102
http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1343944030

как мне от такого добра избавится??
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 30.8.2012, 19:20; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Есть такое.
Гугл у нас очень важный, он сам решает следовать ему запретам в роботс или нет.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4ester7
4ester7
сообщение 30.8.2012, 19:30; Ответить: 4ester7
Сообщение #3


SEO-ломастер
******


Группа: Active User
Сообщений: 1670
Регистрация: 21.5.2009
Из: Кременчуг
Поблагодарили: 488 раз
Репутация:   108  


Что, серьезно есть такое? За такое можно в суд подавать wink.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 30.8.2012, 19:36; Ответить: anchous
Сообщение #4


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8173
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4630 раз
Репутация:   426  


для гугля следует использовать метатеги роботс, ибо их крайлер даже имеет свойство подсасывать страницы описанные в роботсе и не попавшие в индекс, так как краулер до них не мог дойти


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 30.8.2012, 19:57; Ответить: serg5777
Сообщение #5


Стоп NATO
*******


Группа: Active User
Сообщений: 4350
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1341 раз
Репутация:   193  


Да он даже rel="nofollow" обходит smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
yurashklyaev
yurashklyaev
сообщение 30.8.2012, 20:51; Ответить: yurashklyaev
Сообщение #6


Участник
***

Группа: User
Сообщений: 157
Регистрация: 2.10.2011
Поблагодарили: 14 раз
Репутация:   4  


Гугл монополист и сам решает, что индексировать а что нет. Проблема таже возникла. Попробуйте средствами php вставить мета в эти страницы или верните 404
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 30.8.2012, 20:59; Ответить: Fallup
Сообщение #7


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


монополист и сам решает, что индексировать а что нет.

Не вижу связи между принципами индексирования и позицией на рынке. Юзайте мета-теги, robots лишь рекомендация для паука.

Да он даже rel="nofollow" обходит

А это, кстати, ссылочный атрибут и к индексу страницы отношения не имеет никакого.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 30.8.2012, 21:22; Ответить: serg5777
Сообщение #8


Стоп NATO
*******


Группа: Active User
Сообщений: 4350
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1341 раз
Репутация:   193  


(Fallup @ 30.8.2012, 20:59) *
А это, кстати, ссылочный атрибут и к индексу страницы отношения не имеет никакого.

а да, сорь, попутал немного)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
matador2011
matador2011
Topic Starter сообщение 30.8.2012, 21:45; Ответить: matador2011
Сообщение #9


Участник
***

Группа: User
Сообщений: 165
Регистрация: 15.12.2011
Поблагодарили: 18 раз
Репутация:   4  


Ну дак как с этим бороться??? подскажите люди добрые unsure.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OlegT
OlegT
сообщение 31.8.2012, 21:53; Ответить: OlegT
Сообщение #10


Частый гость
**

Группа: User
Сообщений: 77
Регистрация: 18.4.2012
Поблагодарили: 9 раз
Репутация:   -4  


(matador2011 @ 30.8.2012, 21:45) *
Ну дак как с этим бороться??? подскажите люди добрые unsure.gif

Вам же подсказали - юзайте метатег robots
Вот кстати хорошая статья на эту тему


--------------------
New ПП для Download трафика до 4 рублей за установку
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Инстаграм без гугл-аккаунта
смартфон, к слову, тоже
0 alxpn 363 18.5.2018, 19:53
автор: alxpn
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
26 SANR 9368 17.5.2018, 19:31
автор: avega
Открытая тема (нет новых ответов) Непонятный дубль страницы
5 kelevra 923 16.5.2018, 12:52
автор: adnr78
Открытая тема (нет новых ответов) Настройка и ведение ваших компаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
7 AvramLincoln 1201 12.5.2018, 8:31
автор: AvramLincoln
Открытая тема (нет новых ответов) Промо код Гугл Эдвордс 2000 рублей
Может кому то будет нужен
11 alllffa 3048 3.5.2018, 9:24
автор: novicius


 



RSS Текстовая версия Сейчас: 21.5.2018, 3:44
Дизайн