X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Гугл индексирует страницы запрещенные в Robots.txt
matador2011
matador2011
Topic Starter сообщение 30.8.2012, 19:10; Ответить: matador2011
Сообщение #1


Участник
***

Группа: User
Сообщений: 165
Регистрация: 15.12.2011
Поблагодарили: 18 раз
Репутация:   4  


гугл индексирует страницы запрещенные в robot.txt

вот что записано в robot.txt:


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/


User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Host:********.ru

Sitemap: http://********.ru/sitemap.xml



естественно вместо звездочек сайт...
Так вот в яндексе 58 страниц в индексе а у гугла 1180, причем в гугле есть страницы с такими вот адресами:
http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1344531102
http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1343944030

как мне от такого добра избавится??
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 30.8.2012, 19:20; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Есть такое.
Гугл у нас очень важный, он сам решает следовать ему запретам в роботс или нет.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4ester7
4ester7
сообщение 30.8.2012, 19:30; Ответить: 4ester7
Сообщение #3


SEO-ломастер
******


Группа: Active User
Сообщений: 1636
Регистрация: 21.5.2009
Из: Кременчуг
Поблагодарили: 472 раза
Репутация:   105  


Что, серьезно есть такое? За такое можно в суд подавать wink.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 30.8.2012, 19:36; Ответить: anchous
Сообщение #4


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8008
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4523 раза
Репутация:   418  


для гугля следует использовать метатеги роботс, ибо их крайлер даже имеет свойство подсасывать страницы описанные в роботсе и не попавшие в индекс, так как краулер до них не мог дойти


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 30.8.2012, 19:57; Ответить: serg5777
Сообщение #5


Стоп NATO
*******


Группа: Active User
Сообщений: 4321
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1333 раза
Репутация:   193  


Да он даже rel="nofollow" обходит smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
yurashklyaev
yurashklyaev
сообщение 30.8.2012, 20:51; Ответить: yurashklyaev
Сообщение #6


Участник
***

Группа: User
Сообщений: 157
Регистрация: 2.10.2011
Поблагодарили: 14 раз
Репутация:   4  


Гугл монополист и сам решает, что индексировать а что нет. Проблема таже возникла. Попробуйте средствами php вставить мета в эти страницы или верните 404
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 30.8.2012, 20:59; Ответить: Fallup
Сообщение #7


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


монополист и сам решает, что индексировать а что нет.

Не вижу связи между принципами индексирования и позицией на рынке. Юзайте мета-теги, robots лишь рекомендация для паука.

Да он даже rel="nofollow" обходит

А это, кстати, ссылочный атрибут и к индексу страницы отношения не имеет никакого.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 30.8.2012, 21:22; Ответить: serg5777
Сообщение #8


Стоп NATO
*******


Группа: Active User
Сообщений: 4321
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1333 раза
Репутация:   193  


(Fallup @ 30.8.2012, 20:59) *
А это, кстати, ссылочный атрибут и к индексу страницы отношения не имеет никакого.

а да, сорь, попутал немного)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
matador2011
matador2011
Topic Starter сообщение 30.8.2012, 21:45; Ответить: matador2011
Сообщение #9


Участник
***

Группа: User
Сообщений: 165
Регистрация: 15.12.2011
Поблагодарили: 18 раз
Репутация:   4  


Ну дак как с этим бороться??? подскажите люди добрые unsure.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OlegT
OlegT
сообщение 31.8.2012, 21:53; Ответить: OlegT
Сообщение #10


Частый гость
**

Группа: User
Сообщений: 77
Регистрация: 18.4.2012
Поблагодарили: 9 раз
Репутация:   -4  


(matador2011 @ 30.8.2012, 21:45) *
Ну дак как с этим бороться??? подскажите люди добрые unsure.gif

Вам же подсказали - юзайте метатег robots
Вот кстати хорошая статья на эту тему


--------------------
New ПП для Download трафика до 4 рублей за установку
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Оптимизирую Скорость Загрузки Вашего Сайта и Увеличу количество баллов в Гугл Пейдж Спид
0 procsi 102 Сегодня, 17:40
автор: procsi
Открытая тема (нет новых ответов) Редирект только главной страницы
301 редирект
2 Gera 539 15.12.2017, 13:50
автор: Gera
Открытая тема (нет новых ответов) Турбо страницы
13 OS_ZP_UA 1931 15.12.2017, 11:07
автор: Ley
Открытая тема (нет новых ответов) Приоритет верхней части страницы
6 b3rsus 798 14.12.2017, 13:29
автор: Caterpillar
Горячая тема (нет новых ответов) Гугл жёстко игнорит новый домен
Гугл не индексирует домен
54 nahalturu 7075 14.12.2017, 0:22
автор: Ley


 



RSS Текстовая версия Сейчас: 18.12.2017, 19:03
Дизайн