X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Запрет в роботсе страницы
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:37; Ответить: medved112
Сообщение #1


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


Такая проблема, есть сайт, на нем несколько страниц, но одна из них совершенно не нужна в индексе. В роботсе у меня написано:

User-agent: *
Disallow: /page.html
Host: мой_сайт

и такой же кусок для Яндекса. Но в гугле появилась в индексе та самая запрещенная page.html, почему? Я не правильно запретил ее разве?


--------------------
фыр фыр
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n1tr1k
n1tr1k
сообщение 10.2.2010, 22:40; Ответить: n1tr1k
Сообщение #2


Любитель BMW и бекона :)
*****

Группа: Active User
Сообщений: 767
Регистрация: 17.1.2009
Из: Saint-Petersburg
Поблагодарили: 266 раз
Репутация:   65  


medved112, всё правильно.

А robots.txt изначально стоял? Возможно, бот прошелся по сайту раньше, чем в роботсе появился запрет... И насколько я знаю, Host: необязательно писать.


--------------------
ICQ: 494-420
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:45; Ответить: medved112
Сообщение #3


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


n1tr1k, сразу, еще при заливке сайта создал именно из-за этой паги ненужной. Ну хост для того ,чтобы зеркал не появилось


--------------------
фыр фыр
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n1tr1k
n1tr1k
сообщение 10.2.2010, 22:49; Ответить: n1tr1k
Сообщение #4


Любитель BMW и бекона :)
*****

Группа: Active User
Сообщений: 767
Регистрация: 17.1.2009
Из: Saint-Petersburg
Поблагодарили: 266 раз
Репутация:   65  


medved112, странно как-то. Может это и банально, но посмотрите, может файл как-то не так назван... Или где-то символ русский в самом роботсе...

Я как-то закинул файлик роботса, тоже запретил индексацию раздела, а он всё равно проиндексировался... В общем, оказалось, что я назвал файл не robots.txt, а robot.txt smile.gif В спешке не заметил разницы smile.gif


--------------------
ICQ: 494-420
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:52; Ответить: medved112
Сообщение #5


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


Не, перепроверил - все точно названо, русских букв нету. Лан, если правильно все запретил - подожду пока, гугл переменчив smile.gif


--------------------
фыр фыр
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 10.2.2010, 22:54; Ответить: SEOMR
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 512
Регистрация: 9.10.2009
Из: Симферополь, Крым
Поблагодарили: 184 раза
Репутация:   29  


простите, что вмешиваюсь в вашу тему, но у меня такая же проблема:
Вот некоторые из строк в роботсе:
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /author/
Disallow: /category/
Disallow: /tag/


Однако, гугл все это индексирует.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:59; Ответить: medved112
Сообщение #7


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


SEOMR, у меня для вордпресса всегда стояло без / на конце, то есть:

Disallow: /wp-admin
Disallow: /archives
Disallow: /author
Disallow: /category
Disallow: /tag

Вроде нигде это в индексе не сидит

Сообщение отредактировал medved112 - 10.2.2010, 22:59


--------------------
фыр фыр


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 11.2.2010, 2:02; Ответить: SEOMR
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 512
Регистрация: 9.10.2009
Из: Симферополь, Крым
Поблагодарили: 184 раза
Репутация:   29  


Спасибо, попробую.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Приоритет верхней части страницы
1 b3rsus 463 Вчера, 21:45
автор: vvovvo
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыОшибка при создании шаблона страницы ВП
Нет картинок
5 semarg 669 9.12.2017, 15:36
автор: Nell
Открытая тема (нет новых ответов) Поиск страницы VK.COM по номеру мобильного телефона.
10 detalist 3168 4.12.2017, 12:28
автор: detalist
Открытая тема (нет новых ответов) Турбо страницы
12 OS_ZP_UA 1679 28.11.2017, 20:44
автор: suffix
Открытая тема (нет новых ответов) Продам 3 фан страницы и группу в фб адалт тематики.
Всего за 3.000 руб. за все.
1 Hydra 746 1.7.2017, 12:46
автор: Hydra


 



RSS Текстовая версия Сейчас: 11.12.2017, 15:43
Дизайн