X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Запрет в роботсе страницы
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:37; Ответить: medved112
Сообщение #1


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


Такая проблема, есть сайт, на нем несколько страниц, но одна из них совершенно не нужна в индексе. В роботсе у меня написано:

User-agent: *
Disallow: /page.html
Host: мой_сайт

и такой же кусок для Яндекса. Но в гугле появилась в индексе та самая запрещенная page.html, почему? Я не правильно запретил ее разве?


--------------------
фыр фыр
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n1tr1k
n1tr1k
сообщение 10.2.2010, 22:40; Ответить: n1tr1k
Сообщение #2


Любитель BMW и бекона :)
*****

Группа: Active User
Сообщений: 767
Регистрация: 17.1.2009
Из: Saint-Petersburg
Поблагодарили: 266 раз
Репутация:   65  


medved112, всё правильно.

А robots.txt изначально стоял? Возможно, бот прошелся по сайту раньше, чем в роботсе появился запрет... И насколько я знаю, Host: необязательно писать.


--------------------
ICQ: 494-420
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:45; Ответить: medved112
Сообщение #3


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


n1tr1k, сразу, еще при заливке сайта создал именно из-за этой паги ненужной. Ну хост для того ,чтобы зеркал не появилось


--------------------
фыр фыр
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n1tr1k
n1tr1k
сообщение 10.2.2010, 22:49; Ответить: n1tr1k
Сообщение #4


Любитель BMW и бекона :)
*****

Группа: Active User
Сообщений: 767
Регистрация: 17.1.2009
Из: Saint-Petersburg
Поблагодарили: 266 раз
Репутация:   65  


medved112, странно как-то. Может это и банально, но посмотрите, может файл как-то не так назван... Или где-то символ русский в самом роботсе...

Я как-то закинул файлик роботса, тоже запретил индексацию раздела, а он всё равно проиндексировался... В общем, оказалось, что я назвал файл не robots.txt, а robot.txt smile.gif В спешке не заметил разницы smile.gif


--------------------
ICQ: 494-420
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:52; Ответить: medved112
Сообщение #5


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


Не, перепроверил - все точно названо, русских букв нету. Лан, если правильно все запретил - подожду пока, гугл переменчив smile.gif


--------------------
фыр фыр
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 10.2.2010, 22:54; Ответить: SEOMR
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 519
Регистрация: 9.10.2009
Из: Симферополь, Крым
Поблагодарили: 186 раз
Репутация:   29  


простите, что вмешиваюсь в вашу тему, но у меня такая же проблема:
Вот некоторые из строк в роботсе:
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /author/
Disallow: /category/
Disallow: /tag/


Однако, гугл все это индексирует.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
medved112
medved112
Topic Starter сообщение 10.2.2010, 22:59; Ответить: medved112
Сообщение #7


В меру упитанная панда в полном расцвете сил
*******

Группа: Active User
Сообщений: 3182
Регистрация: 17.10.2008
Поблагодарили: 1374 раза
Репутация:   139  


SEOMR, у меня для вордпресса всегда стояло без / на конце, то есть:

Disallow: /wp-admin
Disallow: /archives
Disallow: /author
Disallow: /category
Disallow: /tag

Вроде нигде это в индексе не сидит

Сообщение отредактировал medved112 - 10.2.2010, 22:59


--------------------
фыр фыр


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 11.2.2010, 2:02; Ответить: SEOMR
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 519
Регистрация: 9.10.2009
Из: Симферополь, Крым
Поблагодарили: 186 раз
Репутация:   29  


Спасибо, попробую.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Непонятный дубль страницы
5 kelevra 932 16.5.2018, 12:52
автор: adnr78
Открытая тема (нет новых ответов) Левые страницы в метрике
4 zlatgeorg 1125 3.5.2018, 8:59
автор: Akeeloq
Открытая тема (нет новых ответов) Продвижение страницы услуги и каннибализация
Ищу совета бывалых SEOшников
7 Pakavan 1254 1.4.2018, 17:03
автор: GlazAlmaz
Открытая тема (нет новых ответов) Продвижение каждой страницы через соц сети
7 Saitcena 1611 1.4.2018, 15:09
автор: WellWeb
Открытая тема (нет новых ответов) Перенос страницы из категории (сокращение URL)
6 cactusez 869 20.3.2018, 22:00
автор: tygrytsa


 



RSS Текстовая версия Сейчас: 23.5.2018, 1:55
Дизайн