X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по robots.txt
titris
titris
Topic Starter сообщение 17.6.2013, 11:55; Ответить: titris
Сообщение #1


Есть на сайте куча страниц с одинаковым окончанием в URL. Нужно их запретить к индексации-они все отдают 404 ошибку, сделал редирект 301 на правильные страницы. Но в ЯВМ они все равно вылазят. Можно ли запретить их к индексации через robots.txt таким путем
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado

Или какой-то другой синтаксис нужен? Спасибо


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 12:32; Ответить: MeTaTRoN
Сообщение #2


Они будут вылазить ещё несколько недель.
После чего пропадут, это нормальное явление.
Сам перенаправлял 80 тысяч ссылок, спустя пару месяцев всё стало нормально.


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:15; Ответить: titris
Сообщение #3


MeTaTRoN, Ну а запрет в роботсе правильный такой? User-agent: Yandex

Disallow: /*etonenado Где-то в хелпе Яндекса или еще где-не буду мутить мне попадалось, что перманентного редиректа мало и надо еще и в роботс запретить. Вот меня и волнует-а правильное ли я выражение употребил для запрета всех урлов, заканчивающихся определенным словом mellow.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 16:26; Ответить: Gentimchenko
Сообщение #4


titris, Запрет должен быть такой

User-agent: Yandex

Disallow: */(ваш общий для всех и ненужный url)

Сообщение отредактировал Gentimchenko - 17.6.2013, 16:28


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:54; Ответить: titris
Сообщение #5


Ув.модераторы, если данный синтаксис правильный-тему можно закрывать evrika.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 22:46; Ответить: MeTaTRoN
Сообщение #6


(Gentimchenko @ 17.6.2013, 15:26) *
Disallow: */(ваш общий для всех и ненужный url)

Я конечно не в курсе, а это случаем не заблокирует весь домен?


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 23:43; Ответить: Gentimchenko
Сообщение #7


Запретить индексацию всего сайта, возможно мог вот этот первоначальный вариант, titrisa

(titris @ 17.6.2013, 11:55) *
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado


в предлагаемым мной варианте
Спецсимвол * означает любую (в том числе пустую) последовательность символов, т.е. все, что находится в адресе до указанной части или после нее.


далее после звездочки указывается ненужное окончание urla, например */?s= или */hren.html
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный, если же он проходит каждый раз через какой-нибудь /users/hren.html
то проще исключить из индекса сразу всю "папку"

User-agent: Yandex

Disallow: /users/


Сорри, был не прав, так как указал автор, справедливо
в справке Яндекса есть пример
думаю допустимы оба варианта, но яндекс конечно знает лучше rolleyes.gif
ну и от конкретной ситуации конечно зависит

Google подтверждает
Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть ко всем URL, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:

User-agent: Googlebot
Disallow: /*?


Сообщение отредактировал Gentimchenko - 17.6.2013, 23:54


--------------------
_blog-wp.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
falken
falken
сообщение 18.6.2013, 0:13; Ответить: falken
Сообщение #8


(titris @ 17.6.2013, 16:54) *
Ув.модераторы, если данный синтаксис правильный-тему можно закрывать

Вот это задачка.


--------------------
🗹 Быстрый и надежный хостинг от 135 рублей


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 18.6.2013, 16:40; Ответить: titris
Сообщение #9


falken, Да уж-может как у меня было правильнее? Disallow: /*etonenado

(Gentimchenko @ 17.6.2013, 22:43) *
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный

Путь каждый раз разный,т.е-это совершенно разные посты-в справке Яндекса вычитал скажем это:Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin', а вот что с оканчивающимися на etonenado.html не вычитал sad.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 18.6.2013, 19:02; Ответить: Gentimchenko
Сообщение #10


я подумал ваш случай вот этот
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

и это обозначает что ваш первый вариант был верен, я так думаю rolleyes.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Давайте блокировать ботов в robots.txt
48 Cott 4349 12.5.2021, 20:38
автор: Starpony
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос по аудиту сайта: Ресурсы с кодом состояния 4xx, Битые ссылки
4 dron2 152 12.5.2021, 19:09
автор: Trumper
Открытая тема (нет новых ответов) Вопрос по кнопке с телефоном
Rfr изменить код и сделать ссылку tel:
2 KM_ 1145 3.5.2021, 14:13
автор: Deort
Открытая тема (нет новых ответов) Вопрос о статьях из Вебархива.
23 kuz999 1633 6.4.2021, 20:22
автор: NormanSky
Открытая тема (нет новых ответов) Вопрос по индексу скорости работы сайта в Вебмастере
9 Kiloan_Frost 701 24.3.2021, 14:58
автор: serg5777


 



RSS Текстовая версия Сейчас: 14.5.2021, 3:06
Дизайн