X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по robots.txt
titris
titris
Topic Starter сообщение 17.6.2013, 11:55; Ответить: titris
Сообщение #1


Есть на сайте куча страниц с одинаковым окончанием в URL. Нужно их запретить к индексации-они все отдают 404 ошибку, сделал редирект 301 на правильные страницы. Но в ЯВМ они все равно вылазят. Можно ли запретить их к индексации через robots.txt таким путем
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado

Или какой-то другой синтаксис нужен? Спасибо


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 12:32; Ответить: MeTaTRoN
Сообщение #2


Они будут вылазить ещё несколько недель.
После чего пропадут, это нормальное явление.
Сам перенаправлял 80 тысяч ссылок, спустя пару месяцев всё стало нормально.


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:15; Ответить: titris
Сообщение #3


MeTaTRoN, Ну а запрет в роботсе правильный такой? User-agent: Yandex

Disallow: /*etonenado Где-то в хелпе Яндекса или еще где-не буду мутить мне попадалось, что перманентного редиректа мало и надо еще и в роботс запретить. Вот меня и волнует-а правильное ли я выражение употребил для запрета всех урлов, заканчивающихся определенным словом mellow.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 16:26; Ответить: Gentimchenko
Сообщение #4


titris, Запрет должен быть такой

User-agent: Yandex

Disallow: */(ваш общий для всех и ненужный url)

Сообщение отредактировал Gentimchenko - 17.6.2013, 16:28


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:54; Ответить: titris
Сообщение #5


Ув.модераторы, если данный синтаксис правильный-тему можно закрывать evrika.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 22:46; Ответить: MeTaTRoN
Сообщение #6


(Gentimchenko @ 17.6.2013, 15:26) *
Disallow: */(ваш общий для всех и ненужный url)

Я конечно не в курсе, а это случаем не заблокирует весь домен?


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 23:43; Ответить: Gentimchenko
Сообщение #7


Запретить индексацию всего сайта, возможно мог вот этот первоначальный вариант, titrisa

(titris @ 17.6.2013, 11:55) *
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado


в предлагаемым мной варианте
Спецсимвол * означает любую (в том числе пустую) последовательность символов, т.е. все, что находится в адресе до указанной части или после нее.


далее после звездочки указывается ненужное окончание urla, например */?s= или */hren.html
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный, если же он проходит каждый раз через какой-нибудь /users/hren.html
то проще исключить из индекса сразу всю "папку"

User-agent: Yandex

Disallow: /users/


Сорри, был не прав, так как указал автор, справедливо
в справке Яндекса есть пример
думаю допустимы оба варианта, но яндекс конечно знает лучше rolleyes.gif
ну и от конкретной ситуации конечно зависит

Google подтверждает
Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть ко всем URL, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:

User-agent: Googlebot
Disallow: /*?


Сообщение отредактировал Gentimchenko - 17.6.2013, 23:54


--------------------
_blog-wp.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
falken
falken
сообщение 18.6.2013, 0:13; Ответить: falken
Сообщение #8


(titris @ 17.6.2013, 16:54) *
Ув.модераторы, если данный синтаксис правильный-тему можно закрывать

Вот это задачка.


--------------------
🗹 Быстрый и надежный хостинг от 135 рублей


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 18.6.2013, 16:40; Ответить: titris
Сообщение #9


falken, Да уж-может как у меня было правильнее? Disallow: /*etonenado

(Gentimchenko @ 17.6.2013, 22:43) *
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный

Путь каждый раз разный,т.е-это совершенно разные посты-в справке Яндекса вычитал скажем это:Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin', а вот что с оканчивающимися на etonenado.html не вычитал sad.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 18.6.2013, 19:02; Ответить: Gentimchenko
Сообщение #10


я подумал ваш случай вот этот
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

и это обозначает что ваш первый вариант был верен, я так думаю rolleyes.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос - платное размещение баннеров на сайте
10 WGN 3126 14.12.2020, 14:20
автор: Peterson
Открытая тема (нет новых ответов) Вопрос по рекламе в "инстаграме"
Только активные аккаунты могут создавать или редактировать рекламу
8 Zubkov 16021 17.1.2020, 17:49
автор: Forumacc
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос-ответ о работе форума
307 dos1k 43057 9.11.2019, 17:59
автор: heks
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78619 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7587 28.3.2019, 18:31
автор: regem


 



RSS Текстовая версия Сейчас: 29.3.2024, 5:15
Дизайн