X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по robots.txt
titris
titris
Topic Starter сообщение 17.6.2013, 11:55; Ответить: titris
Сообщение #1


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Есть на сайте куча страниц с одинаковым окончанием в URL. Нужно их запретить к индексации-они все отдают 404 ошибку, сделал редирект 301 на правильные страницы. Но в ЯВМ они все равно вылазят. Можно ли запретить их к индексации через robots.txt таким путем
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado

Или какой-то другой синтаксис нужен? Спасибо


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 12:32; Ответить: MeTaTRoN
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 511
Регистрация: 1.9.2008
Из: Таллинн Эстония
Поблагодарили: 63 раза
Репутация:   18  


Они будут вылазить ещё несколько недель.
После чего пропадут, это нормальное явление.
Сам перенаправлял 80 тысяч ссылок, спустя пару месяцев всё стало нормально.


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:15; Ответить: titris
Сообщение #3


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


MeTaTRoN, Ну а запрет в роботсе правильный такой? User-agent: Yandex

Disallow: /*etonenado Где-то в хелпе Яндекса или еще где-не буду мутить мне попадалось, что перманентного редиректа мало и надо еще и в роботс запретить. Вот меня и волнует-а правильное ли я выражение употребил для запрета всех урлов, заканчивающихся определенным словом mellow.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 16:26; Ответить: Gentimchenko
Сообщение #4


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 17.6.2013
Поблагодарили: 4 раза
Репутация:   0  


titris, Запрет должен быть такой

User-agent: Yandex

Disallow: */(ваш общий для всех и ненужный url)

Сообщение отредактировал Gentimchenko - 17.6.2013, 16:28


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:54; Ответить: titris
Сообщение #5


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Ув.модераторы, если данный синтаксис правильный-тему можно закрывать evrika.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 22:46; Ответить: MeTaTRoN
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 511
Регистрация: 1.9.2008
Из: Таллинн Эстония
Поблагодарили: 63 раза
Репутация:   18  


(Gentimchenko @ 17.6.2013, 15:26) *
Disallow: */(ваш общий для всех и ненужный url)

Я конечно не в курсе, а это случаем не заблокирует весь домен?


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 23:43; Ответить: Gentimchenko
Сообщение #7


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 17.6.2013
Поблагодарили: 4 раза
Репутация:   0  


Запретить индексацию всего сайта, возможно мог вот этот первоначальный вариант, titrisa

(titris @ 17.6.2013, 11:55) *
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado


в предлагаемым мной варианте
Спецсимвол * означает любую (в том числе пустую) последовательность символов, т.е. все, что находится в адресе до указанной части или после нее.


далее после звездочки указывается ненужное окончание urla, например */?s= или */hren.html
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный, если же он проходит каждый раз через какой-нибудь /users/hren.html
то проще исключить из индекса сразу всю "папку"

User-agent: Yandex

Disallow: /users/


Сорри, был не прав, так как указал автор, справедливо
в справке Яндекса есть пример
думаю допустимы оба варианта, но яндекс конечно знает лучше rolleyes.gif
ну и от конкретной ситуации конечно зависит

Google подтверждает
Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть ко всем URL, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:

User-agent: Googlebot
Disallow: /*?


Сообщение отредактировал Gentimchenko - 17.6.2013, 23:54


--------------------
_blog-wp.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
falken
falken
сообщение 18.6.2013, 0:13; Ответить: falken
Сообщение #8


online
*******

Группа: Ex-Moderator
Сообщений: 3742
Регистрация: 23.3.2011
Поблагодарили: 3986 раз
Репутация:   361  


(titris @ 17.6.2013, 16:54) *
Ув.модераторы, если данный синтаксис правильный-тему можно закрывать

Вот это задачка.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 18.6.2013, 16:40; Ответить: titris
Сообщение #9


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


falken, Да уж-может как у меня было правильнее? Disallow: /*etonenado

(Gentimchenko @ 17.6.2013, 22:43) *
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный

Путь каждый раз разный,т.е-это совершенно разные посты-в справке Яндекса вычитал скажем это:Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin', а вот что с оканчивающимися на etonenado.html не вычитал sad.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 18.6.2013, 19:02; Ответить: Gentimchenko
Сообщение #10


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 17.6.2013
Поблагодарили: 4 раза
Репутация:   0  


я подумал ваш случай вот этот
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

и это обозначает что ваш первый вариант был верен, я так думаю rolleyes.gif


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
15 viktormerke 2549 Вчера, 11:53
автор: Caterpillar
Открытая тема (нет новых ответов) Вопрос к знатокам Instagram
20 SEOMR 4172 30.11.2017, 14:25
автор: DiscordPro
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1144 28.11.2017, 14:25
автор: PostBrigada
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47481 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАrticle manager вопрос
0 Smile3D 440 24.11.2017, 18:27
автор: Smile3D


 



RSS Текстовая версия Сейчас: 15.12.2017, 1:17
Дизайн