X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по robots.txt
titris
titris
Topic Starter сообщение 17.6.2013, 11:55; Ответить: titris
Сообщение #1


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Есть на сайте куча страниц с одинаковым окончанием в URL. Нужно их запретить к индексации-они все отдают 404 ошибку, сделал редирект 301 на правильные страницы. Но в ЯВМ они все равно вылазят. Можно ли запретить их к индексации через robots.txt таким путем
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado

Или какой-то другой синтаксис нужен? Спасибо


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 12:32; Ответить: MeTaTRoN
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 511
Регистрация: 1.9.2008
Из: Таллинн Эстония
Поблагодарили: 63 раза
Репутация:   18  


Они будут вылазить ещё несколько недель.
После чего пропадут, это нормальное явление.
Сам перенаправлял 80 тысяч ссылок, спустя пару месяцев всё стало нормально.


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:15; Ответить: titris
Сообщение #3


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


MeTaTRoN, Ну а запрет в роботсе правильный такой? User-agent: Yandex

Disallow: /*etonenado Где-то в хелпе Яндекса или еще где-не буду мутить мне попадалось, что перманентного редиректа мало и надо еще и в роботс запретить. Вот меня и волнует-а правильное ли я выражение употребил для запрета всех урлов, заканчивающихся определенным словом mellow.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 16:26; Ответить: Gentimchenko
Сообщение #4


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 17.6.2013
Поблагодарили: 4 раза
Репутация:   0  


titris, Запрет должен быть такой

User-agent: Yandex

Disallow: */(ваш общий для всех и ненужный url)

Сообщение отредактировал Gentimchenko - 17.6.2013, 16:28


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 17.6.2013, 16:54; Ответить: titris
Сообщение #5


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Ув.модераторы, если данный синтаксис правильный-тему можно закрывать evrika.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTaTRoN
MeTaTRoN
сообщение 17.6.2013, 22:46; Ответить: MeTaTRoN
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 511
Регистрация: 1.9.2008
Из: Таллинн Эстония
Поблагодарили: 63 раза
Репутация:   18  


(Gentimchenko @ 17.6.2013, 15:26) *
Disallow: */(ваш общий для всех и ненужный url)

Я конечно не в курсе, а это случаем не заблокирует весь домен?


--------------------
Программист: PHP, JavaScript, HTML5, HTML5 canvas, CSS, AJAX, jquery, SQL.
Реклама на аниме сайте
Услуги программиста, тема на форуме
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 17.6.2013, 23:43; Ответить: Gentimchenko
Сообщение #7


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 17.6.2013
Поблагодарили: 4 раза
Репутация:   0  


Запретить индексацию всего сайта, возможно мог вот этот первоначальный вариант, titrisa

(titris @ 17.6.2013, 11:55) *
Имеется в виду, чтобы все страницы с этим окончанием URL запретить к индексации.

User-agent: Yandex

Disallow: /*etonenado


в предлагаемым мной варианте
Спецсимвол * означает любую (в том числе пустую) последовательность символов, т.е. все, что находится в адресе до указанной части или после нее.


далее после звездочки указывается ненужное окончание urla, например */?s= или */hren.html
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный, если же он проходит каждый раз через какой-нибудь /users/hren.html
то проще исключить из индекса сразу всю "папку"

User-agent: Yandex

Disallow: /users/


Сорри, был не прав, так как указал автор, справедливо
в справке Яндекса есть пример
думаю допустимы оба варианта, но яндекс конечно знает лучше rolleyes.gif
ну и от конкретной ситуации конечно зависит

Google подтверждает
Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть ко всем URL, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:

User-agent: Googlebot
Disallow: /*?


Сообщение отредактировал Gentimchenko - 17.6.2013, 23:54


--------------------
_blog-wp.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
falken
falken
сообщение 18.6.2013, 0:13; Ответить: falken
Сообщение #8


online
*******

Группа: Super Moderator
Сообщений: 3818
Регистрация: 23.3.2011
Поблагодарили: 4172 раза
Репутация:   371  


(titris @ 17.6.2013, 16:54) *
Ув.модераторы, если данный синтаксис правильный-тему можно закрывать

Вот это задачка.


--------------------
здесь может быть ваша ссылка


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 18.6.2013, 16:40; Ответить: titris
Сообщение #9


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


falken, Да уж-может как у меня было правильнее? Disallow: /*etonenado

(Gentimchenko @ 17.6.2013, 22:43) *
это справедливо если путь в адресной строке к странице с ненужным окончанием, формируется каждый раз разный

Путь каждый раз разный,т.е-это совершенно разные посты-в справке Яндекса вычитал скажем это:Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin', а вот что с оканчивающимися на etonenado.html не вычитал sad.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gentimchenko
Gentimchenko
сообщение 18.6.2013, 19:02; Ответить: Gentimchenko
Сообщение #10


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 17.6.2013
Поблагодарили: 4 раза
Репутация:   0  


я подумал ваш случай вот этот
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

и это обозначает что ваш первый вариант был верен, я так думаю rolleyes.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
_blog-wp.ru


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по поводу цен на сайте
16 WildWeb8 958 13.5.2018, 17:40
автор: genjnat
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49848 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Вопрос к тем, кто зарабатывает на недвижимости?
Как заработать на недвижке.?
15 Dross 2764 26.4.2018, 18:26
автор: megachange
Открытая тема (нет новых ответов) Вопрос по сетке сайтов
Стоит ли так делать?
10 asskra 1441 12.4.2018, 22:33
автор: Ancitrus
Открытая тема (нет новых ответов) Вопрос по расингу контента
5 gold15 673 2.4.2018, 19:18
автор: mmkulikov


 



RSS Текстовая версия Сейчас: 27.5.2018, 16:41
Дизайн