X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt и Mod_rewrite, Как отреагирует бот?
b0rman
b0rman
Topic Starter сообщение 9.6.2010, 3:44; Ответить: b0rman
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 312
Регистрация: 9.4.2009
Из: Kиев
Поблагодарили: 23 раза
Репутация:   5  


Всем привет!

Такой вопрос: если через mod_rewrite robots.txt будет генерится через PHP в зависимости от хоста (т.е. один двиг для нескольких сайтов и в зависимотсти от того, на какой сайт приходит робот ему отдается "свой" robots.txt) - как роботы к этом относятся?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4apogeu
4apogeu
сообщение 9.6.2010, 9:46; Ответить: 4apogeu
Сообщение #2


Новичок
*

Группа: User
Сообщений: 34
Регистрация: 25.5.2008
Поблагодарили: 4 раза
Репутация:   1  


(b0rman @ 9.6.2010, 2:44) *
Всем привет!

Такой вопрос: если через mod_rewrite robots.txt будет генерится через PHP в зависимости от хоста (т.е. один двиг для нескольких сайтов и в зависимотсти от того, на какой сайт приходит робот ему отдается "свой" robots.txt) - как роботы к этом относятся?

А как, по вашему, они (роботы) вообще узнают, что вы используете mod_rewrite? Относиться они будут как к обычному robots.txt. Главное, чтобы отдавался правильный robots.txt а не от другого домена )


--------------------
.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sZend
sZend
сообщение 9.6.2010, 10:05; Ответить: sZend
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 30.4.2008
Из: Тарсонис
Поблагодарили: 147 раз
Репутация:   22  


яшина стучалка под видом мозила через месаца три прочухает клоаку и - бан.
вам нужно иметь постоянно обновляемые списки ip роботов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zomb1e
Zomb1e
сообщение 9.6.2010, 13:23; Ответить: Zomb1e
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 60
Регистрация: 18.5.2009
Поблагодарили: 6 раз
Репутация:   0  


(sZend @ 9.6.2010, 10:05) *
яшина стучалка под видом мозила через месаца три прочухает клоаку и - бан.
вам нужно иметь постоянно обновляемые списки ip роботов.

Какая в клоаку клоака? Какие айпи ботов? sZend, вы хоть внимательней читайте, о чем человек пишет! У него через мод_рерайт будет идти редирект с site.ru/robots.txt на anothersite.ru/robots.php?host=site.ru (ну или как-то так). Так какая в клоаку разница, с каким юзерагентом обрахаться к этому robots.txt?

b0rman, выдыхайте. все будет пучком.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
b0rman
b0rman
Topic Starter сообщение 9.6.2010, 13:25; Ответить: b0rman
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 312
Регистрация: 9.4.2009
Из: Kиев
Поблагодарили: 23 раза
Репутация:   5  


(4apogeu @ 9.6.2010, 8:46) *
А как, по вашему, они (роботы) вообще узнают, что вы используете mod_rewrite? Главное, чтобы отдавался правильный robots.txt а не от другого домена )

В этом и вопрос wink.gif ОК. Спасибо, буду пробовать.

(Zomb1e @ 9.6.2010, 12:23) *
Какая в клоаку клоака? Какие айпи ботов? sZend, вы хоть внимательней читайте, о чем человек пишет! У него через мод_рерайт будет идти редирект с site.ru/robots.txt на anothersite.ru/robots.php?host=site.ru (ну или как-то так). Так какая в клоаку разница, с каким юзерагентом обрахаться к этому robots.txt?

b0rman, выдыхайте. все будет пучком.

Угу, будет с site.ru/robots.txt на site.ru/robots.php Вопрос как к редиректу отнесется робот. Но, тоже думаю, что будет все ОК wink.gif

Сообщение отредактировал b0rman - 9.6.2010, 13:48


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zomb1e
Zomb1e
сообщение 9.6.2010, 14:12; Ответить: Zomb1e
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 60
Регистрация: 18.5.2009
Поблагодарили: 6 раз
Репутация:   0  


(b0rman @ 9.6.2010, 13:25) *
Угу, будет с site.ru/robots.txt на site.ru/robots.php Вопрос как к редиректу отнесется робот. Но, тоже думаю, что будет все ОК wink.gif

RewriteEngine on
RewriteBase /
RewriteRule ^robots\.txt$ http://anothersite.ru/robots.php?host=site.ru

Если обратиться к site.ru/robots.txt, то будет выполнен редирект на http://anothersite.ru/robots.php?host=site.ru, но url в строке браузера не изменится. А вот если последняя строка будет выглядеть так:
RewriteRule ^robots\.txt$ http://anothersite.ru/robots.php?host=site.ru [R]

то редирект будет явным, и боты останутся недовольны =)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47520 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 512 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1194 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 696 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 17.12.2017, 18:32
Дизайн