Помощник
|
Robots.txt и Mod_rewrite, Как отреагирует бот? |
b0rman
|
Сообщение
#1
|
||
|
|
||
|
|||
4apogeu |
9.6.2010, 9:46;
Ответить: 4apogeu
Сообщение
#2
|
|
Всем привет! Такой вопрос: если через mod_rewrite robots.txt будет генерится через PHP в зависимости от хоста (т.е. один двиг для нескольких сайтов и в зависимотсти от того, на какой сайт приходит робот ему отдается "свой" robots.txt) - как роботы к этом относятся? А как, по вашему, они (роботы) вообще узнают, что вы используете mod_rewrite? Относиться они будут как к обычному robots.txt. Главное, чтобы отдавался правильный robots.txt а не от другого домена ) -------------------- |
|
|
sZend |
9.6.2010, 10:05;
Ответить: sZend
Сообщение
#3
|
|
яшина стучалка под видом мозила через месаца три прочухает клоаку и - бан.
вам нужно иметь постоянно обновляемые списки ip роботов. -------------------- |
|
|
Zomb1e |
9.6.2010, 13:23;
Ответить: Zomb1e
Сообщение
#4
|
|
яшина стучалка под видом мозила через месаца три прочухает клоаку и - бан. вам нужно иметь постоянно обновляемые списки ip роботов. Какая в клоаку клоака? Какие айпи ботов? sZend, вы хоть внимательней читайте, о чем человек пишет! У него через мод_рерайт будет идти редирект с site.ru/robots.txt на anothersite.ru/robots.php?host=site.ru (ну или как-то так). Так какая в клоаку разница, с каким юзерагентом обрахаться к этому robots.txt? b0rman, выдыхайте. все будет пучком. |
|
|
b0rman
|
Сообщение
#5
|
|
А как, по вашему, они (роботы) вообще узнают, что вы используете mod_rewrite? Главное, чтобы отдавался правильный robots.txt а не от другого домена ) В этом и вопрос ОК. Спасибо, буду пробовать. Какая в клоаку клоака? Какие айпи ботов? sZend, вы хоть внимательней читайте, о чем человек пишет! У него через мод_рерайт будет идти редирект с site.ru/robots.txt на anothersite.ru/robots.php?host=site.ru (ну или как-то так). Так какая в клоаку разница, с каким юзерагентом обрахаться к этому robots.txt? b0rman, выдыхайте. все будет пучком. Угу, будет с site.ru/robots.txt на site.ru/robots.php Вопрос как к редиректу отнесется робот. Но, тоже думаю, что будет все ОК Сообщение отредактировал b0rman - 9.6.2010, 13:48 -------------------- |
|
|
Zomb1e |
9.6.2010, 14:12;
Ответить: Zomb1e
Сообщение
#6
|
|
|
Угу, будет с site.ru/robots.txt на site.ru/robots.php Вопрос как к редиректу отнесется робот. Но, тоже думаю, что будет все ОК RewriteEngine on RewriteBase / RewriteRule ^robots\.txt$ http://anothersite.ru/robots.php?host=site.ru Если обратиться к site.ru/robots.txt, то будет выполнен редирект на http://anothersite.ru/robots.php?host=site.ru, но url в строке браузера не изменится. А вот если последняя строка будет выглядеть так: RewriteRule ^robots\.txt$ http://anothersite.ru/robots.php?host=site.ru [R] то редирект будет явным, и боты останутся недовольны =)
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 78612 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7587 | 28.3.2019, 18:31 автор: regem |
|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2187 | 8.3.2017, 1:56 автор: PavelMarty |
|
Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики. | 0 | regem | 8335 | 1.3.2017, 3:20 автор: regem |
|
Работы по файлу robots.txt | 8 | tankoff | 3678 | 19.3.2016, 20:02 автор: tankoff |
Текстовая версия | Сейчас: 28.3.2024, 18:57 |