X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt и Mod_rewrite, Как отреагирует бот?
b0rman
b0rman
Topic Starter сообщение 9.6.2010, 3:44; Ответить: b0rman
Сообщение #1


Всем привет!

Такой вопрос: если через mod_rewrite robots.txt будет генерится через PHP в зависимости от хоста (т.е. один двиг для нескольких сайтов и в зависимотсти от того, на какой сайт приходит робот ему отдается "свой" robots.txt) - как роботы к этом относятся?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4apogeu
4apogeu
сообщение 9.6.2010, 9:46; Ответить: 4apogeu
Сообщение #2


(b0rman @ 9.6.2010, 2:44) *
Всем привет!

Такой вопрос: если через mod_rewrite robots.txt будет генерится через PHP в зависимости от хоста (т.е. один двиг для нескольких сайтов и в зависимотсти от того, на какой сайт приходит робот ему отдается "свой" robots.txt) - как роботы к этом относятся?

А как, по вашему, они (роботы) вообще узнают, что вы используете mod_rewrite? Относиться они будут как к обычному robots.txt. Главное, чтобы отдавался правильный robots.txt а не от другого домена )


--------------------
.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sZend
sZend
сообщение 9.6.2010, 10:05; Ответить: sZend
Сообщение #3


яшина стучалка под видом мозила через месаца три прочухает клоаку и - бан.
вам нужно иметь постоянно обновляемые списки ip роботов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zomb1e
Zomb1e
сообщение 9.6.2010, 13:23; Ответить: Zomb1e
Сообщение #4


(sZend @ 9.6.2010, 10:05) *
яшина стучалка под видом мозила через месаца три прочухает клоаку и - бан.
вам нужно иметь постоянно обновляемые списки ip роботов.

Какая в клоаку клоака? Какие айпи ботов? sZend, вы хоть внимательней читайте, о чем человек пишет! У него через мод_рерайт будет идти редирект с site.ru/robots.txt на anothersite.ru/robots.php?host=site.ru (ну или как-то так). Так какая в клоаку разница, с каким юзерагентом обрахаться к этому robots.txt?

b0rman, выдыхайте. все будет пучком.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
b0rman
b0rman
Topic Starter сообщение 9.6.2010, 13:25; Ответить: b0rman
Сообщение #5


(4apogeu @ 9.6.2010, 8:46) *
А как, по вашему, они (роботы) вообще узнают, что вы используете mod_rewrite? Главное, чтобы отдавался правильный robots.txt а не от другого домена )

В этом и вопрос wink.gif ОК. Спасибо, буду пробовать.

(Zomb1e @ 9.6.2010, 12:23) *
Какая в клоаку клоака? Какие айпи ботов? sZend, вы хоть внимательней читайте, о чем человек пишет! У него через мод_рерайт будет идти редирект с site.ru/robots.txt на anothersite.ru/robots.php?host=site.ru (ну или как-то так). Так какая в клоаку разница, с каким юзерагентом обрахаться к этому robots.txt?

b0rman, выдыхайте. все будет пучком.

Угу, будет с site.ru/robots.txt на site.ru/robots.php Вопрос как к редиректу отнесется робот. Но, тоже думаю, что будет все ОК wink.gif

Сообщение отредактировал b0rman - 9.6.2010, 13:48


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zomb1e
Zomb1e
сообщение 9.6.2010, 14:12; Ответить: Zomb1e
Сообщение #6


(b0rman @ 9.6.2010, 13:25) *
Угу, будет с site.ru/robots.txt на site.ru/robots.php Вопрос как к редиректу отнесется робот. Но, тоже думаю, что будет все ОК wink.gif

RewriteEngine on
RewriteBase /
RewriteRule ^robots\.txt$ http://anothersite.ru/robots.php?host=site.ru

Если обратиться к site.ru/robots.txt, то будет выполнен редирект на http://anothersite.ru/robots.php?host=site.ru, но url в строке браузера не изменится. А вот если последняя строка будет выглядеть так:
RewriteRule ^robots\.txt$ http://anothersite.ru/robots.php?host=site.ru [R]

то редирект будет явным, и боты останутся недовольны =)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78612 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7587 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2187 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8335 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Работы по файлу robots.txt
8 tankoff 3678 19.3.2016, 20:02
автор: tankoff


 



RSS Текстовая версия Сейчас: 28.3.2024, 18:57
Дизайн