Помощник
|
robots.txt для html сайта |
Илюха
|
Сообщение
#1
|
||
|
|
||
|
|||
xEffector |
17.7.2012, 21:25;
Ответить: xEffector
Сообщение
#2
|
|
Подскажите что прописать нужно в robots.txt у обычного сайта на голом html, на сайте несколько страниц, все должны индексироваться. Т.е закрывать нечего. Что вписать в него? Создались дубли с www и без www, обычно не вникал в этот вопрос т.к пользовался движками. Вот отличная статья от Яндекса касательно robots.txt - http://help.yandex.ru/webmaster/?id=996567 |
|
|
rom_4 |
17.7.2012, 21:53;
Ответить: rom_4
Сообщение
#3
|
|
у себя писал такое:
User-agent: * Disallow: /index.html Host: site.ru -------------------- |
|
|
xEffector |
17.7.2012, 22:04;
Ответить: xEffector
Сообщение
#4
|
|
Disallow: /index.html Разве это не запрет на индексацию страницы "index.html"? Чтобы разрешить всем роботам индексировать весь сайт достаточно закинуть в robots.txt следующее: User-agent: * Disallow: А чтобы не было проблем с www и без www, ставим ниже: Host: site.ru Также следует учесть, если сайт с www, значит и там добавляем www. И помните, что на сайте не должно быть в одном месте ссылка на главную страницу с www, а в другом без, определитесь сразу с этим. |
|
|
genjnat |
17.7.2012, 22:11;
Ответить: genjnat
Сообщение
#5
|
|
хост, это только для яндекса
Для гугла нужно редирект делать (если есть доступ к хетачес) Если нет, можно в панелька ГВМ и ЯВМ задать основной домен Сообщение отредактировал genjnat - 17.7.2012, 22:12 |
|
|
Jordanutto |
18.7.2012, 7:57;
Ответить: Jordanutto
Сообщение
#6
|
|
Для своих сайтов роботс стандартный оставляю или вообще его не создаю, а вот в .htaccess прописываю следующее:
# Редиректы # Редирект страниц с / на конце на аналогичные страницы без / RewriteRule ^page/(.*)$ index.php?cstart=$1 [L] # Редирект с www.сайт.ru на сайт.ru Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.сайт\.ru$ [NC] RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L] # Редирект с index.php на главную RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ http://сайт.ru/ [R=301,L] И полный порядок Сообщение отредактировал Jordanutto - 18.7.2012, 7:59 -------------------- Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео. Писать в ЛС |
|
|
alner |
18.7.2012, 16:54;
Ответить: alner
Сообщение
#7
|
|
Для обычного сайта на html файл robots.txt вообще не нужен, роботы, не найдя файл, просто будут считать, что на нем (на твоем сайте) можно делать все, что угодно.
В ЯВ и ГВ установи главное зеркало с www или без. В файле .htaccess пропиши 301 редирект, как писал Jordanutto, только ту часть, где переадресация с www на без www, все остальное не нужно. Сообщение отредактировал alner - 18.7.2012, 16:55 |
|
|
djalin |
18.7.2012, 23:01;
Ответить: djalin
Сообщение
#8
|
|
сам яндекс для народовских сайтов применяет только
Host: site.ru Больше и писать то нечего, Jordanutto правильно насал, ну и ещо можна карту сделать - хотя это тоже не обезательно -------------------- Хостинг - The HostVille |
|
|
flinx |
19.7.2012, 22:06;
Ответить: flinx
Сообщение
#9
|
|
|
Просто rom_4 убиватор конкурентов.
Достаточно задать вопрос, чтобы все понять.
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 55 | arendator | 35082 | Сегодня, 2:12 автор: arendator |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 3 | Rebex | 965 | Вчера, 20:50 автор: Rebex |
|
Посоветуйте массажер для спины и шеи | 10 | Boymaster | 898 | Вчера, 18:02 автор: Boymaster |
|
Обучение Email Рассылкам + Софт Для Автоматизации (100к в сутки с сервера) | 10 | zennoboss | 4659 | Вчера, 5:20 автор: Skyworker |
|
Какой % отказов нормален для сайта? | 14 | Aloof | 3384 | 23.4.2024, 13:50 автор: Vmir |
Текстовая версия | Сейчас: 25.4.2024, 10:14 |