Помощник
 |
|
|
|
|
Сообщение сайта
|
 robots.txt для html сайта |
Илюха
|
Сообщение
#1
|
||
 Топовый постер  Группа: Active User Сообщений: 3894 Регистрация: 11.6.2009 Поблагодарили: 720 раз Репутация:  107 
 |
|
||
 |
|
||
|
xEffector
|
 17.7.2012, 21:25;
Ответить: xEffector
Сообщение
#2
|
 Участник Группа: User Сообщений: 117 Регистрация: 20.3.2012 Поблагодарили: 38 раз Репутация: 8
|
(Илюха @ 17.7.2012, 21:19)  Подскажите что прописать нужно в robots.txt у обычного сайта на голом html, на сайте несколько страниц, все должны индексироваться. Т.е закрывать нечего. Что вписать в него? Создались дубли с www и без www, обычно не вникал в этот вопрос т.к пользовался движками. Вот отличная статья от Яндекса касательно robots.txt - http://help.yandex.ru/webmaster/?id=996567 |
|
|
|
|
rom_4
|
17.7.2012, 21:53;
Ответить: rom_4
Сообщение
#3
|
 трафа много не бывает Группа: Active User Сообщений: 1816 Регистрация: 9.7.2010 Из: Россия Поблагодарили: 762 раза Репутация: 92
|
у себя писал такое:
User-agent: * Disallow: /index.html Host: site.ru -------------------- |
|
|
|
|
xEffector
|
17.7.2012, 22:04;
Ответить: xEffector
Сообщение
#4
|
|
Участник Группа: User Сообщений: 117 Регистрация: 20.3.2012 Поблагодарили: 38 раз Репутация: 8
|
(rom_4 @ 17.7.2012, 21:53) Disallow: /index.html Разве это не запрет на индексацию страницы "index.html"? Чтобы разрешить всем роботам индексировать весь сайт достаточно закинуть в robots.txt следующее: User-agent: * Disallow: А чтобы не было проблем с www и без www, ставим ниже: Host: site.ru Также следует учесть, если сайт с www, значит и там добавляем www. И помните, что на сайте не должно быть в одном месте ссылка на главную страницу с www, а в другом без, определитесь сразу с этим. |
|
|
|
|
genjnat
|
17.7.2012, 22:11;
Ответить: genjnat
Сообщение
#5
|
 Топовый постер Группа: Active User Сообщений: 2973 Регистрация: 29.10.2008 Из: Одесса Поблагодарили: 1387 раз Репутация: 141
|
хост, это только для яндекса
Для гугла нужно редирект делать (если есть доступ к хетачес) Если нет, можно в панелька ГВМ и ЯВМ задать основной домен Сообщение отредактировал genjnat - 17.7.2012, 22:12 |
|
|
|
|
Jordanutto
|
18.7.2012, 7:57;
Ответить: Jordanutto
Сообщение
#6
|
 Завсегдатай Группа: Active User Сообщений: 859 Регистрация: 9.7.2011 Из: Крови и плоти Поблагодарили: 433 раза Репутация: 88
|
Для своих сайтов роботс стандартный оставляю или вообще его не создаю, а вот в .htaccess прописываю следующее:
# Редиректы # Редирект страниц с / на конце на аналогичные страницы без / RewriteRule ^page/(.*)$ index.php?cstart=$1 [L] # Редирект с www.сайт.ru на сайт.ru Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.сайт\.ru$ [NC] RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L] # Редирект с index.php на главную RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ http://сайт.ru/ [R=301,L] И полный порядок 
Сообщение отредактировал Jordanutto - 18.7.2012, 7:59 -------------------- |
|
|
|
|
alner
|
18.7.2012, 16:54;
Ответить: alner
Сообщение
#7
|
 Новичок Группа: User Сообщений: 15 Регистрация: 16.7.2012 Из: Украина, Харьков Поблагодарили: 1 раз Репутация: 0
|
Для обычного сайта на html файл robots.txt вообще не нужен, роботы, не найдя файл, просто будут считать, что на нем (на твоем сайте) можно делать все, что угодно.
В ЯВ и ГВ установи главное зеркало с www или без. В файле .htaccess пропиши 301 редирект, как писал Jordanutto, только ту часть, где переадресация с www на без www, все остальное не нужно. Сообщение отредактировал alner - 18.7.2012, 16:55 |
|
|
|
|
djalin
|
18.7.2012, 23:01;
Ответить: djalin
Сообщение
#8
|
 Бывалый Группа: User Сообщений: 415 Регистрация: 8.5.2011 Поблагодарили: 87 раз Репутация: 9
|
сам яндекс для народовских сайтов применяет только
Host: site.ru Больше и писать то нечего, Jordanutto правильно насал, ну и ещо можна карту сделать - хотя это тоже не обезательно -------------------- |
|
|
|
flinx
|
19.7.2012, 22:06;
Ответить: flinx
Сообщение
#9
|
|
|
Новичок Группа: User Сообщений: 34 Регистрация: 18.8.2011 Поблагодарили: 2 раза Репутация: -2
|
Просто rom_4 убиватор конкурентов.
Достаточно задать вопрос, чтобы все понять.
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
 Быстрая индексация страниц сайта и обратных ссылок - 2Index |
38 | 2Index | 6642 | 18.4.2024, 12:56 автор: 2Index |
 |
✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐ Сервис для получения SMS на реальные номера USA |
13 | Chekon | 4078 | 18.4.2024, 11:48 автор: Chekon |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 1 | Rebex | 689 | 17.4.2024, 11:50 автор: Rebex |
|
Какой % отказов нормален для сайта? | 11 | Aloof | 2822 | 16.4.2024, 12:48 автор: diviner99 |
|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 54 | arendator | 34838 | 15.4.2024, 15:16 автор: arendator |
|
Текстовая версия | Сейчас: 20.4.2024, 7:37 |
