X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt для html сайта
Илюха
Илюха
Topic Starter сообщение 17.7.2012, 21:19; Ответить: Илюха
Сообщение #1


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Подскажите что прописать нужно в robots.txt у обычного сайта на голом html, на сайте несколько страниц, все должны индексироваться. Т.е закрывать нечего. Что вписать в него? Создались дубли с www и без www, обычно не вникал в этот вопрос т.к пользовался движками.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xEffector
xEffector
сообщение 17.7.2012, 21:25; Ответить: xEffector
Сообщение #2


Участник
***

Группа: User
Сообщений: 117
Регистрация: 20.3.2012
Поблагодарили: 38 раз
Репутация:   8  


(Илюха @ 17.7.2012, 21:19) *
Подскажите что прописать нужно в robots.txt у обычного сайта на голом html, на сайте несколько страниц, все должны индексироваться. Т.е закрывать нечего. Что вписать в него? Создались дубли с www и без www, обычно не вникал в этот вопрос т.к пользовался движками.


Вот отличная статья от Яндекса касательно robots.txt - http://help.yandex.ru/webmaster/?id=996567
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 17.7.2012, 21:53; Ответить: rom_4
Сообщение #3


трафа много не бывает
******

Группа: Active User
Сообщений: 1451
Регистрация: 9.7.2010
Из: Россия
Поблагодарили: 551 раз
Репутация:   62  


у себя писал такое:

User-agent: *
Disallow: /index.html
Host: site.ru


--------------------
Зарабатываю тут, тут и тут


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xEffector
xEffector
сообщение 17.7.2012, 22:04; Ответить: xEffector
Сообщение #4


Участник
***

Группа: User
Сообщений: 117
Регистрация: 20.3.2012
Поблагодарили: 38 раз
Репутация:   8  


(rom_4 @ 17.7.2012, 21:53) *
Disallow: /index.html


Разве это не запрет на индексацию страницы "index.html"?

Чтобы разрешить всем роботам индексировать весь сайт достаточно закинуть в robots.txt следующее:
User-agent: *
Disallow:


А чтобы не было проблем с www и без www, ставим ниже:
Host: site.ru

Также следует учесть, если сайт с www, значит и там добавляем www. И помните, что на сайте не должно быть в одном месте ссылка на главную страницу с www, а в другом без, определитесь сразу с этим.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 17.7.2012, 22:11; Ответить: genjnat
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 2277
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


хост, это только для яндекса
Для гугла нужно редирект делать (если есть доступ к хетачес)
Если нет, можно в панелька ГВМ и ЯВМ задать основной домен

Сообщение отредактировал genjnat - 17.7.2012, 22:12


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jordanutto
Jordanutto
сообщение 18.7.2012, 7:57; Ответить: Jordanutto
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 843
Регистрация: 9.7.2011
Из: Крови и плоти
Поблагодарили: 430 раз
Репутация:   87  


Для своих сайтов роботс стандартный оставляю или вообще его не создаю, а вот в .htaccess прописываю следующее:
# Редиректы
# Редирект страниц с / на конце на аналогичные страницы без /
RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Редирект с www.сайт.ru на сайт.ru
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.сайт\.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]

# Редирект с index.php на главную
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://сайт.ru/ [R=301,L]


И полный порядок smile.gif

Сообщение отредактировал Jordanutto - 18.7.2012, 7:59


--------------------
Услуги Telegram: чекер номеров, накрутка просмотров и подписчиков в каналах Телеграм.
Связь: ЛС тут или в TG @javnes


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alner
alner
сообщение 18.7.2012, 16:54; Ответить: alner
Сообщение #7


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 16.7.2012
Из: Украина, Харьков
Поблагодарили: 1 раз
Репутация:   0  


Для обычного сайта на html файл robots.txt вообще не нужен, роботы, не найдя файл, просто будут считать, что на нем (на твоем сайте) можно делать все, что угодно.
В ЯВ и ГВ установи главное зеркало с www или без.
В файле .htaccess пропиши 301 редирект, как писал Jordanutto, только ту часть, где переадресация с www на без www, все остальное не нужно.

Сообщение отредактировал alner - 18.7.2012, 16:55
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 18.7.2012, 23:01; Ответить: djalin
Сообщение #8


Бывалый
****

Группа: User
Сообщений: 414
Регистрация: 8.5.2011
Поблагодарили: 87 раз
Репутация:   9  


сам яндекс для народовских сайтов применяет только
Host: site.ru

Больше и писать то нечего, Jordanutto
правильно насал, ну и ещо можна карту сделать - хотя это тоже не обезательно


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
flinx
flinx
сообщение 19.7.2012, 22:06; Ответить: flinx
Сообщение #9


Новичок
*


Группа: User
Сообщений: 20
Регистрация: 18.8.2011
Поблагодарили: 2 раза
Репутация:   -2  


Просто rom_4 убиватор конкурентов.
Достаточно задать вопрос, чтобы все понять.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
16 komarik_vlad 1644 Сегодня, 20:11
автор: komarik_vlad
Горячая тема (нет новых ответов) Leongram - бесплатная программа для продвижения в Instagram
91 DeOne 18345 Сегодня, 19:27
автор: DeOne
Горячая тема (нет новых ответов) ВНИМАНИЕ: Тема имеет прикрепленные файлыПишу тексты для всех и каждого. Цены не кусаются, качество не хромает.
Единственное правило: клиент всегда доволен.
121 Hellnar 50269 Сегодня, 15:57
автор: Hellnar
Открытая тема (нет новых ответов) Бот для комплексной автоматической рассылки Whatsapp
Бот для комплексной автоматической рассылки Whatsapp
3 danger22 594 Сегодня, 8:30
автор: danger22
Открытая тема (нет новых ответов) Нужен шаблон сайта. Джумла. игры
1 pix87 505 Вчера, 20:54
автор: Yepperoni


 



RSS Текстовая версия Сейчас: 17.12.2017, 22:13
Дизайн