X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как правильно разрешить в robots.txt индексацию всего сайта?
metvekot
metvekot
Topic Starter сообщение 1.12.2015, 19:21; Ответить: metvekot
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 327
Регистрация: 5.8.2015
Поблагодарили: 34 раза
Репутация:   7  


Сделал такой robots.txt.
Код
User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: urlsaita.ru


Или в данном случае нужно использовать директиву Allow:
И я не уверен, нужен ли пробел после Disallow: в таком варианте robots.txt?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 1.12.2015, 19:36; Ответить: x64
Сообщение #2


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3432
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2750 раз
Репутация:   289  


Всё просто ;)


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Drupal_way
Drupal_way
сообщение 1.12.2015, 20:52; Ответить: Drupal_way
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 410
Регистрация: 17.12.2011
Из: Ростов-на-Дону
Поблагодарили: 73 раза
Репутация:   6  


Allow: /


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kronos
kronos
сообщение 2.12.2015, 1:32; Ответить: kronos
Сообщение #4


Белый веб-мастер
*******


Группа: Active User
Сообщений: 4703
Регистрация: 10.2.2009
Из: Харьков
Поблагодарили: 2629 раз
Репутация:   327  


"Allow: /" и "Disallow:"
Это одно и то же. Пробел не важен.

А какой вообще в этой строке смысл?
Код
User-agent: *
Disallow:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Вентилятор
Вентилятор
сообщение 2.12.2015, 3:27; Ответить: Вентилятор
Сообщение #5


покупаю хорошие проекты
******

Группа: Active User
Сообщений: 1802
Регистрация: 8.8.2010
Поблагодарили: 601 раз
Репутация:   106  


вообще в таком случае роботс.тхт снесите, да и всё.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Элантрис
Элантрис
сообщение 2.12.2015, 17:33; Ответить: Элантрис
Сообщение #6


Участник
***

Группа: User
Сообщений: 246
Регистрация: 19.4.2013
Из: Москва
Поблагодарили: 114 раз
Репутация:   25  


Robots.txt необходим для ограничения и настройки работы поисковых роботов на сайте, вы можете вовсе не использовать данный документ, тогда поисковые роботы съедят все что найдут. Пример такой реализации на IT портале Медуза.


--------------------
Комплексный аудит и управление проектами. Консультации для новичков в области SEO и коммерции.
Контакты для связи: elantris.g{собачка}gmail.com
Отвечаю в будни c 9:00 по 23:00, в выходные дни недоступен.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sunnyky
Sunnyky
сообщение 22.12.2015, 16:15; Ответить: Sunnyky
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 12
Регистрация: 22.12.2015
Поблагодарили: 0 раз
Репутация:   0  


Как сказали форумчане выше, роботс можно и вовсе снести, но я бы рекомендовал в нем указать основной хост и доступ к сайтмапу. По ускорению индексации и настройке роботса есть норм урок у топэксперт - http://www.topexpert.pro/open-seo-lessons/lesson-60.html
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
6 PostBrigada 601 Сегодня, 23:44
автор: PostBrigada
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
16 komarik_vlad 1665 Сегодня, 20:11
автор: komarik_vlad
Горячая тема (нет новых ответов) 180 профилей с ТИЦ всего за 200 рублей
64 garik2012 11942 Сегодня, 13:55
автор: garik2012
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
12 PostBrigada 1345 Вчера, 23:00
автор: PostBrigada
Открытая тема (нет новых ответов) Нужен шаблон сайта. Джумла. игры
1 pix87 505 Вчера, 20:54
автор: Yepperoni


 



RSS Текстовая версия Сейчас: 17.12.2017, 23:46
Дизайн