X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как правильно разрешить в robots.txt индексацию всего сайта?
metvekot
metvekot
Topic Starter сообщение 1.12.2015, 19:21; Ответить: metvekot
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 420
Регистрация: 5.8.2015
Поблагодарили: 51 раз
Репутация:   9  


Сделал такой robots.txt.
Код
User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: urlsaita.ru


Или в данном случае нужно использовать директиву Allow:
И я не уверен, нужен ли пробел после Disallow: в таком варианте robots.txt?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 1.12.2015, 19:36; Ответить: x64
Сообщение #2


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3544
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2881 раз
Репутация:   294  


Всё просто ;)


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Drupal_way
Drupal_way
сообщение 1.12.2015, 20:52; Ответить: Drupal_way
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 410
Регистрация: 17.12.2011
Из: Ростов-на-Дону
Поблагодарили: 73 раза
Репутация:   6  


Allow: /


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kronos
kronos
сообщение 2.12.2015, 1:32; Ответить: kronos
Сообщение #4


Белый веб-мастер
*******


Группа: Active User
Сообщений: 4703
Регистрация: 10.2.2009
Из: Харьков
Поблагодарили: 2629 раз
Репутация:   327  


"Allow: /" и "Disallow:"
Это одно и то же. Пробел не важен.

А какой вообще в этой строке смысл?
Код
User-agent: *
Disallow:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Вентилятор
Вентилятор
сообщение 2.12.2015, 3:27; Ответить: Вентилятор
Сообщение #5


покупаю хорошие проекты
******

Группа: Active User
Сообщений: 1815
Регистрация: 8.8.2010
Поблагодарили: 605 раз
Репутация:   106  


вообще в таком случае роботс.тхт снесите, да и всё.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Элантрис
Элантрис
сообщение 2.12.2015, 17:33; Ответить: Элантрис
Сообщение #6


Участник
***

Группа: User
Сообщений: 246
Регистрация: 19.4.2013
Из: Москва
Поблагодарили: 114 раз
Репутация:   25  


Robots.txt необходим для ограничения и настройки работы поисковых роботов на сайте, вы можете вовсе не использовать данный документ, тогда поисковые роботы съедят все что найдут. Пример такой реализации на IT портале Медуза.


--------------------
Комплексный аудит и управление проектами. Консультации для новичков в области SEO и коммерции.
Контакты для связи: elantris.g{собачка}gmail.com
Отвечаю в будни c 9:00 по 23:00, в выходные дни недоступен.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sunnyky
Sunnyky
сообщение 22.12.2015, 16:15; Ответить: Sunnyky
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 12
Регистрация: 22.12.2015
Поблагодарили: 0 раз
Репутация:   0  


Как сказали форумчане выше, роботс можно и вовсе снести, но я бы рекомендовал в нем указать основной хост и доступ к сайтмапу. По ускорению индексации и настройке роботса есть норм урок у топэксперт - http://www.topexpert.pro/open-seo-lessons/lesson-60.html

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как защитить свои данные в общественном Wi-Fi?
1 unazekoff 236 Сегодня, 18:03
автор: alxpn
Открытая тема (нет новых ответов) Плагин Caldera Forms, как настроить?
4 Drayfer 277 Сегодня, 15:01
автор: Drayfer
Открытая тема (нет новых ответов) Ссылки с сайта по ремонту квартир
Только Москва
1 serb000 855 Сегодня, 14:48
автор: Olopopscalius
Открытая тема (нет новых ответов) 90 статейных ссылок. Хорошие доноры для вашего сайта.
7 blogprogon 447 Сегодня, 12:27
автор: blogprogon
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
312 kaartes 112733 Сегодня, 12:07
автор: avega


 



RSS Текстовая версия Сейчас: 22.5.2018, 18:37
Дизайн