Помощник
 |
|
|
|
|
Сообщение сайта
|
 Как правильно разрешить в robots.txt индексацию всего сайта? |
metvekot
|
Сообщение
#1
|
||
 Старожил  Группа: Active User Сообщений: 1390 Регистрация: 5.8.2015 Поблагодарили: 188 раз Репутация:  30 
 |
|
||
 |
|
||
x64
|
 1.12.2015, 19:36;
Ответить: x64
Сообщение
#2
|
 F.A.L.L.O.U.T. Группа: Active User Сообщений: 4055 Регистрация: 30.6.2011 Из: Железнодорожный (Балашиха) Поблагодарили: 3409 раз Репутация: 331
|
Всё просто
|
|
|
|
|
Drupal_way
|
1.12.2015, 20:52;
Ответить: Drupal_way
Сообщение
#3
|
 Бывалый Группа: User Сообщений: 410 Регистрация: 17.12.2011 Из: Ростов-на-Дону Поблагодарили: 73 раза Репутация: 6
|
Allow: /
-------------------- |
|
|
|
|
kronos
|
2.12.2015, 1:32;
Ответить: kronos
Сообщение
#4
|
 Белый веб-мастер 
 Группа: Active User Сообщений: 4703 Регистрация: 10.2.2009 Из: Харьков Поблагодарили: 2633 раза Репутация: 328
|
"Allow: /" и "Disallow:"
Это одно и то же. Пробел не важен. А какой вообще в этой строке смысл? Код User-agent: *
Disallow: -------------------- |
|
|
|
|
Вентилятор
|
2.12.2015, 3:27;
Ответить: Вентилятор
Сообщение
#5
|
 покупаю хорошие проекты Группа: Active User Сообщений: 1938 Регистрация: 8.8.2010 Поблагодарили: 663 раза Репутация: 112
|
вообще в таком случае роботс.тхт снесите, да и всё.
|
|
|
|
|
Элантрис
|
2.12.2015, 17:33;
Ответить: Элантрис
Сообщение
#6
|
 Участник Группа: User Сообщений: 246 Регистрация: 19.4.2013 Из: Москва Поблагодарили: 114 раз Репутация: 25
|
Robots.txt необходим для ограничения и настройки работы поисковых роботов на сайте, вы можете вовсе не использовать данный документ, тогда поисковые роботы съедят все что найдут. Пример такой реализации на IT портале Медуза.
-------------------- |
|
|
|
|
Sunnyky
|
22.12.2015, 16:15;
Ответить: Sunnyky
Сообщение
#7
|
|
|
Новичок Группа: Viewer Сообщений: 20 Регистрация: 22.12.2015 Поблагодарили: 0 раз Репутация: 0
|
Как сказали форумчане выше, роботс можно и вовсе снести, но я бы рекомендовал в нем указать основной хост и доступ к сайтмапу. По ускорению индексации и настройке роботса есть норм урок у топэксперт - http://www.topexpert.pro/open-seo-lessons/lesson-60.html
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Какой % отказов нормален для сайта? | 11 | Aloof | 2766 | Сегодня, 12:48 автор: diviner99 |
 |
 Быстрая индексация страниц сайта и обратных ссылок - 2Index |
37 | 2Index | 6564 | Вчера, 16:17 автор: 2Index |
|
Как вывести деньги в Украине с заблокированного Юмани ? | 28 | freeax | 4587 | 12.4.2024, 1:22 автор: PostMan1 |
|
Partners.House - платформа по монетизации push-трафика со всего мира | 12 | Partners_House | 4045 | 10.4.2024, 18:43 автор: Partners_House |
|
SiteAnalyzer - бесплатная программа для аудита и анализа сайта |
77 | Chaser | 74191 | 9.4.2024, 11:36 автор: Chaser |
|
Текстовая версия | Сейчас: 16.4.2024, 23:36 |
