Помощник
|
Robots.txt для Dle. Делаем правильно. Да будет сайт проиндексирован., Посвящается всем, кто использует DLE |
Simur |
19.12.2011, 8:33;
Ответить: Simur
Сообщение
#62
|
|
Всем привет. Я так понял, что в первом посте роботс 2009 года. За это время что-то изменилось? Или это роботс подойдет и сейчас?
ps: robots.txt из 1ого поста просто ужасен! аргументируйте свои слова, чем он ужасен? -------------------- |
|
|
Simur |
21.12.2011, 19:09;
Ответить: Simur
Сообщение
#63
|
|
Есть кто?
-------------------- |
|
|
hybrid |
21.12.2011, 19:23;
Ответить: hybrid
Сообщение
#64
|
|
|
|
|
Simur |
21.12.2011, 19:31;
Ответить: Simur
Сообщение
#65
|
|
но тот robots.txt не совсем правильно составлен, там не все дубли закрыты. Кто может выложить правильный роботс? Заранее спасибо) Хотя сколько людей, столько и мнений... Одни говорят, что роботс хорош, а другие, что не годен...... Как тут быть((( -------------------- |
|
|
HappyPark |
21.12.2011, 19:32;
Ответить: HappyPark
Сообщение
#66
|
|
Allow: / Disallow: */page/ Disallow: /*newposts Disallow: /*print Disallow: /*userinfo Disallow: /*new_post Disallow: /*watched Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lastnews Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=rules Disallow: /*do=stats Disallow: /*do=tags Disallow: /*do=pm Disallow: /*do=search Disallow: /*action=mobile* Disallow: /backup/* Disallow: /engine/* Disallow: /favorites/* Disallow: /templates/* Disallow: /newposts/* Disallow: /language/* Disallow: /catalog/* Disallow: /tags/* Disallow: /user/* Disallow: /2011/* Disallow: /2012/* Disallow: /rss.php Disallow: /rules.html Disallow: /statistics.html Оптима. Может, кто-то что-то добавит? |
|
|
Simur |
21.12.2011, 19:48;
Ответить: Simur
Сообщение
#67
|
|
Кто-то из умельцев оценит этот роботс?
P.S. HappyPark, Спасибо) Сообщение отредактировал Simur - 21.12.2011, 19:51 -------------------- |
|
|
hybrid |
21.12.2011, 19:56;
Ответить: hybrid
Сообщение
#68
|
|
Disallow: */page/ В строке Disallow перечисляются страницы, которые необходимо заблокировать. Можно указать конкретный URL или шаблон. Ввод должен начинаться с косой черты (/). (взято из правил гугла) Disallow: /*action=mobile* Disallow: /backup/* Disallow: /engine/* Disallow: /favorites/* Disallow: /templates/* Disallow: /newposts/* Disallow: /language/* Disallow: /catalog/* Disallow: /tags/* Disallow: /user/* Disallow: /2011/* Disallow: /2012/* По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*' (взято из правил яндекса) Disallow: /catalog/* Disallow: /2011/* Такие каталоги у некоторых вообще могут не быть, всё зависит от того что включено в движке. |
|
|
HappyPark |
21.12.2011, 20:22;
Ответить: HappyPark
Сообщение
#69
|
|
В строке Disallow перечисляются страницы, которые необходимо заблокировать. Можно указать конкретный URL или шаблон. Ввод должен начинаться с косой черты (/). Упс, забыл его. В таком случае: и /page/ и /*/page/ По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*' Согласен, наглядности ради. Такие каталоги у некоторых вообще могут не быть, всё зависит от того что включено в движке. Да что Вы говорите, /catalog/буква - навигация по символьному коду; /2011/11/12 - материалы за опр. период. |
|
|
hybrid |
21.12.2011, 20:27;
Ответить: hybrid
Сообщение
#70
|
|
|
|
|
HappyPark |
21.12.2011, 20:33;
Ответить: HappyPark
Сообщение
#71
|
|
hybrid, любой robots.txt - надо точить для себя.
Я предлагаю вариант, когда у "народных масс" включено всё, что можно - и архивы, и календарь. Если предложенные выключены - конечно, убираем смело. |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐ Сервис для получения SMS на реальные номера USA |
13 | Chekon | 4078 | 18.4.2024, 11:48 автор: Chekon |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 1 | Rebex | 689 | 17.4.2024, 11:50 автор: Rebex |
|
Ваш сайт блокирует Роскомнадзор? | 27 | hollywooduk | 5719 | 17.4.2024, 0:19 автор: Omaxis |
|
Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ | 0 | bunneh | 349 | 16.4.2024, 18:02 автор: bunneh |
|
Какой % отказов нормален для сайта? | 11 | Aloof | 2822 | 16.4.2024, 12:48 автор: diviner99 |
Текстовая версия | Сейчас: 20.4.2024, 7:46 |