Помощник
|
Robot.txt для Joomla, Требуется помощь в организации Robot.txt для Joomla |
ThePixel
|
Сообщение
#1
|
||
|
|
||
|
|||
topsmiling |
29.1.2012, 17:41;
Ответить: topsmiling
Сообщение
#2
|
|
-------------------- |
|
|
san_san |
29.1.2012, 17:43;
Ответить: san_san
Сообщение
#3
|
|
Какая версия Джумла!? Существенно, уточните.
PS: понятно, 1.7 (generator закройте!). Уберите (имхо) .html в настройках ЧПУ А далее: User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /index Disallow: /*index Disallow: /*.mp3$ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.rar$ Disallow: /*.css$ Disallow: /*.js$ Disallow: /*.pptx$ Disallow: /*.html$ Disallow: /*.htm$ Disallow: /*? Allow: / Host: www.1528.webdrs.ru/ Добавьте, естестно, в "закрытые": контакты, поиск, опросы. Кроме этого: зайдите в Я.Вебмастер (страницы в индексе) и просмотрите список, Джумла! может почитать много чего мусорного, закройте дубликаты и мусор, комментарии, нечитаемое и прочее дермецо. Удачи! PS: эт мой рецепт, на "истину последней инстанции" не претендует, проверено (однако) временем, несогласие с рецептом - обоснуйте, плз Всегда рад обмену полезными наблюдениями. Сообщение отредактировал san_san - 29.1.2012, 17:55 -------------------- После этой хреновой жизни... хоть в Арканум А если нужен сайт - пишите в ЛС. Бесплатно. |
|
|
ThePixel
|
Сообщение
#4
|
|
-------------------- |
|
|
san_san |
29.1.2012, 20:36;
Ответить: san_san
Сообщение
#5
|
|
Вопрос почему нужно закрыть Уберите (имхо) .html в настройках ЧПУ Вопрос хороший. И спорный. Я выразил свое мнение на вопрос. Стоит, однако, разобраться: как именно ПС индексируют транслит в url? Если адекватно (т.е. ПС - переводит траслит "на русский" и сравнивет его с текстом страницы), то дописав в url - "текст-ссылки.htm" (или .php) - вы убьете это понимание, в некоторой степени (вопрос очень спецфичный, подробнеее стоит поискать на специализированных ресурсах). Если Вы считаете, что ПС на это наплевать - можно не "закрываьть". Второе - на фиг увеличивать длну url на 4 символа? Третье: если уж вы настроили чпу без .htm (или другие разрешения), то: Джумла, однозначно, нагенерит вам таких страниц сама, стоит помочь cms избавиться от вредной привычки. В принципе: это такие мелочи... Но: помогает избавиться от дубликатов, улучшает индексацию и поиск. Это - практические наблюдения, хоть и смахивают на шаманство. Я (увы) сугубо практик, наверное есть и теоретические измышления на этот счет (хотя - не нашел вразумительных в Сети). Самое актуальное: смотреть раз в месяц список страниц в поиске и вовремя "убивать" лишние. Но свой базовый "робот" считаю абсолютно верным . Как базовый. PS: стоит добавить. Компоненты Джумла! способны, кстати, нагенирить вообще помойку... Особенно ВиртуаМарт и ДжумлаГаллерея (Комменты - отдельная песня). Если есть Форум - тут вообще надо "резать" его целиком. robots - хорошее орудие. Нужно его точить, точить, точить. И будет нам счастье. Удачи! Сообщение отредактировал san_san - 29.1.2012, 20:42 -------------------- После этой хреновой жизни... хоть в Арканум А если нужен сайт - пишите в ЛС. Бесплатно. |
|
|
ThePixel
|
Сообщение
#6
|
|
Как можно посмотреть все страницы сайта что бы понять есть ли дубли или еще какой мусор? Может есть сервис? Сайт еще не проиндексирован, так как закрыт от поисковой системы.
Сообщение отредактировал bum - 2.4.2012, 14:47
Причина редактирования: -overquotting
-------------------- |
|
|
topsmiling |
1.2.2012, 20:40;
Ответить: topsmiling
Сообщение
#7
|
|
san_san, я более чаще встречаю что как раз наоборот надо ставить в конце .html, так боты определяют что это статическая страничка, а не каталог. Я лично ставлю... И на счёт слов в url - бот всё равно их понимает и с html и с php на конце
-------------------- |
|
|
valikkomar |
28.2.2012, 13:22;
Ответить: valikkomar
Сообщение
#8
|
|
|
У меня на сайте такой. Нашел по рекомендации. Исключает дубли страниц. Можна скопировать только внизу поменять адрес сайта на свой.
User-agent: * Crawl-delay: 2 Disallow: /administrator/ Disallow: /cache/ Disallow: /index.php?option Disallow: /components/ Disallow: /component/* Disallow: /index.php/* Disallow: /index2.php/* Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /search/ Disallow: /*.pdf Disallow: /*print=1 Disallow: /*type=atom Disallow: /*type=rss Disallow: /*task=rss Disallow: /cgi-bin User-agent: Yandex Crawl-delay: 2 Disallow: /administrator/ Disallow: /cache/ Disallow: /index.php?option Disallow: /components/ Disallow: /component/* Disallow: /index.php/* Disallow: /index2.php/* Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /search/ Disallow: /*.pdf Disallow: /*print=1 Disallow: /*type=atom Disallow: /*type=rss Disallow: /*task=rss Disallow: /cgi-bin Host: fotoprezent.ru Sitemap: http://fotoprezent.ru/sitemap.xml
Сообщение отредактировал valikkomar - 28.2.2012, 13:24 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Партнерская программа для Эзотерики, Магии, Таро партнерка для эзотерики |
0 | LiveExpert | 229 | Сегодня, 15:13 автор: LiveExpert |
|
Партнерская программа для Эзотерики, Магии, Таро партнерка для эзотерики |
0 | LiveExpert | 219 | Сегодня, 15:13 автор: LiveExpert |
|
Azinomoney.com - гемблинг-партнерка с 65%RS для каждого Гарантированный заработок на гемблинг-трафике |
65 | AzinoMoney | 29164 | Вчера, 19:10 автор: AzinoMoney |
|
Делаю полностью уникальный дизайн для сайтов! | 46 | AlexDIZ | 93441 | 26.3.2024, 20:03 автор: AlexDIZ |
|
Большие ставки для кликов в Я.Директ. Как удешевить? | 2 | rownong27 | 1117 | 26.3.2024, 14:13 автор: knezevolk |
Текстовая версия | Сейчас: 28.3.2024, 16:41 |