X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robot.txt для Joomla, Требуется помощь в организации Robot.txt для Joomla
ThePixel
ThePixel
Topic Starter сообщение 29.1.2012, 17:14; Ответить: ThePixel
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 265
Регистрация: 4.3.2011
Из: Москва
Поблагодарили: 29 раз
Репутация:   5  


Добрый день товарищи.
У меня проблема которую я хочу решить с вашей помощью.
Сделали сайт на Joomle.
Теперь требуется сдлать правильный Роботс.тхт

Прошу помощи.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
topsmiling
topsmiling
сообщение 29.1.2012, 17:41; Ответить: topsmiling
Сообщение #2


ёёёёёёёёё ӭ
******

Группа: Active User
Сообщений: 1298
Регистрация: 6.3.2011
Из: ★звёзд★
Поблагодарили: 359 раз
Репутация:   97  


http://ktonanovenkogo.ru/seo/uluchshaem-in...ss-chast-2.html


--------------------
.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
san_san
san_san
сообщение 29.1.2012, 17:43; Ответить: san_san
Сообщение #3


Участник
***

Группа: User
Сообщений: 147
Регистрация: 12.1.2009
Из: Москва
Поблагодарили: 25 раз
Репутация:   0  


Какая версия Джумла!? Существенно, уточните.

PS: понятно, 1.7 (generator закройте!). Уберите (имхо) .html в настройках ЧПУ
А далее:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index
Disallow: /*index
Disallow: /*.mp3$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.pptx$
Disallow: /*.html$
Disallow: /*.htm$
Disallow: /*?
Allow: /
Host: www.1528.webdrs.ru/


Добавьте, естестно, в "закрытые": контакты, поиск, опросы.
Кроме этого: зайдите в Я.Вебмастер (страницы в индексе) и просмотрите список, Джумла! может почитать много чего мусорного, закройте дубликаты и мусор, комментарии, нечитаемое и прочее дермецо.

Удачи!
PS: эт мой рецепт, на "истину последней инстанции" не претендует, проверено (однако) временем, несогласие с рецептом - обоснуйте, плз Всегда рад обмену полезными наблюдениями.

Сообщение отредактировал san_san - 29.1.2012, 17:55


--------------------
Надоело сео?.. - По грибы! Я знаю, что подпись noindex. Но: Грибы - вечны? nofollow! Ню-ню.
После этой хреновой жизни... хоть в Арканум
А если нужен сайт - пишите в ЛС. Бесплатно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ThePixel
ThePixel
Topic Starter сообщение 29.1.2012, 18:10; Ответить: ThePixel
Сообщение #4


Бывалый
****


Группа: User
Сообщений: 265
Регистрация: 4.3.2011
Из: Москва
Поблагодарили: 29 раз
Репутация:   5  


(san_san @ 29.1.2012, 17:43) *


Вопрос почему нужно закрыть Уберите (имхо) .html в настройках ЧПУ


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
san_san
san_san
сообщение 29.1.2012, 20:36; Ответить: san_san
Сообщение #5


Участник
***

Группа: User
Сообщений: 147
Регистрация: 12.1.2009
Из: Москва
Поблагодарили: 25 раз
Репутация:   0  


Вопрос почему нужно закрыть Уберите (имхо) .html в настройках ЧПУ

Вопрос хороший. И спорный. Я выразил свое мнение на вопрос.

Стоит, однако, разобраться: как именно ПС индексируют транслит в url? Если адекватно (т.е. ПС - переводит траслит "на русский" и сравнивет его с текстом страницы), то дописав в url - "текст-ссылки.htm" (или .php) - вы убьете это понимание, в некоторой степени (вопрос очень спецфичный, подробнеее стоит поискать на специализированных ресурсах). Если Вы считаете, что ПС на это наплевать - можно не "закрываьть".

Второе - на фиг увеличивать длну url на 4 символа?

Третье: если уж вы настроили чпу без .htm (или другие разрешения), то: Джумла, однозначно, нагенерит вам таких страниц сама, стоит помочь cms избавиться от вредной привычки.

В принципе: это такие мелочи... Но: помогает избавиться от дубликатов, улучшает индексацию и поиск. Это - практические наблюдения, хоть и смахивают на шаманство. Я (увы) сугубо практик, наверное есть и теоретические измышления на этот счет (хотя - не нашел вразумительных в Сети).

Самое актуальное: смотреть раз в месяц список страниц в поиске и вовремя "убивать" лишние. Но свой базовый "робот" считаю абсолютно верным . Как базовый.

PS: стоит добавить. Компоненты Джумла! способны, кстати, нагенирить вообще помойку... Особенно ВиртуаМарт и ДжумлаГаллерея (Комменты - отдельная песня). Если есть Форум - тут вообще надо "резать" его целиком.
robots - хорошее орудие. Нужно его точить, точить, точить. И будет нам счастье.
Удачи!

Сообщение отредактировал san_san - 29.1.2012, 20:42


--------------------
Надоело сео?.. - По грибы! Я знаю, что подпись noindex. Но: Грибы - вечны? nofollow! Ню-ню.
После этой хреновой жизни... хоть в Арканум
А если нужен сайт - пишите в ЛС. Бесплатно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ThePixel
ThePixel
Topic Starter сообщение 29.1.2012, 21:29; Ответить: ThePixel
Сообщение #6


Бывалый
****


Группа: User
Сообщений: 265
Регистрация: 4.3.2011
Из: Москва
Поблагодарили: 29 раз
Репутация:   5  


Как можно посмотреть все страницы сайта что бы понять есть ли дубли или еще какой мусор? Может есть сервис? Сайт еще не проиндексирован, так как закрыт от поисковой системы.

Сообщение отредактировал bum - 2.4.2012, 14:47
Причина редактирования: -overquotting


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
topsmiling
topsmiling
сообщение 1.2.2012, 20:40; Ответить: topsmiling
Сообщение #7


ёёёёёёёёё ӭ
******

Группа: Active User
Сообщений: 1298
Регистрация: 6.3.2011
Из: ★звёзд★
Поблагодарили: 359 раз
Репутация:   97  


san_san, я более чаще встречаю что как раз наоборот надо ставить в конце .html, так боты определяют что это статическая страничка, а не каталог. Я лично ставлю... И на счёт слов в url - бот всё равно их понимает и с html и с php на конце wink.gif


--------------------
.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
valikkomar
valikkomar
сообщение 28.2.2012, 13:22; Ответить: valikkomar
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 1
Регистрация: 15.4.2011
Поблагодарили: 0 раз
Репутация:   0  


У меня на сайте такой. Нашел по рекомендации. Исключает дубли страниц. Можна скопировать только внизу поменять адрес сайта на свой.

User-agent: *
Crawl-delay: 2
Disallow: /administrator/
Disallow: /cache/
Disallow: /index.php?option
Disallow: /components/
Disallow: /component/*
Disallow: /index.php/*
Disallow: /index2.php/*
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Disallow: /*type=rss
Disallow: /*task=rss
Disallow: /cgi-bin

User-agent: Yandex
Crawl-delay: 2
Disallow: /administrator/
Disallow: /cache/
Disallow: /index.php?option
Disallow: /components/
Disallow: /component/*
Disallow: /index.php/*
Disallow: /index2.php/*
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Disallow: /*type=rss
Disallow: /*task=rss
Disallow: /cgi-bin
Host: fotoprezent.ru

Sitemap: http://fotoprezent.ru/sitemap.xml

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал valikkomar - 28.2.2012, 13:24
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Accovod – программа для ведения всех ваших аккаунтов в социальных сетях
3 BoRzZoY 1200 Вчера, 23:15
автор: BoRzZoY
Открытая тема (нет новых ответов) Нужен человек для продвижения в ФБ бизнес страницу
0 Smile3D 244 Вчера, 19:51
автор: Smile3D
Горячая тема (нет новых ответов) Дешевый SSD хостинг на DDR4 с DDOS защитой для 10 сайтов за 69 рублей!
59 HostiMan 16703 Вчера, 15:58
автор: HostiMan
Открытая тема (нет новых ответов) Видеоспикер - продавец для сайта от 12000 руб/мин
Видеоконтент для продающих сайтов с живыми людьми
8 RomanOK 985 Вчера, 12:47
автор: RomanOK
Горячая тема (нет новых ответов) Mobytize - партнерская программа для мобильного трафика. Присоединяйтесь!
Мобильная CPI и CPA сеть
37 mobytize 8737 Вчера, 12:14
автор: mobytize


 



RSS Текстовая версия Сейчас: 18.10.2018, 11:58
Дизайн