X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Анализ Robots(.)txt
ThePixel
ThePixel
Topic Starter сообщение 16.2.2012, 4:34; Ответить: ThePixel
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 265
Регистрация: 4.3.2011
Из: Москва
Поблагодарили: 29 раз
Репутация:   5  


Товарищи помогите проанализировать правильность РОботс тхт на сайте


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gloveer
Gloveer
сообщение 16.2.2012, 4:49; Ответить: Gloveer
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 96
Регистрация: 15.10.2011
Из: Россия-матушка
Поблагодарили: 28 раз
Репутация:   5  


А что там анализировать... основная часть у вас стандартный роботс для джумлы... остальное тут http://help.yandex.ru/webmaster/?id=996567
Главное не забывать, что иногда ПС на роботс мягко говоря "забивают", посему делайте из этого выводы.

Ну может быть Sitemap я бы поставил как Host с WWW


--------------------
И всё таки жизнь прекрасна!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 16.2.2012, 5:47; Ответить: Majestro
Сообщение #3


Новичок
*


Группа: User
Сообщений: 33
Регистрация: 16.1.2012
Поблагодарили: 7 раз
Репутация:   0  


Ваш магазин доступен сразу по двум адресам - с www и без! Это ошибка. Нужно настраивать редирект в .htaccess.

В роботе ошибка! Карта сайта и хост - на разных доменах.

(второй раз вижу утверждение на мауле, что ПС "забивают" на роботс... откуда инфа, товарищи?)

Ну и напоследок - очень рад видеть знакомый JoomShopping (мы под него пишем - ссылка в подписи), продукт набирает обороты в рунете!


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fobos
fobos
сообщение 16.2.2012, 9:08; Ответить: fobos
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 341
Регистрация: 22.2.2008
Из: СССР
Поблагодарили: 56 раз
Репутация:   7  


(Majestro @ 16.2.2012, 4:47) *
(второй раз вижу утверждение на мауле, что ПС "забивают" на роботс... откуда инфа, товарищи?)

Про яндекс не слышал, а вот про гугл слышал, то что он, игнорируя запретные ссылки/каталоги, индексировал их и добавлял в базу.

з.ы. В ответах гугла много вопросов по этому поводу.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 16.2.2012, 11:06; Ответить: Milera
Сообщение #5


Участник
***

Группа: User
Сообщений: 153
Регистрация: 5.2.2012
Поблагодарили: 24 раза
Репутация:   2  


В роботе ошибка! Карта сайта и хост - на разных доменах.

вы видимо не знаете, что хост это не хост, а главное зеркало сайта.
а во-вторых, карта сайта может находиться вообще на другом хосте, то есть не на saronit.ru/sitemap.xml а где-нибудь на megasite.ru/megafolder/sitemap.xml

а что смотреть в самом роботс я тоже не поняла, как уже сказали основная часть у вас стандартный роботс для джумлы.
разве * на которую гугл реагирует как на символ, а не на как all, и которую лучше не использовать, больше там смотреть не на что.

Сообщение отредактировал Milera - 16.2.2012, 11:07
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 16.2.2012, 11:48; Ответить: Majestro
Сообщение #6


Новичок
*


Группа: User
Сообщений: 33
Регистрация: 16.1.2012
Поблагодарили: 7 раз
Репутация:   0  


(Milera @ 16.2.2012, 10:06) *
вы видимо не знаете, что хост это не хост, а главное зеркало сайта


знаю) очень приятно, что и Вы в курсе.
Я так же понимаю, что речь идет не о зеркалах, а о правильной настройке файла в данном случае/конфигурации

Делать зеркала из www/без www - о чем речь вообще? Прежде чем продалжать разговор, нужно настроить 301 редирект. Все вопросы отпадут.


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
сообщение 16.2.2012, 22:04; Ответить: Jooob
Сообщение #7


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


товарисчи извините что не в своей теме, прав нет, подскажите по файлу роботс.тхт для сайта вордпресс.
Подойдет ли такой роботс? что он запрещает, что разрешает и как отнесутся к нему ПС.
Спасибо.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Host: блаблабла.ru
Sitemap: http://блаблабла.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47452 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 480 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1187 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Качественный анализ Юзабилити ваших сайтов
Юзабилити
14 rononov 2563 25.9.2017, 10:57
автор: rononov
Открытая тема (нет новых ответов) Сравнительный анализ 15-ти SEO краулеров интернета
staurus.net
5 Staurus 964 21.9.2017, 19:05
автор: Levizar


 



RSS Текстовая версия Сейчас: 13.12.2017, 15:46
Дизайн