X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Правильно ли составлен robors.txt
saltov
saltov
Topic Starter сообщение 3.2.2012, 22:52; Ответить: saltov
Сообщение #1


Правильно ли составлен robors.txt ?
вариант №1
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /tag
Disallow: /page
Disallow: /drugoe/o-nas.html
Disallow: /drugoe/prajs.html
Host: www.buildforyou.ru
Sitemap: http://buildforyou.ru/sitemap.xml
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tygrytsa
tygrytsa
сообщение 3.2.2012, 23:04; Ответить: tygrytsa
Сообщение #2


Вроде, правильно, но только не robors? a robots
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BlueRay
BlueRay
сообщение 4.2.2012, 0:29; Ответить: BlueRay
Сообщение #3


По моему мнению необходимо добавить Disallow: /*?* . Это отсекает сразу Disallow: /?feed= и Disallow: /?s= и всякую такую хрень, которая может появиться в будущем.

Лично меня это однажды очень выручило: на хостинг пробралась зараза, было закачано около 500 страниц, связанных с mmm... Но все они не проиндексировались как раз благодаря тому, что в адресах этой хрени был *?*. Так что очень советую добавить.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zka02
zka02
сообщение 4.2.2012, 12:10; Ответить: zka02
Сообщение #4


(BlueRay @ 3.2.2012, 21:29) *
По моему мнению необходимо добавить Disallow: /*?* . Это отсекает сразу Disallow: /?feed= и Disallow: /?s= и всякую такую хрень, которая может появиться в будущем.

+1 Полностью согдасен!
А так все правильно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mosart
Mosart
сообщение 7.2.2012, 12:58; Ответить: Mosart
Сообщение #5


(BlueRay @ 3.2.2012, 23:29) *
По моему мнению необходимо добавить Disallow: /*?* . Это отсекает сразу Disallow: /?feed= и Disallow: /?s= и всякую такую хрень, которая может появиться в будущем.

А разве не могло быть так, что в адресах этой хрени не было бы *?* ??

И но могут ли появиться со временем на том же wordpress полезные страницы за этим знаком? Например без изменения адресов ссылок они выдаются в формате: http://example.com/?p=123

Сообщение отредактировал bum - 9.2.2012, 9:15
Причина редактирования: -overquotting
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
smo_i_seo
smo_i_seo
сообщение 7.2.2012, 21:09; Ответить: smo_i_seo
Сообщение #6


исправь robots должно быть, а так все четко прописано.


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Elizaveta
Elizaveta
сообщение 9.2.2012, 0:50; Ответить: Elizaveta
Сообщение #7


Любой написанный robots.txt нужно тестировать и смотреть на него как минимум одну неделю.

Сообщение отредактировал bum - 9.2.2012, 9:15
Причина редактирования: -overquotting


--------------------
я мошенник
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 14.2.2012, 9:45; Ответить: Majestro
Сообщение #8


Двойка за роботс!
Не скажу про структуру вордпресса, т.к. джумловод (хотя и тут полно подозрений), но две нижние строчки - ошибочка!

Хост с www
Сайтмап - без www

Получается вы еще не читали про главное зеркало и редиректы. Сайт должен быть с WWW или без него. Одновременно - ошибка.

Update: не поленился, зашел на сайт - проверил. Редирект стоит. Так какого, пардон, ражна в Host пишите www? Срочно убирайте!
И инструкции мне ваши не нравятся.

*/temp/ - это что за конструкция?
/temp - это верно

Хелп тут http://help.yandex.ru/webmaster/?id=996567

Сообщение отредактировал Majestro - 14.2.2012, 9:54


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
spavoda
spavoda
сообщение 14.2.2012, 10:01; Ответить: spavoda
Сообщение #9


Чтобы не плодить отдельные топики, присоединюсь к вопросу по robots и попрошу помощи у форумчан.
есть такой сайт со следующими страницами, которые хочу закрыть
1. www.site.ru/article/tag/статьи
2. www.site.ru/shop/tag/товар

как закрыть в robots все теги (tag) - и из статей(article) и из магазина?(shop) где то прочел что нужно вот так

Disаllow: */tag/*

но терзают смутные сомнения ))

Еще есть страницы следующего типа
3. www.site.ru/article/page-3/бла-бла-бла
4. www.site.ru/article/page-1/бла-бла-бла
5. www.site.ru/shop/goods1?view

Как закрыть все страницы содержащие /page и содержащие знак вопроса в адресе? у меня стоит следующий код

Disаllow: /page-*
Disallow: /*?

Заранее спасибо за советы и ответы.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 14.2.2012, 10:13; Ответить: Majestro
Сообщение #10


Disаllow: /tag
Disаllow: /page #уверены, что нужно закрыть?
Disallow: /*? #нормально, если нет рабочих ссылок с вопросом


http://help.yandex.ru/webmaster/?id=996567#996572


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Учимся правильно отвечать
17 falken 21556 13.7.2020, 18:13
автор: falken
Открытая тема (нет новых ответов) Как правильно купить сайт?
6 magnet 2732 9.3.2020, 18:54
автор: Plya
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСколько денег правильно реинвестировать?
4 Bilish 1121 20.1.2020, 19:03
автор: Santey
Открытая тема (нет новых ответов) Как правильно называется такой шаблон?
1 sc2r2bey 3135 17.12.2019, 21:10
автор: Ostromir
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78617 12.8.2019, 21:28
автор: neonix


 



RSS Текстовая версия Сейчас: 29.3.2024, 0:42
Дизайн