X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопросы про Robots.txt
karimovdaniyar
karimovdaniyar
Topic Starter сообщение 9.3.2012, 11:15; Ответить: karimovdaniyar
Сообщение #1


Участник
***

Группа: User
Сообщений: 225
Регистрация: 20.11.2010
Из: Павлодар
Поблагодарили: 42 раза
Репутация:   9  


Установил новый движок от DLE 9.5, удивился обилию новых дублей.
Всевозможные
index.php?newsid=4
?p=62
page/2/games/H
?cat=6
/page/2/games/Ю и все буквы алфавита.

и уверен что есть и еще. Думаю может лучше вообще закрыть доступ ко всему сайту
Disallow/ *

и разрешить к тем частям сайта которые нужны.



Что думаете о таком роботсе? использовали ли вы когда нибудь такой?

Сообщение отредактировал karimovdaniyar - 9.3.2012, 11:23


--------------------
Лучшее решение для заработка на сайте! Увеличил доход в два раза!
Icqadvert.org
Регистрация тут
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kuzin
kuzin
сообщение 11.3.2012, 23:38; Ответить: kuzin
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 10.3.2012
Из: Будапешт
Поблагодарили: 8 раз
Репутация:   2  


У меня тоже дле блог на 9.5 и никаких проблем нет.
вот мой роботс: http://mrsambuka.ru/robots.txt

Так же включали ли вы чпу при установке и проверьте настройки системы.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
feel_me
feel_me
сообщение 12.3.2012, 2:30; Ответить: feel_me
Сообщение #3


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 19.2.2012
Поблагодарили: 15 раз
Репутация:   4  


Уже писал, про "Обрабатывать неверные URL ЧПУ:"
Попробуйте включить эту опцию в админке. Мне пока помогает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agscorpio
agscorpio
сообщение 5.4.2012, 21:55; Ответить: agscorpio
Сообщение #4


Новичок
*


Группа: User
Сообщений: 29
Регистрация: 4.4.2012
Из: Москова
Поблагодарили: 6 раз
Репутация:   6  


"Обрабатывать неверные URL :" надо включить эту опцию в админ. панеле
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Logansys
Logansys
сообщение 2.5.2012, 13:54; Ответить: Logansys
Сообщение #5


Новичок
*

Группа: Viewer
Сообщений: 10
Регистрация: 20.12.2010
Поблагодарили: 1 раз
Репутация:   1  


подскажите, правильный ли у меня робот?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Host: мой сайт.com

User-agent: googlebot
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Host: мой сайт.com

Sitemap: http://мой сайт.com/sitemap.xml
Sitemap: http://мой сайт.com/sitemap.xml.gz

а вот робот с сайта на дле

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.мойсайт.com

User-agent: googlebot
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.мойсайт.com

Sitemap: http://www.мой сайт.com/sitemap.xml

хотя основное зеркало, как открывается сайт без www. Я в роботе последнем убрал www в адресах, я правильно сделал? Спасибо тем кто подскажет!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
хухрындик
хухрындик
сообщение 3.5.2012, 23:59; Ответить: хухрындик
Сообщение #6


Новичок
*


Группа: User
Сообщений: 24
Регистрация: 23.3.2012
Поблагодарили: 1 раз
Репутация:   1  


Если инструкции для гугла и яндекса одинаковые, зачем их дублировать? не проще ли написать user-agent: *

К тому же Ваш роботс игнорируется другими роботами - ботом адсенса (если стоит на сайте адсенс), бингом, майлом и прочими..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Logansys
Logansys
сообщение 4.5.2012, 9:32; Ответить: Logansys
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 10
Регистрация: 20.12.2010
Поблагодарили: 1 раз
Репутация:   1  


получается так нужно? -

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

Host: сайт.com

Sitemap: h ttp://сайт.com/sitemap.xml

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыВопросы по Региональности сайта
регион, региональность, местоположение
2 Alexey_kzn 750 18.5.2018, 11:37
автор: Alexey_kzn
Открытая тема (нет новых ответов) Вопросы обо всем: AMP, Турбостраницы и мобильная оптимизация
и вконтакте с его Прометеем и советом использовать amp
4 coremission 1302 5.5.2018, 15:24
автор: VadymO
Открытая тема (нет новых ответов) Куплю паблик вконтакте про видео-игры
действующий, с хорошим трафиком от 2к подписчиков
0 coremission 509 4.5.2018, 20:39
автор: coremission
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49847 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Требуется SEO автор для текстов про заработок в интернете
0 Koreps 1205 24.4.2018, 14:38
автор: Koreps


 



RSS Текстовая версия Сейчас: 27.5.2018, 12:49
Дизайн