X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопросы про Robots.txt
karimovdaniyar
karimovdaniyar
Topic Starter сообщение 9.3.2012, 11:15; Ответить: karimovdaniyar
Сообщение #1


Участник
***

Группа: User
Сообщений: 225
Регистрация: 20.11.2010
Из: Павлодар
Поблагодарили: 42 раза
Репутация:   9  


Установил новый движок от DLE 9.5, удивился обилию новых дублей.
Всевозможные
index.php?newsid=4
?p=62
page/2/games/H
?cat=6
/page/2/games/Ю и все буквы алфавита.

и уверен что есть и еще. Думаю может лучше вообще закрыть доступ ко всему сайту
Disallow/ *

и разрешить к тем частям сайта которые нужны.



Что думаете о таком роботсе? использовали ли вы когда нибудь такой?

Сообщение отредактировал karimovdaniyar - 9.3.2012, 11:23


--------------------
Лучшее решение для заработка на сайте! Увеличил доход в два раза!
Icqadvert.org
Регистрация тут
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kuzin
kuzin
сообщение 11.3.2012, 23:38; Ответить: kuzin
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 10.3.2012
Из: Будапешт
Поблагодарили: 8 раз
Репутация:   2  


У меня тоже дле блог на 9.5 и никаких проблем нет.
вот мой роботс: http://mrsambuka.ru/robots.txt

Так же включали ли вы чпу при установке и проверьте настройки системы.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
feel_me
feel_me
сообщение 12.3.2012, 2:30; Ответить: feel_me
Сообщение #3


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 19.2.2012
Поблагодарили: 15 раз
Репутация:   4  


Уже писал, про "Обрабатывать неверные URL ЧПУ:"
Попробуйте включить эту опцию в админке. Мне пока помогает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agscorpio
agscorpio
сообщение 5.4.2012, 21:55; Ответить: agscorpio
Сообщение #4


Новичок
*


Группа: User
Сообщений: 29
Регистрация: 4.4.2012
Из: Москова
Поблагодарили: 6 раз
Репутация:   6  


"Обрабатывать неверные URL :" надо включить эту опцию в админ. панеле
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Logansys
Logansys
сообщение 2.5.2012, 13:54; Ответить: Logansys
Сообщение #5


Новичок
*

Группа: Viewer
Сообщений: 10
Регистрация: 20.12.2010
Поблагодарили: 1 раз
Репутация:   1  


подскажите, правильный ли у меня робот?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Host: мой сайт.com

User-agent: googlebot
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Host: мой сайт.com

Sitemap: http://мой сайт.com/sitemap.xml
Sitemap: http://мой сайт.com/sitemap.xml.gz

а вот робот с сайта на дле

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.мойсайт.com

User-agent: googlebot
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.мойсайт.com

Sitemap: http://www.мой сайт.com/sitemap.xml

хотя основное зеркало, как открывается сайт без www. Я в роботе последнем убрал www в адресах, я правильно сделал? Спасибо тем кто подскажет!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
хухрындик
хухрындик
сообщение 3.5.2012, 23:59; Ответить: хухрындик
Сообщение #6


Новичок
*


Группа: User
Сообщений: 24
Регистрация: 23.3.2012
Поблагодарили: 1 раз
Репутация:   1  


Если инструкции для гугла и яндекса одинаковые, зачем их дублировать? не проще ли написать user-agent: *

К тому же Ваш роботс игнорируется другими роботами - ботом адсенса (если стоит на сайте адсенс), бингом, майлом и прочими..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Logansys
Logansys
сообщение 4.5.2012, 9:32; Ответить: Logansys
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 10
Регистрация: 20.12.2010
Поблагодарили: 1 раз
Репутация:   1  


получается так нужно? -

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

Host: сайт.com

Sitemap: h ttp://сайт.com/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Что вы можете сказать про мегакассу?
16 DimaMyrzich 3539 7.12.2017, 16:13
автор: vds4you
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1099 28.11.2017, 14:25
автор: PostBrigada
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47415 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 463 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Все про грамотное создание Блога на корпоративном сайте
seoandme.ru - SEO-блог Анны Ященко
1 AnnaYa 660 9.11.2017, 14:43
автор: tezoro


 



RSS Текстовая версия Сейчас: 11.12.2017, 13:41
Дизайн