X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Разбор полетов с robots.txt объясните пожалуйста, двиг dle
saltov
saltov
Topic Starter сообщение 13.2.2012, 21:54; Ответить: saltov
Сообщение #1


Завсегдатай
*****


Группа: Active User
Сообщений: 659
Регистрация: 18.2.2009
Из: Мир Seo
Поблагодарили: 50 раз
Репутация:   22  


Добрый вечер!Столкнулся с проблемой начал делать новый сайт на dle до этого с данным движком работал как ньюзмейкер.. но новый проект решил делать на нем прописал ключи,добавил новостей и решил добавить в адурилку яше и гуглю... для начала создал файл robots.txt и прописал следующие строки.. но при добавлении в яшу выдавало следующее Сайт не участвует в поиске, так как ранее наш робот получил полный запрет на его индексирование в Вашем файле robots.txt. В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз, после этого сообщение обновится. Что это значит может я что-то не правильно прописал в роботсе ?

Развернуть/Свернуть
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://******.ru/sitemap.xml


User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://******.ru/sitemap.xml
Host: ******.ru


Сообщение отредактировал WebAction - 13.2.2012, 22:07
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 13.2.2012, 22:03; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


А какой robots стоит в DLE по умолчанию, сразу же после установки движка?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saltov
saltov
Topic Starter сообщение 13.2.2012, 22:23; Ответить: saltov
Сообщение #3


Завсегдатай
*****


Группа: Active User
Сообщений: 659
Регистрация: 18.2.2009
Из: Мир Seo
Поблагодарили: 50 раз
Репутация:   22  


(Fallup @ 13.2.2012, 21:03) *
А какой robots стоит в DLE по умолчанию, сразу же после установки движка?


Не знаю,я вообще файлик ручками создал...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 13.2.2012, 22:25; Ответить: install
Сообщение #4


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1376 раз
Репутация:   201  


(Fallup @ 14.2.2012, 0:03) *
какой robots стоит в DLE по умолчанию

такой
Развернуть/Свернуть
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm


но для каждого параноика все индивидуально составляется, бзыки у всех разные и хотелки тоже.

Сообщение отредактировал install - 13.2.2012, 22:29


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
spavoda
spavoda
сообщение 15.2.2012, 11:24; Ответить: spavoda
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 386
Регистрация: 11.7.2011
Поблагодарили: 126 раз
Репутация:   33  


Проверьте ваш robots на http://webmaster.yandex.ru/robots.xml
я сам нашел таким образом ошибки в своем роботсе, а именно:

заходите на указанную выше страницу, нажимаете "загрузить robots с сайта"
в поле высвечиваются все что у вас там прописано
далее нажимайте кнопочку "проверить"

у меня высветилось сообщеение - такой команды не существуют!!! я в шоке, смотрю на прописанный код - все верно, как и должно быть. жму перепроветить.. тот же результат.
Что было в итоге - когда писал robots в блокноте, он его как то коряво (не в той кодировке) сохранил, поэтому яндекс не мог его прочесть (неправильно читал).
Если у вас таже проблема, пересохраните robots в блокнот++


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BlooDkh
BlooDkh
сообщение 15.2.2012, 14:22; Ответить: BlooDkh
Сообщение #6


Новичок
*

Группа: User
Сообщений: 22
Регистрация: 7.7.2011
Поблагодарили: 1 раз
Репутация:   0  


(saltov @ 13.2.2012, 20:54) *
Добрый вечер!Столкнулся с проблемой начал делать новый сайт на dle до этого с данным движком работал как ньюзмейкер.. но новый проект решил делать на нем прописал ключи,добавил новостей и решил добавить в адурилку яше и гуглю... для начала создал файл robots.txt и прописал следующие строки.. но при добавлении в яшу выдавало следующее Сайт не участвует в поиске, так как ранее наш робот получил полный запрет на его индексирование в Вашем файле robots.txt. В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз, после этого сообщение обновится. Что это значит может я что-то не правильно прописал в роботсе ?

Развернуть/Свернуть


Не волнуйся, я сам создал блог месяц назад и получил точно такое же сообщение. Примерно через 2.5 недели оно пропало и мои статьи начали выдаваться в поиске. Я тоже параноил по этому случаю)

Сообщение отредактировал BlooDkh - 15.2.2012, 14:23
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Оцените пожалуйста ptd7.ru
Оцените пожалуйста домен: ptd7.ru
1 kostetskij 935 29.11.2017, 17:28
автор: Vangan
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47504 28.11.2017, 1:05
автор: Akira
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыОцените первую работу пожалуйста
44 Findes 7708 24.11.2017, 1:57
автор: nixie
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 511 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Оцените, пожалуйста, turnir.biz
Нужна конструктивная критика, и пожёстче
11 Главтурнир 2182 11.11.2017, 21:14
автор: Главтурнир


 



RSS Текстовая версия Сейчас: 16.12.2017, 19:15
Дизайн