X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Рабочий robots.txt, Поделитесь плиз нормальным robots
money82
money82
Topic Starter сообщение 12.2.2013, 14:26; Ответить: money82
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 87
Регистрация: 17.7.2012
Поблагодарили: 22 раза
Репутация:   8  


Всем привет! Собственно прошу поделиться нормальным robots. Сайт на DLE, лицуха. В гугле чего-то не нравится((( Индексирует с пометкой "запрещено к индексации". Не силен во внутренней оптимизации. Вот какой сейчас на сайте:

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /2013/
Disallow: /tags/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http:/site.ru/sitemap.xml
Host: site.ru

Сообщение отредактировал money82 - 12.2.2013, 14:26


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 12.2.2013, 14:58; Ответить: n0rv
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 433
Регистрация: 8.1.2011
Из: Калуга
Поблагодарили: 161 раз
Репутация:   27  


Покажите как у вас выглядят ссылки, которые не индексируются, может в адресе присутствует /2013/ или еще что-то запрещенное из роботса.
Так то в файле нет ничего необычного, если ЧПУ стандартного вида, то все должно индексироваться.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
money82
money82
Topic Starter сообщение 12.2.2013, 15:08; Ответить: money82
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 87
Регистрация: 17.7.2012
Поблагодарили: 22 раза
Репутация:   8  


n0rv,

Прикол в том, что есть новость которая проиндексирована. И есть тоже новость чуть ли не из этой же категории, которая не индексится запрещена роботсом и в ней как раз "в адресе присутствует /2013/"

ЧПУ стандартные настройки. Может дело в том, что активировал автоматическую подстройку ЧПУ если вид ссылки некорректный? Есть там такая приблуда в админке.

Сообщение отредактировал money82 - 12.2.2013, 15:10


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 12.2.2013, 16:06; Ответить: Jepps
Сообщение #4


Топовый постер
*******


Группа: Banned
Сообщений: 3062
Регистрация: 22.11.2009
Из: Москва
Поблагодарили: 1259 раз
Репутация:   178  


money82, удалите строку:

Disallow: /2013/


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
money82
money82
Topic Starter сообщение 13.2.2013, 2:42; Ответить: money82
Сообщение #5


Частый гость
**

Группа: User
Сообщений: 87
Регистрация: 17.7.2012
Поблагодарили: 22 раза
Репутация:   8  


Jepps, Спасибо, помогло вроде!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 17.2.2013, 23:41; Ответить: dlepro_com
Сообщение #6


Новичок
*


Группа: User
Сообщений: 36
Регистрация: 26.3.2011
Из: Рязань
Поблагодарили: 8 раз
Репутация:   2  


уже во втором топике вижу глупость:
Disallow: /autobackup.php
Disallow: /admin.php


Вопрос - зачем админку светить? Или вы думаете что даже в настройках скрипта этот файл рекомендуется переименовывать да бэкап тоже зачем?

Хотите админку закрыть от индексирования не светите её в общедоступном файле, а сделайте так:
Открываем файл /engine/skins/default.skin.php

Найти:
<head>


Добавить ниже:
<meta name="robots" content="noindex,nofollow" />


Чтобы не повторятся подробно опиывал свою версию в этом топике

Сообщение отредактировал dlepro_com - 17.2.2013, 23:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 17.2.2013, 23:44; Ответить: fioru
Сообщение #7


Завсегдатай
*****

Группа: Active User
Сообщений: 508
Регистрация: 30.11.2010
Из: Смоленск
Поблагодарили: 172 раза
Репутация:   37  


Вообще-то куда правильнее делать в robots.txt
Disallow: /admin

А файл переименовывать из admin.php например в admin-dostup.php, вообщем оставляя начало в виде admin
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 17.2.2013, 23:53; Ответить: dlepro_com
Сообщение #8


Новичок
*


Группа: User
Сообщений: 36
Регистрация: 26.3.2011
Из: Рязань
Поблагодарили: 8 раз
Репутация:   2  


fioru,
Disallow: /autobackup.php
Disallow: /admin.php


этого не должно быть вообще.

файл admin.php переименовываете вообще в любое имя, вначале указав новое имя в адмиинке, хоть в цифровое, только расширение .php естественно не меняйте.

autobackup.php тоже переименуйте тут вообще кроме переименования ничего не нужно, а можете его вообще удалить если не пользуетесь им.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 17.2.2013, 23:57; Ответить: fioru
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 508
Регистрация: 30.11.2010
Из: Смоленск
Поблагодарили: 172 раза
Репутация:   37  


dlepro_com, смысла дискуссии нет, каждый делает так как ему нравится. Файла бекапа давно уже нет, файл админки я маскирую под другим именем оставив имя admin в начале дабы точно не перекрыть что-нибудь действительно нужное. я могу обозвать файл хоть adminsdfjhsdjfbjvsjhksdf.php, но моя строка в robots.txt не позволит попасть ему в индекс.

Сообщение отредактировал fioru - 17.2.2013, 23:58


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 19.2.2013, 13:55; Ответить: dlepro_com
Сообщение #10


Новичок
*


Группа: User
Сообщений: 36
Регистрация: 26.3.2011
Из: Рязань
Поблагодарили: 8 раз
Репутация:   2  


fioru,
а я и не дискутирую, мой способ прост и верен, но вы предложили интересный вариант и он не плох, переименовывать файл оставляя вначале соответствующие закрытым в robots.txt часть его значения.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47455 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 482 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1188 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Нужен рабочий под рутинную работу
8 NeallCaffrey 928 14.4.2017, 16:15
автор: Lionelll
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty


 



RSS Текстовая версия Сейчас: 13.12.2017, 23:21
Дизайн