X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Рабочий robots.txt, Поделитесь плиз нормальным robots
money82
money82
Topic Starter сообщение 12.2.2013, 14:26; Ответить: money82
Сообщение #1


Всем привет! Собственно прошу поделиться нормальным robots. Сайт на DLE, лицуха. В гугле чего-то не нравится((( Индексирует с пометкой "запрещено к индексации". Не силен во внутренней оптимизации. Вот какой сейчас на сайте:

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /2013/
Disallow: /tags/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http:/site.ru/sitemap.xml
Host: site.ru

Сообщение отредактировал money82 - 12.2.2013, 14:26


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 12.2.2013, 14:58; Ответить: n0rv
Сообщение #2


Покажите как у вас выглядят ссылки, которые не индексируются, может в адресе присутствует /2013/ или еще что-то запрещенное из роботса.
Так то в файле нет ничего необычного, если ЧПУ стандартного вида, то все должно индексироваться.


--------------------
Комплексная оптимизация и продвижение сайтов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
money82
money82
Topic Starter сообщение 12.2.2013, 15:08; Ответить: money82
Сообщение #3


n0rv,

Прикол в том, что есть новость которая проиндексирована. И есть тоже новость чуть ли не из этой же категории, которая не индексится запрещена роботсом и в ней как раз "в адресе присутствует /2013/"

ЧПУ стандартные настройки. Может дело в том, что активировал автоматическую подстройку ЧПУ если вид ссылки некорректный? Есть там такая приблуда в админке.

Сообщение отредактировал money82 - 12.2.2013, 15:10


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 12.2.2013, 16:06; Ответить: Jepps
Сообщение #4


money82, удалите строку:

Disallow: /2013/


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
money82
money82
Topic Starter сообщение 13.2.2013, 2:42; Ответить: money82
Сообщение #5


Jepps, Спасибо, помогло вроде!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 17.2.2013, 23:41; Ответить: dlepro_com
Сообщение #6


уже во втором топике вижу глупость:
Disallow: /autobackup.php
Disallow: /admin.php


Вопрос - зачем админку светить? Или вы думаете что даже в настройках скрипта этот файл рекомендуется переименовывать да бэкап тоже зачем?

Хотите админку закрыть от индексирования не светите её в общедоступном файле, а сделайте так:
Открываем файл /engine/skins/default.skin.php

Найти:
<head>


Добавить ниже:
<meta name="robots" content="noindex,nofollow" />


Чтобы не повторятся подробно опиывал свою версию в этом топике

Сообщение отредактировал dlepro_com - 17.2.2013, 23:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 17.2.2013, 23:44; Ответить: fioru
Сообщение #7


Вообще-то куда правильнее делать в robots.txt
Disallow: /admin

А файл переименовывать из admin.php например в admin-dostup.php, вообщем оставляя начало в виде admin
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 17.2.2013, 23:53; Ответить: dlepro_com
Сообщение #8


fioru,
Disallow: /autobackup.php
Disallow: /admin.php


этого не должно быть вообще.

файл admin.php переименовываете вообще в любое имя, вначале указав новое имя в адмиинке, хоть в цифровое, только расширение .php естественно не меняйте.

autobackup.php тоже переименуйте тут вообще кроме переименования ничего не нужно, а можете его вообще удалить если не пользуетесь им.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 17.2.2013, 23:57; Ответить: fioru
Сообщение #9


dlepro_com, смысла дискуссии нет, каждый делает так как ему нравится. Файла бекапа давно уже нет, файл админки я маскирую под другим именем оставив имя admin в начале дабы точно не перекрыть что-нибудь действительно нужное. я могу обозвать файл хоть adminsdfjhsdjfbjvsjhksdf.php, но моя строка в robots.txt не позволит попасть ему в индекс.

Сообщение отредактировал fioru - 17.2.2013, 23:58


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 19.2.2013, 13:55; Ответить: dlepro_com
Сообщение #10


fioru,
а я и не дискутирую, мой способ прост и верен, но вы предложили интересный вариант и он не плох, переименовывать файл оставляя вначале соответствующие закрытым в robots.txt часть его значения.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 79050 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7641 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Нужен рабочий под рутинную работу
8 NeallCaffrey 2067 14.4.2017, 16:15
автор: Lionelll
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2204 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8346 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 20.4.2024, 2:54
Дизайн