X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужна помощь в создании robots.txt для IP.Board & DLE
Ostrovok
Ostrovok
Topic Starter сообщение 14.7.2011, 0:09; Ответить: Ostrovok
Сообщение #1


Яндекс индексирует сайт, но категорически не желает индексировать форум.
Участник этого форума составил мне Robots.Txt для связки DLE и форума IP.Board, но мне кажется что-то в нём не так. Буду ВЕСЬМА признательным за помощь.
За ранее спасибо.
Вот этот файл


Развернуть/Свернуть




User-agent: *
Allow: /

User-agent: Yandex
Allow: /
Host: site.ru
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: *page/
Disallow: /tags/
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2011/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/*
Disallow: /favorites/
Disallow: /?do=*
Disallow: /index.php?do=*
Disallow: /rules.html





--------------------
 Островок новостей Дневник в ЖЖ ПЕРЕКРЁСТОК ВЕТРОВ 
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HappyPark
HappyPark
сообщение 14.7.2011, 0:13; Ответить: HappyPark
Сообщение #2


А по какому адресу располагается форум?

forum.site.ru или site.ru/forum?

Если по первому, то данный Робот никак на него не влияет, если мне не изменяет память.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ostrovok
Ostrovok
Topic Starter сообщение 14.7.2011, 0:44; Ответить: Ostrovok
Сообщение #3


(HappyPark @ 13.7.2011, 23:13) *
site.ru/forum


--------------------
 Островок новостей Дневник в ЖЖ ПЕРЕКРЁСТОК ВЕТРОВ 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wmkz
wmkz
сообщение 14.7.2011, 4:42; Ответить: wmkz
Сообщение #4


ХМ не вижу Sitemap сайта, и на сколько мне известно данные необходимо применить для всех ПСов, а для ящи вынести отдельно:
User-agent: Yandex
Host: site.ru

Для остальных ПСов переменная host не работает (на сколько мне известно)

Disallow: /upgrade/ вообще удаляется с хостинга после апгрейда движка (думаю что вообще не нужен)

Сообщение отредактировал wmkz - 14.7.2011, 4:44


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AmoSeo
AmoSeo
сообщение 14.7.2011, 5:32; Ответить: AmoSeo
Сообщение #5


надо смотреть в яндекс вебмастер панеле, что происходит с индексацией, если все /forum не хочет индексировать значит проблема может быть и с контентом. Как мне в подобной ситуации яндекс писал что на форуме много спама и сообщения не модерируются. Несколько месяцев кропотливой работы ушло на то чтобы както вернуть доверие яши к форуму.
Почистил всякие темы, копипаст убрал или в крайнем случае указывал источник. В robots.txt все лишнее закрыл.
А еще был случай, форум тоже ипб, так один из пользователей разместил информацию (копипаст) как установить MSSQL 2005. Смотрю все пару тысяч страниц выпали из индекса и 0 стоит, а в лс (в панеле вебмастера) пришло сообщение о якобы спаме со ссылкой на тему которая содержала тот самый гайд. Нашел оригинал (хз их несколько оказалось) и на своем форуме указал линк на источник - не помогло. Через пару дней рерайт заголовка и скрытие под хайд тектса тоже не помогло. Через неделю с лишним удалил тему и все вернулось в индекс (кстати... так можно недругам насолить, та самая статья http://pastebin.com/Lvju14gP ).

Сообщение отредактировал AmoSeo - 14.7.2011, 5:38


--------------------
Предоставляю услуги: Content Downloader - настройка парсера для любого сайта. (опыт с 2011 г.)
Наполнение магазинов товарами: Opencart, SimplaCMS, Webasyst и т.д.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Timo
Timo
сообщение 14.7.2011, 15:55; Ответить: Timo
Сообщение #6


ТС, популярным языком о составлении robots.txt для ДЛЕ написано здесь... Думаю, поможет wink.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ostrovok
Ostrovok
Topic Starter сообщение 14.7.2011, 21:27; Ответить: Ostrovok
Сообщение #7


(Timo @ 14.7.2011, 13:55) *
ТС, популярным языком о составлении robots.txt для ДЛЕ написано здесь... Думаю, поможет wink.gif

Спасибоwink.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
 Островок новостей Дневник в ЖЖ ПЕРЕКРЁСТОК ВЕТРОВ 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐
Сервис для получения SMS на реальные номера USA
13 Chekon 4078 18.4.2024, 11:48
автор: Chekon
Открытая тема (нет новых ответов) Rebex.io – Ваша инновационная платформа для обмена криптовалюты!
1 Rebex 686 17.4.2024, 11:50
автор: Rebex
Открытая тема (нет новых ответов) Требуется помощь по сайту на "ВордПресс"
Закрылся доступ в панель администратора
15 Tia2 2349 17.4.2024, 0:54
автор: diviner99
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2821 16.4.2024, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат
54 arendator 34838 15.4.2024, 15:16
автор: arendator


 



RSS Текстовая версия Сейчас: 20.4.2024, 2:47
Дизайн