X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос про Robots.txt
Seo-optimist
Seo-optimist
Topic Starter сообщение 23.11.2009, 16:37; Ответить: Seo-optimist
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2118
Регистрация: 31.1.2009
Из: Ukraine
Поблагодарили: 616 раз
Репутация:   158  


Добрый день. Возникла проблема, почему то в последние время в Я.Вебмастере одного из моих сайтах стало видно индексация так как и с www и без, заметил это после того как одному из оптимизаторов дал оптимизировать сайт на продвижение, ну сейчас и он пропал и сайт намести, я так понял это он что-то сделал в robots.txt, скажите, как исправить? А и еще, несет ли это какой-то вред сайту?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 23.11.2009, 16:43; Ответить: Futurman
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


Гадание на роботсе без самого роботса почти невозможно.


--------------------
..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Seo-optimist
Seo-optimist
Topic Starter сообщение 23.11.2009, 16:47; Ответить: Seo-optimist
Сообщение #3


Старожил
******


Группа: Active User
Сообщений: 2118
Регистрация: 31.1.2009
Из: Ukraine
Поблагодарили: 616 раз
Репутация:   158  


User-agent: *
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Sitemap: http://мойсайт/yandex.xml
Crawl Delay: 10
Host: мойсайт.ком
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SHome
SHome
сообщение 23.11.2009, 17:18; Ответить: SHome
Сообщение #4


Добрый друг
******

Группа: Active User
Сообщений: 1316
Регистрация: 7.9.2007
Из: Москва
Поблагодарили: 348 раз
Репутация:   76  


Seo-optimist, не очень понятно, что Ты хочешь? Что исправить?

- User-agent: * - указанные правила robots.txt для всех ПС
- Disallow: /.... - закрытые разделы и странички для индексации
- Sitemap: http://мойсайт/yandex.xml - это файлик с информацией для ПС о Твоем сайте
- Crawl Delay: 10 - определяет паузу (в сек.), с которой должны делать роботы обращение к страницам Твоего сайта (я бы убрал)
- Host: мойсайт.ком - директива для робота–зеркальщика Яши

В чем проблема-то?


--------------------
«Молодой» редактор ODP - Top: World: Russian: ...


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 23.11.2009, 17:21; Ответить: Futurman
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


Можно сделать такой

User-agent: Yandex
Disallow: /admin.php
Disallow: /*?do*
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Host: мойсайт.ком

User-agent: *
Disallow: /admin.php
Disallow: /*?do*
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Host: мойсайт.ком

Sitemap: http://мойсайт/sitemap.xml


Вообще не совсем понятно зачем закрывать
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/

Я конечно не эксперт в ДЛЕ, но имхо оно итак индексироваться не будет

Disallow: /uploads/ - это говорит о том что Картинки не участвуют в поиске в Яндекс Картинках, опять же применительно к ДЛЕ

Расклеило несовсем понятно почему. Было такое иногда, но в основном все решалось само собой.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
..


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по поводу цен на сайте
16 WildWeb8 911 13.5.2018, 17:40
автор: genjnat
Открытая тема (нет новых ответов) Куплю паблик вконтакте про видео-игры
действующий, с хорошим трафиком от 2к подписчиков
0 coremission 488 4.5.2018, 20:39
автор: coremission
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49782 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Вопрос к тем, кто зарабатывает на недвижимости?
Как заработать на недвижке.?
15 Dross 2739 26.4.2018, 18:26
автор: megachange
Открытая тема (нет новых ответов) Требуется SEO автор для текстов про заработок в интернете
0 Koreps 934 24.4.2018, 14:38
автор: Koreps


 



RSS Текстовая версия Сейчас: 21.5.2018, 17:16
Дизайн