X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите разобраться в robots.txt для WP
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 22:57; Ответить: Jordanutto
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 842
Регистрация: 9.7.2011
Из: Крови и плоти
Поблагодарили: 430 раз
Репутация:   87  


Всем привет. Существует проблема в работе robots.txt на сайте с CMS Wordpress.
Дело в том, что в индексе ПС Google у меня появились следующие страницы:
Прикрепленное изображение

В тоже время они не отображаются на странице поиска страниц сайта в идексе ПС Google, пока не нажать на:
Прикрепленное изображение


Сейчас в файле robots вот такие записи:
Развернуть/Свернуть
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Подскажите, пожалуйста, что я не так делаю и в чем мой косяк?


--------------------
Услуги Telegram: чекер номеров, накрутка просмотров и подписчиков в каналах Телеграм.
Связь: ЛС тут или в TG @javnes
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 25.5.2014, 23:13; Ответить: n0rv
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 433
Регистрация: 8.1.2011
Из: Калуга
Поблагодарили: 161 раз
Репутация:   27  


Это Гугл, ему по большому счету без разницы что прописано в robots, индексирует все подряд.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
profican
profican
сообщение 25.5.2014, 23:35; Ответить: profican
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 1242
Регистрация: 30.6.2010
Поблагодарили: 294 раза
Репутация:   36  


Цитата
индексе ПС Google


Я бы попробовал для Google прописать так же конкретно, как и для Яндекс. User-agent: * может не тот?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 23:38; Ответить: Jordanutto
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 842
Регистрация: 9.7.2011
Из: Крови и плоти
Поблагодарили: 430 раз
Репутация:   87  


profican, если честно, я абсолютно не разбираюсь в записях для robots, поэтому и прошу помощи.

Сообщение отредактировал Jordanutto - 25.5.2014, 23:38


--------------------
Услуги Telegram: чекер номеров, накрутка просмотров и подписчиков в каналах Телеграм.
Связь: ЛС тут или в TG @javnes
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
сообщение 25.5.2014, 23:39; Ответить: SATURN25
Сообщение #5


Участник
***

Группа: User
Сообщений: 153
Регистрация: 21.10.2013
Из: Россия, Оренбург
Поблагодарили: 14 раз
Репутация:   -11  


Jordanutto, Пробуй удаляй в вебмастере вручную все левые ссылки. Я уже тут тоже на форуме спрашивал. Я устал бороться с гуглом, но сейчас он потихоньку сам начал удалять эти "хвосты". Наверное какое то время надо чтоб он понял что они не несут никакой ценной инфы для посетителя. Но смотри под такой "некрасивой" ссылкой должно быть написано что индексация запрещена в роботс тексте. И со временем начнут они исчезать. У меня на сайте 59 записей, а в гугле 420 страниц было !!! Сейчас уже 300 стало...Каждый день он выкидывает из супемент индекса по 1-3 страницы. Файл роботс у тебя правильный

Сделай канонические страницы, чтоб не было дублей.. Ниже мой роботс,собирал около месяца, пока не нашёл для себя оптимальный вариант :

Код
User-agent:Googlebot
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: *?attachment_id=
Disallow :/?attachment_id
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-cron.php
Disallow: /goto/
Disallow: *.html/*
Disallow: */sphinx/*
Disallow: */*.js*
Disallow: /daos/
Disallow: /wp-content/themes
Disallow: /webstat/
Disallow: */?p*
Disallow: */?s*
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /search
Disallow: / wp-content/
Disallow: /goto/
Disallow: */page/*
Disallow: */page/
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /20*
Sitemap:http://site.com/sitemap.xml
Sitemap:http://site.com/sitemap.xml.gz


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Leongram - бесплатная программа для продвижения в Instagram
90 DeOne 17931 Сегодня, 0:06
автор: DeOne
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
8 komarik_vlad 878 Вчера, 23:24
автор: komarik_vlad
Открытая тема (нет новых ответов) Куплю домен для склейки
3 Natali2110 598 Вчера, 21:35
автор: Natali2110
Открытая тема (нет новых ответов) Требуются рерайтеры для медицинского сайта
30 руб за 1000 рерайта
14 Lisel85 2703 Вчера, 19:38
автор: Lisel85
Открытая тема (нет новых ответов) GALAKSION – оптимальный вариант для монетизации вашего сайта!
23 Galaksion_Network 2430 Вчера, 19:17
автор: Galaksion_Network


 



RSS Текстовая версия Сейчас: 13.12.2017, 0:31
Дизайн