X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите разобраться в robots.txt для WP
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 22:57; Ответить: Jordanutto
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 850
Регистрация: 9.7.2011
Из: Крови и плоти
Поблагодарили: 431 раз
Репутация:   87  


Всем привет. Существует проблема в работе robots.txt на сайте с CMS Wordpress.
Дело в том, что в индексе ПС Google у меня появились следующие страницы:
Прикрепленное изображение

В тоже время они не отображаются на странице поиска страниц сайта в идексе ПС Google, пока не нажать на:
Прикрепленное изображение


Сейчас в файле robots вот такие записи:
Развернуть/Свернуть
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Подскажите, пожалуйста, что я не так делаю и в чем мой косяк?


--------------------
Куплю Steemit аккаунты. Писать в ЛС
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 25.5.2014, 23:13; Ответить: n0rv
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 436
Регистрация: 8.1.2011
Из: Калуга
Поблагодарили: 162 раза
Репутация:   27  


Это Гугл, ему по большому счету без разницы что прописано в robots, индексирует все подряд.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
profican
profican
сообщение 25.5.2014, 23:35; Ответить: profican
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 1242
Регистрация: 30.6.2010
Поблагодарили: 294 раза
Репутация:   36  


Цитата
индексе ПС Google


Я бы попробовал для Google прописать так же конкретно, как и для Яндекс. User-agent: * может не тот?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 23:38; Ответить: Jordanutto
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 850
Регистрация: 9.7.2011
Из: Крови и плоти
Поблагодарили: 431 раз
Репутация:   87  


profican, если честно, я абсолютно не разбираюсь в записях для robots, поэтому и прошу помощи.

Сообщение отредактировал Jordanutto - 25.5.2014, 23:38


--------------------
Куплю Steemit аккаунты. Писать в ЛС
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
сообщение 25.5.2014, 23:39; Ответить: SATURN25
Сообщение #5


Участник
***

Группа: User
Сообщений: 153
Регистрация: 21.10.2013
Из: Россия, Оренбург
Поблагодарили: 14 раз
Репутация:   -11  


Jordanutto, Пробуй удаляй в вебмастере вручную все левые ссылки. Я уже тут тоже на форуме спрашивал. Я устал бороться с гуглом, но сейчас он потихоньку сам начал удалять эти "хвосты". Наверное какое то время надо чтоб он понял что они не несут никакой ценной инфы для посетителя. Но смотри под такой "некрасивой" ссылкой должно быть написано что индексация запрещена в роботс тексте. И со временем начнут они исчезать. У меня на сайте 59 записей, а в гугле 420 страниц было !!! Сейчас уже 300 стало...Каждый день он выкидывает из супемент индекса по 1-3 страницы. Файл роботс у тебя правильный

Сделай канонические страницы, чтоб не было дублей.. Ниже мой роботс,собирал около месяца, пока не нашёл для себя оптимальный вариант :

Код
User-agent:Googlebot
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: *?attachment_id=
Disallow :/?attachment_id
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-cron.php
Disallow: /goto/
Disallow: *.html/*
Disallow: */sphinx/*
Disallow: */*.js*
Disallow: /daos/
Disallow: /wp-content/themes
Disallow: /webstat/
Disallow: */?p*
Disallow: */?s*
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /search
Disallow: / wp-content/
Disallow: /goto/
Disallow: */page/*
Disallow: */page/
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /20*
Sitemap:http://site.com/sitemap.xml
Sitemap:http://site.com/sitemap.xml.gz


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Сборка WP для сайтов знакомств, объявлений, каталогов и т.д.
6 Seodjo 4179 Вчера, 16:04
автор: Seodjo
Горячая тема (нет новых ответов) Программа для instagram Socialkit
182 socialkit 64255 Вчера, 13:09
автор: socialkit
Открытая тема (нет новых ответов) Верстаю для портфолио
5 paradoks0 711 24.5.2018, 19:34
автор: paradoks0
Открытая тема (нет новых ответов) Русские темы для WordPress. Недорого.
0 SOROKVLAD29 352 24.5.2018, 10:16
автор: SOROKVLAD29
Открытая тема (нет новых ответов) Сделать видео для инстаграмма
0 katuwa 425 24.5.2018, 8:25
автор: katuwa


 



RSS Текстовая версия Сейчас: 26.5.2018, 14:58
Дизайн