X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите разобраться в robots.txt для WP
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 22:57; Ответить: Jordanutto
Сообщение #1


Всем привет. Существует проблема в работе robots.txt на сайте с CMS Wordpress.
Дело в том, что в индексе ПС Google у меня появились следующие страницы:
Прикрепленное изображение

В тоже время они не отображаются на странице поиска страниц сайта в идексе ПС Google, пока не нажать на:
Прикрепленное изображение


Сейчас в файле robots вот такие записи:
Развернуть/Свернуть
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Подскажите, пожалуйста, что я не так делаю и в чем мой косяк?


--------------------
Накрутка подписчиков в Medium, Steemit.
Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео.
Писать в ЛС
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 25.5.2014, 23:13; Ответить: n0rv
Сообщение #2


Это Гугл, ему по большому счету без разницы что прописано в robots, индексирует все подряд.


--------------------
Комплексная оптимизация и продвижение сайтов.


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
profican
profican
сообщение 25.5.2014, 23:35; Ответить: profican
Сообщение #3


Цитата
индексе ПС Google


Я бы попробовал для Google прописать так же конкретно, как и для Яндекс. User-agent: * может не тот?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 23:38; Ответить: Jordanutto
Сообщение #4


profican, если честно, я абсолютно не разбираюсь в записях для robots, поэтому и прошу помощи.

Сообщение отредактировал Jordanutto - 25.5.2014, 23:38


--------------------
Накрутка подписчиков в Medium, Steemit.
Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео.
Писать в ЛС
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
сообщение 25.5.2014, 23:39; Ответить: SATURN25
Сообщение #5


Jordanutto, Пробуй удаляй в вебмастере вручную все левые ссылки. Я уже тут тоже на форуме спрашивал. Я устал бороться с гуглом, но сейчас он потихоньку сам начал удалять эти "хвосты". Наверное какое то время надо чтоб он понял что они не несут никакой ценной инфы для посетителя. Но смотри под такой "некрасивой" ссылкой должно быть написано что индексация запрещена в роботс тексте. И со временем начнут они исчезать. У меня на сайте 59 записей, а в гугле 420 страниц было !!! Сейчас уже 300 стало...Каждый день он выкидывает из супемент индекса по 1-3 страницы. Файл роботс у тебя правильный

Сделай канонические страницы, чтоб не было дублей.. Ниже мой роботс,собирал около месяца, пока не нашёл для себя оптимальный вариант :

Код
User-agent:Googlebot
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: *?attachment_id=
Disallow :/?attachment_id
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-cron.php
Disallow: /goto/
Disallow: *.html/*
Disallow: */sphinx/*
Disallow: */*.js*
Disallow: /daos/
Disallow: /wp-content/themes
Disallow: /webstat/
Disallow: */?p*
Disallow: */?s*
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /search
Disallow: / wp-content/
Disallow: /goto/
Disallow: */page/*
Disallow: */page/
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /20*
Sitemap:http://site.com/sitemap.xml
Sitemap:http://site.com/sitemap.xml.gz


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Андроид приставка для телевизора
22 zyzy 768 Сегодня, 16:48
автор: DUbiev
Открытая тема (нет новых ответов) Подскажите контекстные сети для монетизации трафика
Не Adsense и не РСЯ
7 Porsche 1421 Сегодня, 2:48
автор: adamsadriane
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСовфед предлагает замедлить YouTube для россиян
18 seostock 619 6.5.2021, 19:10
автор: Freedo
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыGAMBLING.pro - СРА-сеть для профи
70 Gamblingpro 17867 5.5.2021, 12:56
автор: Gamblingpro
Горячая тема (нет новых ответов) Socialkit - Программа для продвижения аккаунтов Инстаграм
67 socialkit 11603 4.5.2021, 22:36
автор: socialkit


 



RSS Текстовая версия Сейчас: 8.5.2021, 17:15
Дизайн