X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите разобраться в robots.txt для WP
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 22:57; Ответить: Jordanutto
Сообщение #1


Всем привет. Существует проблема в работе robots.txt на сайте с CMS Wordpress.
Дело в том, что в индексе ПС Google у меня появились следующие страницы:
Прикрепленное изображение

В тоже время они не отображаются на странице поиска страниц сайта в идексе ПС Google, пока не нажать на:
Прикрепленное изображение


Сейчас в файле robots вот такие записи:
Развернуть/Свернуть
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Подскажите, пожалуйста, что я не так делаю и в чем мой косяк?


--------------------
Накрутка подписчиков в Medium, Steemit.
Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео.
Писать в ЛС
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 25.5.2014, 23:13; Ответить: n0rv
Сообщение #2


Это Гугл, ему по большому счету без разницы что прописано в robots, индексирует все подряд.


--------------------
Комплексная оптимизация и продвижение сайтов.


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
profican
profican
сообщение 25.5.2014, 23:35; Ответить: profican
Сообщение #3


Цитата
индексе ПС Google


Я бы попробовал для Google прописать так же конкретно, как и для Яндекс. User-agent: * может не тот?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 23:38; Ответить: Jordanutto
Сообщение #4


profican, если честно, я абсолютно не разбираюсь в записях для robots, поэтому и прошу помощи.

Сообщение отредактировал Jordanutto - 25.5.2014, 23:38


--------------------
Накрутка подписчиков в Medium, Steemit.
Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео.
Писать в ЛС
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
сообщение 25.5.2014, 23:39; Ответить: SATURN25
Сообщение #5


Jordanutto, Пробуй удаляй в вебмастере вручную все левые ссылки. Я уже тут тоже на форуме спрашивал. Я устал бороться с гуглом, но сейчас он потихоньку сам начал удалять эти "хвосты". Наверное какое то время надо чтоб он понял что они не несут никакой ценной инфы для посетителя. Но смотри под такой "некрасивой" ссылкой должно быть написано что индексация запрещена в роботс тексте. И со временем начнут они исчезать. У меня на сайте 59 записей, а в гугле 420 страниц было !!! Сейчас уже 300 стало...Каждый день он выкидывает из супемент индекса по 1-3 страницы. Файл роботс у тебя правильный

Сделай канонические страницы, чтоб не было дублей.. Ниже мой роботс,собирал около месяца, пока не нашёл для себя оптимальный вариант :

Код
User-agent:Googlebot
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: *?attachment_id=
Disallow :/?attachment_id
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-cron.php
Disallow: /goto/
Disallow: *.html/*
Disallow: */sphinx/*
Disallow: */*.js*
Disallow: /daos/
Disallow: /wp-content/themes
Disallow: /webstat/
Disallow: */?p*
Disallow: */?s*
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /search
Disallow: / wp-content/
Disallow: /goto/
Disallow: */page/*
Disallow: */page/
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /20*
Sitemap:http://site.com/sitemap.xml
Sitemap:http://site.com/sitemap.xml.gz


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 369 Вчера, 15:13
автор: LiveExpert
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 338 Вчера, 15:13
автор: LiveExpert
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29197 27.3.2024, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Делаю полностью уникальный дизайн для сайтов!
46 AlexDIZ 93503 26.3.2024, 20:03
автор: AlexDIZ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1123 26.3.2024, 14:13
автор: knezevolk


 



RSS Текстовая версия Сейчас: 29.3.2024, 10:14
Дизайн