X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите разобраться в robots.txt для WP
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 22:57; Ответить: Jordanutto
Сообщение #1


Всем привет. Существует проблема в работе robots.txt на сайте с CMS Wordpress.
Дело в том, что в индексе ПС Google у меня появились следующие страницы:
Прикрепленное изображение

В тоже время они не отображаются на странице поиска страниц сайта в идексе ПС Google, пока не нажать на:
Прикрепленное изображение


Сейчас в файле robots вот такие записи:
Развернуть/Свернуть
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */page/*
Disallow: /author/*
Disallow: /feedback/
Disallow: /share42
Disallow: /pollsarchive

Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Подскажите, пожалуйста, что я не так делаю и в чем мой косяк?


--------------------
Накрутка подписчиков в Medium, Steemit.
Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео.
Писать в ЛС
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 25.5.2014, 23:13; Ответить: n0rv
Сообщение #2


Это Гугл, ему по большому счету без разницы что прописано в robots, индексирует все подряд.


--------------------
Комплексная оптимизация и продвижение сайтов.


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
profican
profican
сообщение 25.5.2014, 23:35; Ответить: profican
Сообщение #3


Цитата
индексе ПС Google


Я бы попробовал для Google прописать так же конкретно, как и для Яндекс. User-agent: * может не тот?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jordanutto
Jordanutto
Topic Starter сообщение 25.5.2014, 23:38; Ответить: Jordanutto
Сообщение #4


profican, если честно, я абсолютно не разбираюсь в записях для robots, поэтому и прошу помощи.

Сообщение отредактировал Jordanutto - 25.5.2014, 23:38


--------------------
Накрутка подписчиков в Medium, Steemit.
Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео.
Писать в ЛС
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
сообщение 25.5.2014, 23:39; Ответить: SATURN25
Сообщение #5


Jordanutto, Пробуй удаляй в вебмастере вручную все левые ссылки. Я уже тут тоже на форуме спрашивал. Я устал бороться с гуглом, но сейчас он потихоньку сам начал удалять эти "хвосты". Наверное какое то время надо чтоб он понял что они не несут никакой ценной инфы для посетителя. Но смотри под такой "некрасивой" ссылкой должно быть написано что индексация запрещена в роботс тексте. И со временем начнут они исчезать. У меня на сайте 59 записей, а в гугле 420 страниц было !!! Сейчас уже 300 стало...Каждый день он выкидывает из супемент индекса по 1-3 страницы. Файл роботс у тебя правильный

Сделай канонические страницы, чтоб не было дублей.. Ниже мой роботс,собирал около месяца, пока не нашёл для себя оптимальный вариант :

Код
User-agent:Googlebot
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: *?attachment_id=
Disallow :/?attachment_id
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-cron.php
Disallow: /goto/
Disallow: *.html/*
Disallow: */sphinx/*
Disallow: */*.js*
Disallow: /daos/
Disallow: /wp-content/themes
Disallow: /webstat/
Disallow: */?p*
Disallow: */?s*
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /search
Disallow: / wp-content/
Disallow: /goto/
Disallow: */page/*
Disallow: */page/
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /20*
Sitemap:http://site.com/sitemap.xml
Sitemap:http://site.com/sitemap.xml.gz


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Обучение Email Рассылкам + Софт Для Автоматизации (100к в сутки с сервера)
9 zennoboss 4585 Вчера, 21:03
автор: 100ftd
Открытая тема (нет новых ответов) Посоветуйте массажер для спины и шеи
9 Boymaster 869 Вчера, 13:56
автор: Vmir
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
14 Aloof 3375 Вчера, 13:50
автор: Vmir
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЛюблю творить! Статьи для вас
Копирайтинг- моя жизнь!
312 Zoya83 190683 Вчера, 7:51
автор: DimonX
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСовременный сервис для быстрого и безопасного обмена валют.
15 CryptoTims 4953 22.4.2024, 22:32
автор: CryptoTims


 



RSS Текстовая версия Сейчас: 24.4.2024, 4:12
Дизайн