Помощник
|
Помогите разобраться в robots.txt для WP |
Jordanutto
|
Сообщение
#1
|
||||
|
|
||||
|
|||||
n0rv |
25.5.2014, 23:13;
Ответить: n0rv
Сообщение
#2
|
|
Это Гугл, ему по большому счету без разницы что прописано в robots, индексирует все подряд.
-------------------- |
|
|
profican |
25.5.2014, 23:35;
Ответить: profican
Сообщение
#3
|
|
Цитата индексе ПС Google Я бы попробовал для Google прописать так же конкретно, как и для Яндекс. User-agent: * может не тот? -------------------- Успехов! ♥ Тестирование сайтов ♠ |
|
|
Jordanutto
|
Сообщение
#4
|
|
profican, если честно, я абсолютно не разбираюсь в записях для robots, поэтому и прошу помощи.
Сообщение отредактировал Jordanutto - 25.5.2014, 23:38 -------------------- Парсинг любой информации с Авито, Drom, Cian, Юла, Эльдорадо, Мвидео. Писать в ЛС |
|
|
SATURN25 |
25.5.2014, 23:39;
Ответить: SATURN25
Сообщение
#5
|
|
|
Jordanutto, Пробуй удаляй в вебмастере вручную все левые ссылки. Я уже тут тоже на форуме спрашивал. Я устал бороться с гуглом, но сейчас он потихоньку сам начал удалять эти "хвосты". Наверное какое то время надо чтоб он понял что они не несут никакой ценной инфы для посетителя. Но смотри под такой "некрасивой" ссылкой должно быть написано что индексация запрещена в роботс тексте. И со временем начнут они исчезать. У меня на сайте 59 записей, а в гугле 420 страниц было !!! Сейчас уже 300 стало...Каждый день он выкидывает из супемент индекса по 1-3 страницы. Файл роботс у тебя правильный
Сделай канонические страницы, чтоб не было дублей.. Ниже мой роботс,собирал около месяца, пока не нашёл для себя оптимальный вариант : Код User-agent:Googlebot Disallow: User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: *?attachment_id= Disallow :/?attachment_id Disallow: */feed$ Disallow: */trackback$ Disallow: */comments$ Disallow: /search/ Disallow: /cgi-bin Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-cron.php Disallow: /goto/ Disallow: *.html/* Disallow: */sphinx/* Disallow: */*.js* Disallow: /daos/ Disallow: /wp-content/themes Disallow: /webstat/ Disallow: */?p* Disallow: */?s* Disallow: /tag/ Disallow: /category/*/* Disallow: /*? Disallow: /*?* Disallow: /wp-content/ Disallow: /navigator Disallow: /navigator/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins Disallow: /search Disallow: / wp-content/ Disallow: /goto/ Disallow: */page/* Disallow: */page/ Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /*?* Disallow: /?feed= Disallow: /?s= Disallow: /20* Sitemap:http://site.com/sitemap.xml Sitemap:http://site.com/sitemap.xml.gz
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
SiteAnalyzer - бесплатная программа для аудита и анализа сайта | 79 | Chaser | 74319 | Сегодня, 1:02 автор: Chaser |
|
Посоветуйте массажер для спины и шеи | 11 | Boymaster | 934 | Вчера, 18:24 автор: Arsenwenger |
|
⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами! | 84 | AdsPower | 24599 | Вчера, 16:35 автор: AdsPower |
|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 55 | arendator | 35109 | Вчера, 2:12 автор: arendator |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 3 | Rebex | 975 | 24.4.2024, 20:50 автор: Rebex |
Текстовая версия | Сейчас: 26.4.2024, 2:27 |