X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Какой же все таки правильный robots для wp
Gracisko
Gracisko
Topic Starter сообщение 17.8.2012, 22:37; Ответить: Gracisko
Сообщение #1


клоновод
******


Группа: Banned
Сообщений: 1161
Регистрация: 23.3.2011
Поблагодарили: 46 раз
Репутация:   8  


Что на всех сайтах, где предлагают готовый роботс для wp, какой-то разный. Сейчас во нужно, а где правильный и почему?
Мне как обычно закрыть не нужное - категории, метки, что еще там закрыть нужно?


--------------------
клоновод
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lrad
lrad
сообщение 17.8.2012, 23:02; Ответить: lrad
Сообщение #2


Участник
***

Группа: User
Сообщений: 130
Регистрация: 29.10.2010
Поблагодарили: 37 раз
Репутация:   11  


Берете хороший посещаемый блог на вордпрессе, чтобы был в топе ПС.
Смотрите у него роботс.


--------------------
FASTVPS - надежный старый хостинг в датацентре Германии с русскоязыячной техподдержкой
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 17.8.2012, 23:05; Ответить: serg5777
Сообщение #3


Стоп NATO
*******


Группа: Active User
Сообщений: 4320
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1333 раза
Репутация:   193  


Вот мой, все страницы в индексе:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: /comments
Disallow: /tag/
Disallow: /*?*
Disallow: /?s=
Disallow: /archive
Disallow: /search
Disallow: /xmlrpc.php

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag/
Disallow: /*?*
Disallow: /?s=
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lrad
lrad
сообщение 17.8.2012, 23:14; Ответить: lrad
Сообщение #4


Участник
***

Группа: User
Сообщений: 130
Регистрация: 29.10.2010
Поблагодарили: 37 раз
Репутация:   11  


Я бы добавил
Disallow: /*comment-page-*
Disallow: /*comment-*
Disallow: /quote-comment-*/comment-*
Disallow: /quote-comment-*


Сообщение отредактировал lrad - 17.8.2012, 23:15


--------------------
FASTVPS - надежный старый хостинг в датацентре Германии с русскоязыячной техподдержкой
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ronnie
Ronnie
сообщение 18.8.2012, 1:07; Ответить: Ronnie
Сообщение #5


клоновод
****

Группа: Banned
Сообщений: 253
Регистрация: 25.3.2012
Из: Жыве Беларусь
Поблагодарили: 77 раз
Репутация:   9  


Какой же все таки правильный robots для wp


Такой, который вы сами себе сделаете.


--------------------
клоновод


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gracisko
Gracisko
Topic Starter сообщение 18.8.2012, 13:46; Ответить: Gracisko
Сообщение #6


клоновод
******


Группа: Banned
Сообщений: 1161
Регистрация: 23.3.2011
Поблагодарили: 46 раз
Репутация:   8  


У меня нашелся такой robots.txt, не знаю на сколько он полноценный и правильный

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /tag/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /tag/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

Host: www.sait.ru


Как то еще попал на новые изменения в учитывании robots.txt яндексом, что про звездочку * было сказано, что чего там по другому учитывается, но уже не найду. Подскажите.


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Muwqa
Muwqa
сообщение 18.8.2012, 13:47; Ответить: Muwqa
Сообщение #7


Мошенник
*****

Группа: Banned
Сообщений: 797
Регистрация: 29.11.2011
Поблагодарили: 215 раз
Репутация:   44  


А зачем дублировать специально для Яшки? Он что, по Вашему мнению, особенный?


--------------------
Заблокирован за мошенничество.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gracisko
Gracisko
Topic Starter сообщение 18.8.2012, 14:14; Ответить: Gracisko
Сообщение #8


клоновод
******


Группа: Banned
Сообщений: 1161
Регистрация: 23.3.2011
Поблагодарили: 46 раз
Репутация:   8  


(Muwqa @ 18.8.2012, 12:47) *


Яша сказал, что нужно для него отдельно прописывать, так все и делают.

Так насколько этот роботс правильный?


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Muwqa
Muwqa
сообщение 18.8.2012, 14:17; Ответить: Muwqa
Сообщение #9


Мошенник
*****

Группа: Banned
Сообщений: 797
Регистрация: 29.11.2011
Поблагодарили: 215 раз
Репутация:   44  


Gracisko,
http://help.yandex.ru/webmaster/?id=996567
(Gracisko @ 18.8.2012, 13:14) *
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

А где он сказал то? Яндекс этот Ваш?
Для каждого сайта robots.txt разный, правильный это тот, который подходит к ВАШЕМУ сайту.

Сообщение отредактировал Muwqa - 18.8.2012, 14:18


--------------------
Заблокирован за мошенничество.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Reader
Reader
сообщение 18.8.2012, 14:50; Ответить: Reader
Сообщение #10


манимейкер
*******

Группа: Active User
Сообщений: 2509
Регистрация: 22.4.2009
Из: России
Поблагодарили: 1017 раз
Репутация:   121  


User-agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /author
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */attachment/
Disallow: */comments
Disallow: */comment-page
Disallow: */*?*
Allow: /wp-content/uploads
Host: сайт.ру

Sitemap: http://сайт.ру/sitemap.xml

При этом гугл часть страниц проиндексирует и отправит в сопли. На сайтах, где не нужен рсс, отключаю его и 301 редирект на главную, а также все остальное лишнее. прописывается в function.php.

// remove version info from head and feeds
function complete_version_removal() {
return '';
}
add_filter('the_generator', 'complete_version_removal');

// remove junk from head
remove_action('wp_head', 'rsd_link');
remove_action('wp_head', 'wp_generator');
remove_action('wp_head', 'feed_links', 2);
remove_action('wp_head', 'index_rel_link');
remove_action('wp_head', 'wlwmanifest_link');
remove_action('wp_head', 'feed_links_extra', 3);
remove_action('wp_head', 'start_post_rel_link', 10, 0);
remove_action('wp_head', 'parent_post_rel_link', 10, 0);
remove_action('wp_head', 'wp_shortlink_wp_head', 10, 0 );
remove_action('wp_head', 'adjacent_posts_rel_link', 10, 0);
remove_action('wp_head', 'adjacent_posts_rel_link_wp_head', 10, 0 );

function fb_disable_feed() {
header("Location: /index.php",TRUE,301);
}

add_action('do_feed', 'fb_disable_feed', 1);
add_action('do_feed_rdf', 'fb_disable_feed', 1);
add_action('do_feed_rss', 'fb_disable_feed', 1);
add_action('do_feed_rss2', 'fb_disable_feed', 1);
add_action('do_feed_atom', 'fb_disable_feed', 1);

Это помогает достичь баланса и вселенской гармонии - число страниц в яндексе равно числу страниц в гугле.

Сообщение отредактировал Reader - 18.8.2012, 14:52
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
7 komarik_vlad 797 Сегодня, 9:47
автор: Mikki
Открытая тема (нет новых ответов) EasyTop - Бесплатный бот для накрутки ВКонтакте
3 DimaMyrzich 806 Сегодня, 4:30
автор: jingo
Открытая тема (нет новых ответов) Найду для вас домены
14 MakDonald 2537 Сегодня, 0:46
автор: ponita
Открытая тема (нет новых ответов) Ищу платёжный агрегатор для работы с физ. лизами (не ИП)
17 SergeiVL 2433 Вчера, 20:43
автор: BestExchangers
Открытая тема (нет новых ответов) Разработка баннеров для интернет-рекламы: html5, flash, gif и jpg
22 twildd 5921 Вчера, 19:02
автор: twildd


 



RSS Текстовая версия Сейчас: 12.12.2017, 12:41
Дизайн