X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос о robots.txt
MedLib
MedLib
Topic Starter сообщение 12.8.2012, 4:39; Ответить: MedLib
Сообщение #1


Не очень добрый Док
******


Группа: Active User
Сообщений: 2381
Регистрация: 9.8.2008
Из: Румыния & Украина
Поблагодарили: 767 раз
Репутация:   150  


Собственно, есть может и нубский, но вопрос: можно ли, запретив к индексации весь раздел сайта, разрешить индексироваться отдельным страницам этого раздела.

Например, на сайте есть раздел Авторы - он запрещен директивой Disallow, но можно ли как-то разрешить индексироваться странице этого раздела Автор Мэгги Стивотер и если можно, то как, не открывая весь раздел?

Сообщение отредактировал MedLib - 12.8.2012, 4:42


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serkaz
serkaz
сообщение 12.8.2012, 4:42; Ответить: serkaz
Сообщение #2


Участник
***

Группа: User
Сообщений: 203
Регистрация: 15.2.2012
Поблагодарили: 60 раз
Репутация:   10  


Disallow: /authors/
Allow: /authors/stivoter-meggi


Проверить можно на аддурилке яндекса

Сообщение отредактировал serkaz - 12.8.2012, 4:46


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MedLib
MedLib
Topic Starter сообщение 12.8.2012, 4:50; Ответить: MedLib
Сообщение #3


Не очень добрый Док
******


Группа: Active User
Сообщений: 2381
Регистрация: 9.8.2008
Из: Румыния & Украина
Поблагодарили: 767 раз
Репутация:   150  


serkaz, спасибо, так и сделал, затем проверил через панель ЯВМ. Указанный урл разрешен к индексации. А Директиву Allow лучше в каком порядке (в самом начале, в середине, в конце) указывать в robots.txt или без разницы?

И ещё один вопрос. У сайта есть поддомен. Яндекс понимает его как отдельный сайт и индексирует отдельно от основного домена. Google же считает его одним целым с доменом, поэтому разница проиндексированных страниц у основного домена в гугле и яндексе ну очень большая. Можно через robots как то указать гуглу, что поддомен - это отдельный сайт?

Сообщение отредактировал MedLib - 12.8.2012, 4:52


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 12.8.2012, 5:41; Ответить: saraus
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(MedLib @ 12.8.2012, 3:50) *
А Директиву Allow лучше в каком порядке

Помойму без разницы, но я всегда в начал прописываю (логично размышляя, с начало боту показываешь, что нужно индексировать, потом, что нет)

(MedLib @ 12.8.2012, 3:50) *
Google же считает его одним целым с доменом

Как вариант, прописать поддомену отдельный роботс с хостом.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serkaz
serkaz
сообщение 12.8.2012, 6:25; Ответить: serkaz
Сообщение #5


Участник
***

Группа: User
Сообщений: 203
Регистрация: 15.2.2012
Поблагодарили: 60 раз
Репутация:   10  


А Директиву Allow лучше в каком порядке


Насколько мне известно, без разницы, но на мой взгляд логичнее более длинное правило указывать после короткого. То есть в данном случае Allow: /authors/stivoter-meggi после Disallow: /authors/. Для удобства можете указать вот так:

User-Agent: *
Disallow: /authors/
Disallow: /*replytocom=
Disallow: /*page=
Disallow: /*s=
Disallow: /?p=
Disallow: /wp-admin/
Allow: /authors/stivoter-meggi


Как вариант, прописать поддомену отдельный роботс с хостом.


Хост это яндексовская приблуда.

Сообщение отредактировал serkaz - 12.8.2012, 6:28


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
loginmain
loginmain
сообщение 12.8.2012, 9:10; Ответить: loginmain
Сообщение #6


Оптимизатор
*******

Группа: Super Moderator
Сообщений: 4327
Регистрация: 5.10.2008
Из: UA
Поблагодарили: 1946 раз
Репутация:   196  


(MedLib @ 12.8.2012, 3:50) *
А Директиву Allow лучше в каком порядке (в самом начале, в середине, в конце) указывать в robots.txt или без разницы?

яша говорит, что разницы нет, но лучше сортировать по длине
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом.


(MedLib @ 12.8.2012, 3:50) *
И ещё один вопрос. У сайта есть поддомен. Яндекс понимает его как отдельный сайт и индексирует отдельно от основного домена. Google же считает его одним целым с доменом, поэтому разница проиндексированных страниц у основного домена в гугле и яндексе ну очень большая. Можно через robots как то указать гуглу, что поддомен - это отдельный сайт?

Хм... поддомен помоему всегда является отдельным сайтом.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
15 viktormerke 2551 Вчера, 11:53
автор: Caterpillar
Открытая тема (нет новых ответов) Вопрос к знатокам Instagram
20 SEOMR 4172 30.11.2017, 14:25
автор: DiscordPro
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1145 28.11.2017, 14:25
автор: PostBrigada
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47488 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАrticle manager вопрос
0 Smile3D 440 24.11.2017, 18:27
автор: Smile3D


 



RSS Текстовая версия Сейчас: 15.12.2017, 9:03
Дизайн