X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots на движке XenForo, Как правильно закрыть категории и страницы от индексации.
stixia007
stixia007
Topic Starter сообщение 25.11.2015, 13:09; Ответить: stixia007
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Здравствуйте уважаемые! Столкнулся с такой проблемой, структура движка весьма беспорядочна и как правильно закрывать страницы так и не понял. К сути:

Код
User-agent: *
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /help/
Disallow: /support-tickets/

Disallow: /subcategory/premium-vodka/
Disallow: /subcategory/govno-vodka/

Sitemap: http://site.ru/sitemap.xml
Host: http://site.ru/


В разделе "site.ru/subcategory/premium-vodka/" есть темы которые нужно закрыть.
Но как только мы перейдём с раздела "site.ru/subcategory/premium-vodka/" в любую тему, нас перекинет в такой раздел "site.ru/threads/kak-pravilno-pit-vodky.1437/"

Что мы видим, движок адресует темы с раздела "subcategory" в раздел "threads" и как тогда быть? У движка такая структура что темы в одном разделе, сами категории в другом. Получается если закрыть раздел, то мы закроем только раздел но не темы в котором они располагаются, как быть?

Конечно есть такая мысль, если закрыть раздел то логически он должен закрыть и темы в этом разделе, но вот темы та адресуются в другой раздел. Кто может помочь в этом нелёгком деле :)

Сообщение отредактировал stixia007 - 25.11.2015, 12:47
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 27.11.2015, 17:24; Ответить: stixia007
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Сори за флуд, 2 дня прошло - мне страшно-актуально.

Сообщение отредактировал stixia007 - 27.11.2015, 17:24
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BeerAbsorber
BeerAbsorber
сообщение 27.11.2015, 19:22; Ответить: BeerAbsorber
Сообщение #3


Участник
***

Группа: User
Сообщений: 109
Регистрация: 16.11.2010
Поблагодарили: 35 раз
Репутация:   5  


С движком не знаком, но может там есть возможность изменить ЧПУ для топиков, чтобы сначала шла категория, тогда ваша проблема решиться практически автоматом. По аналогии с Wordpress это было бы нечто вроде установки в постоянных ссылках шаблона "%category%/%post_id%"
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 27.11.2015, 19:29; Ответить: stixia007
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Есть роутеры перенаправляют главные категории, но структура такова что все темы в одну категорию, категории в другую и никак не исправить. Как на это реагирует ПС без понятие. Да и вообще, как так можно было делать > заходишь в категорию > далее в любую тему и ты уже в другом url. Заметил что микроразметка хлебные крошки почему-то не изменяется, выдаёт от начала до конца правильные пути, меняются только url (корневые).

Сообщение отредактировал stixia007 - 27.11.2015, 19:34
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 27.11.2015, 23:08; Ответить: genjnat
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 2277
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Цитата(stixia007 @ 25.11.2015, 12:09) *
Но как только мы перейдём с раздела "site.ru/subcategory/premium-vodka/" в любую тему, нас перекинет в такой раздел "site.ru/threads/kak-pravilno-pit-vodky.1437/"

Disallow: /threads/kak-pravilno-pit-vodky.1437/
И неважно откуда на нее редирект приводит.

ПС
Между тегами Disallow не должно быть пустых строк, в хосте домен указывается без http://

ППС
URL /threads/kak-pravilno-pit-vodky.1437, где в качестве расширения .1437 тоже довольно странный...

Сообщение отредактировал genjnat - 27.11.2015, 23:09


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 27.11.2015, 23:39; Ответить: stixia007
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Цитата(genjnat @ 27.11.2015, 23:08) *
Disallow: /threads/kak-pravilno-pit-vodky.1437/
И неважно откуда на нее редирект приводит.

Вот только таких тем в категории сотни, и категорий не мало. Я чисто физически не буду успевать их закрывать, каждый день создают по 10.

Цитата(genjnat @ 27.11.2015, 23:08) *
URL /threads/kak-pravilno-pit-vodky.1437, где в качестве расширения .1437 тоже довольно странный...

.1437 это id темы.

Конечно я с помощью модуля проставил на всех не нужных разделах\темах <meta name="robots" content="noindex,nofollow"> но от гугла та не спасёт.

Сообщение отредактировал stixia007 - 27.11.2015, 23:36
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 28.11.2015, 0:16; Ответить: genjnat
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 2277
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Цитата(stixia007 @ 27.11.2015, 22:39) *
но от гугла та не спасёт

Почему это, спасет конечно.
И вы бы объяснили, что именно нужно закрыть, если весь раздел, то Disallow: /threads/


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 28.11.2015, 8:23; Ответить: stixia007
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Цитата(genjnat @ 28.11.2015, 0:16) *
Почему это, спасет конечно.
И вы бы объяснили, что именно нужно закрыть, если весь раздел, то Disallow: /threads/

Да нет, страницы всё равно в поиске хотя теги ноиндекс и нофолоу стоят. Если закрыть раздел /threads/ то вообще все темы закроем, а так 30% нужные темы. :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 28.11.2015, 10:26; Ответить: genjnat
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 2277
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Цитата(stixia007 @ 28.11.2015, 7:23) *
Да нет, страницы всё равно в поиске хотя теги ноиндекс и нофолоу стоят

По мере обхода ботом, выпадут
Цитата(stixia007 @ 28.11.2015, 7:23) *
а так 30% нужные темы

Лучше покажите сайт и страницы которые требуется закрыть, а то из этой формулировки
Цитата(stixia007 @ 27.11.2015, 22:39) *
Вот только таких тем в категории сотни, и категорий не мало

не понятно.
Закрыть можно все что угодно, просто нужно понять что именно :)

Сообщение отредактировал genjnat - 28.11.2015, 10:37


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 28.11.2015, 10:35; Ответить: stixia007
Сообщение #10


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


genjnat, палить сайт не хочу :) В лс скинул, если есть конечно лишнее время глянуть всегда рад.
В том то и беда, например на dle у меня проблем вообще нет, всё ясно понятно от куда ноги растут, а вот в хенфоро юрл меняются (корневые) независимо в какой категории тема находится.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 511 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Требуется верстка и натяжка шаблона форума Xenforo
6 mark2013 1173 17.10.2017, 12:43
автор: prapod
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1193 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Перенос форума с Xenforo на Invision Power Board
стоимость и сроки
2 mark2013 724 3.9.2017, 15:26
автор: mark2013
Открытая тема (нет новых ответов) Доработка форума Xenforo
вывод ссылок на главной странице
1 mark2013 683 18.7.2017, 11:37
автор: Anatoos


 



RSS Текстовая версия Сейчас: 16.12.2017, 21:26
Дизайн