X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Описание веб-страницы недоступно из-за ограничений в файле robots.txt., Проблема
Mukis
Mukis
Topic Starter сообщение 2.1.2016, 19:27; Ответить: Mukis
Сообщение #1


Солнце еще высоко
******

Группа: Active User
Сообщений: 1451
Регистрация: 7.11.2012
Поблагодарили: 550 раз
Репутация:   127  


Добрый день, уважаемые форумчане!
Всех с наступившим Новым Годом!

Помогите разобраться в проблеме. В сниппете гугла выдается такое: Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

Ниже роботс:
Код
User-agent: *
Disallow: /administrator/
Disallow: /cli/
Disallow: /components/
Disallow: /images/sampledata
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
Disallow: /index.php
Disallow: /*components*
Disallow: /*.php$
Disallow: /*com_content*
Disallow: /component/search*
Disallow: /component/jcomments*
Disallow: /component/search/?searchword*
Disallow: /*partners.html
Disallow: /*?limitstart*
Disallow: /*?start*
Disallow: /xmlrpc/
Disallow: /fotogalereya.html?project_layout=default
Disallow: /glavnaya-stranitsa.html
Disallow: /?act=ajax*
Disallow: /?id=144&lang=en
Disallow: /?bn=colorzone_info&lang=en&site=colorzone
Disallow: /?site=colorzone
Disallow: /4-probnoe-zanyatie-po-kitajskomu-yazyku/event_details.html
Disallow: /5-probnoe-zanyatie-po-turetskomu-yazyku/event_details.html
Disallow: /8-probnoe-zanyatie-po-anglijskomu-yazyku-intermediate/event_details.html
Disallow: /6-probnoe-zanyatie-po-turetskomu-yazyku/event_details.html
Disallow: /component/com_chronoforms/chronoform,Zapisp/
Disallow: /component/com_chronoforms/Itemid,506/view,form/
Disallow: /all.html
Disallow: /37-doroxina.html
Disallow: /36-shanshan.html
Disallow: /35-marta567567567.html
Disallow: /34-aiden1324343456.html
Disallow: /31-profabu2342342342.html
Disallow: /all.html?page=1
Disallow: /teacher.html
Disallow: /16-img-0598.html
Disallow: /15-img-0599.html
Disallow: /14-turkish-2.html
Disallow: /13-turkish-12.html
Disallow: /10-turkish-1.html
Disallow: /7.html
Disallow: /14-profabu1.html
Disallow: /teacher.html?page=1
Disallow: /component/com_extroforms/Itemid,506/id,1/view,efforms/

Sitemap: https://lang-spb.ru/sitemap.xml

Host: https://lang-spb.ru/


Из последних изменений - недавно переехал на https.. Больше ничего нового не делал с роботсом. Подскажите, как исправить?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 2.1.2016, 19:52; Ответить: MacLeo
Сообщение #2


тИЦ`анутый
******

Группа: Active User
Сообщений: 1126
Регистрация: 1.6.2010
Поблагодарили: 316 раз
Репутация:   49  


Mukis, просмотрел по site:lang-spb.ru всю выдачу, такого текста нету.

Покажите пример такой выдачи.


--------------------
SEO аудиты | Сайты под ключ | Верстка | Продвижение | Web дизайн и наружная реклама
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mukis
Mukis
Topic Starter сообщение 2.1.2016, 20:02; Ответить: Mukis
Сообщение #3


Солнце еще высоко
******

Группа: Active User
Сообщений: 1451
Регистрация: 7.11.2012
Поблагодарили: 550 раз
Репутация:   127  


MacLeo, К примеру, курсы английского языка в спб
https://www.google.ru/search?ie=UTF-8&h...&gws_rd=ssl

Сообщение отредактировал Mukis - 2.1.2016, 20:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 2.1.2016, 20:20; Ответить: MacLeo
Сообщение #4


тИЦ`анутый
******

Группа: Active User
Сообщений: 1126
Регистрация: 1.6.2010
Поблагодарили: 316 раз
Репутация:   49  


Mukis, если честно - хз, но
- Вы вкурсе что при переходе из пс по клике на заголовок происходит редирект на главную страницу, а не на kursy-english.html ?
- в robots.txt указано зеркало уже с https и, Яндекс, к примеру, считает все ссылки с http на Ваш сайт - чужими (не вашими), может гугл тоже так и по этому не дает индексировать страницу?

Может что то из этого..
И да, robots кривоват, его бы доработать :)

Сообщение отредактировал MacLeo - 2.1.2016, 20:20


--------------------
SEO аудиты | Сайты под ключ | Верстка | Продвижение | Web дизайн и наружная реклама
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mukis
Mukis
Topic Starter сообщение 2.1.2016, 21:08; Ответить: Mukis
Сообщение #5


Солнце еще высоко
******

Группа: Active User
Сообщений: 1451
Регистрация: 7.11.2012
Поблагодарили: 550 раз
Репутация:   127  


MacLeo, ого, а как это? У меня есть страница https://lang-spb.ru/kursy-english.html
И она никуда не редиректит. Это как вобще такое возможно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 2.1.2016, 21:12; Ответить: MacLeo
Сообщение #6


тИЦ`анутый
******

Группа: Active User
Сообщений: 1126
Регистрация: 1.6.2010
Поблагодарили: 316 раз
Репутация:   49  


Mukis, если по этой ссылке заходить - не редиректит, если с поиска - редирект на главную.


--------------------
SEO аудиты | Сайты под ключ | Верстка | Продвижение | Web дизайн и наружная реклама
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 2.1.2016, 21:21; Ответить: x64
Сообщение #7


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3424
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2746 раз
Репутация:   289  


В поиске, так понимаю, проиндексировано http. И ссылки на остальных ресурсах тоже http.
Неверно редирект настроен. Когда заходишь
http://lang-spb.ru/kursy-english.html
он кидает на главную, хотя должен на https-страницу.

ps: и, насколько помню, строки:
Sitemap: https://lang-spb.ru/sitemap.xml
Host: https://lang-spb.ru/
должны стоять впритык к остальной куче правил (без двойных переводов строки)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 2.1.2016, 21:38; Ответить: MacLeo
Сообщение #8


тИЦ`анутый
******

Группа: Active User
Сообщений: 1126
Регистрация: 1.6.2010
Поблагодарили: 316 раз
Репутация:   49  


Цитата(x64 @ 2.1.2016, 20:21) *
должны стоять впритык к остальной куче правил (без двойных переводов строки)

Да не, это не играет роли, что Яндекс что Google вполне себе видят строки сколько бы пробелов там не стояло.

Дабы не быть голословным:


По теме, ТС, попробуйте сделать редирект через .htacces с помощью mod_rewrite.


--------------------
SEO аудиты | Сайты под ключ | Верстка | Продвижение | Web дизайн и наружная реклама
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mukis
Mukis
Topic Starter сообщение 2.1.2016, 22:27; Ответить: Mukis
Сообщение #9


Солнце еще высоко
******

Группа: Active User
Сообщений: 1451
Регистрация: 7.11.2012
Поблагодарили: 550 раз
Репутация:   127  


Действительно, неверно был настроен редирект...
Теперь вроде все правильно редиректит, посмотрим как отреагирует гугл на это...Хорошо хоть они написали в сниппете это. А так в панели нет ошибок никаких, все ОК. Так бы выкинуло на фиг все страницы из индекса..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Enduci
Enduci
сообщение 3.1.2016, 9:51; Ответить: Enduci
Сообщение #10


Новичок
*

Группа: User
Сообщений: 21
Регистрация: 1.1.2016
Из: Казахстан
Поблагодарили: 0 раз
Репутация:   0  


Извиняюсь, что пишу в чужую тему (мне еще не разрешено создавать свои) У меня тоже возникла проблемка с robots.txt, не могу прописать директиву Host. Сайт на Blogger. Что делать? или без Хост можно жить?
Прикрепленное изображение
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Приоритет верхней части страницы
6 b3rsus 698 Сегодня, 13:29
автор: Caterpillar
Горячая тема (нет новых ответов) Профессиональное ведение Ютуб канала. Услуги по YouTube, ВК, Твитер, ИНСТ, ФБ, G+, ОД описание Продвижение в соц. сетях
Хорошие цены по соц. сетям
133 regdark 45956 12.12.2017, 23:42
автор: regdark
Открытая тема (нет новых ответов) Веб-разработка (HTML5, CSS3, JavaScript, jQuery, Ajax, PHP)
18 qpPeW 3383 12.12.2017, 13:32
автор: qpPeW
Открытая тема (нет новых ответов) Статьи из веб-архив
Уник. от 90%
5 Primetime 1181 11.12.2017, 22:39
автор: Александр30
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыОшибка при создании шаблона страницы ВП
Нет картинок
5 semarg 699 9.12.2017, 15:36
автор: Nell


 



RSS Текстовая версия Сейчас: 14.12.2017, 14:18
Дизайн