X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Страницы, загруженные роботом Яндекса
bescom
bescom
Topic Starter сообщение 10.6.2014, 8:36; Ответить: bescom
Сообщение #1


Участник
***

Группа: User
Сообщений: 247
Регистрация: 2.7.2012
Из: Бакал
Поблагодарили: 29 раз
Репутация:   1  


Наверное, многие видели такую картину в сервисе Вебмастер Яндекса:



То есть, робот загрузил страниц во много раз больше, чем проиндексировал. Но это еще полбеды, потому что загрузил он и в разы больше страниц, чем их реально есть на сайте.

В связи с этим пара вопросов:

1. Может быть, кто-то знает, как у Яндекса выпытать список загруженных роботом страниц? В Вебмастере эта информация недоступна.

2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt, то есть в определенном смысле имитируют считывание адресов подобно роботу Яши?


Думаю, такая информация многим была бы полезна, а особенно тем, кто не может справиться с дублями страниц.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ortero
Ortero
сообщение 10.6.2014, 8:55; Ответить: Ortero
Сообщение #2


\m/_ _\m/
******

Группа: Active User
Сообщений: 1891
Регистрация: 23.2.2012
Поблагодарили: 840 раз
Репутация:   99  


537 - это и есть число страниц, которые загрузил робот. Сюда входят все страницы, известные роботу. Даже те, которые запрещены к индексации.


--------------------
Бегет - просто хороший хостинг, который еще и ssl-сертификат бесплатно дает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bescom
bescom
Topic Starter сообщение 10.6.2014, 8:59; Ответить: bescom
Сообщение #3


Участник
***

Группа: User
Сообщений: 247
Регистрация: 2.7.2012
Из: Бакал
Поблагодарили: 29 раз
Репутация:   1  


Ortero, нужен список загруженных роботом страниц.

Цитата(Ortero @ 10.6.2014, 9:55) *
Даже те, которые запрещены к индексации

Что-то я сомневаюсь. Иначе бы там было в десятки больше пунктов, в том числе и файлы движка CMS.

Сообщение отредактировал bescom - 10.6.2014, 9:03


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 10.6.2014, 10:10; Ответить: santis
Сообщение #4


Топовый постер
*******


Группа: Active User
Сообщений: 3571
Регистрация: 29.11.2010
Из: Краснодар
Поблагодарили: 1564 раза
Репутация:   169  


Цитата(bescom @ 10.6.2014, 8:36) *
1. Может быть, кто-то знает, как у Яндекса выпытать список загруженных роботом страниц? В Вебмастере эта информация недоступна.

2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt, то есть в определенном смысле имитируют считывание адресов подобно роботу Яши?

1. Список думаю что не выпытаешь.
2. page-weight - он ничего не имитирует, но страницы покажет твоего сайта и кто на кого ссылается.

Вообще ситуация у тебя ничуть не странная. Грузит много, а в индекс попадает меньше - это может быть как из-за того что часть страниц ненадлежащего качества, так и из-за того что просто он ещё не решил по каким запросам показывать, и стоит ли показывать вообще


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ortero
Ortero
сообщение 10.6.2014, 10:12; Ответить: Ortero
Сообщение #5


\m/_ _\m/
******

Группа: Active User
Сообщений: 1891
Регистрация: 23.2.2012
Поблагодарили: 840 раз
Репутация:   99  


bescom, а разве там нельзя в xls выгрузить?

Можно xenu попробовать. Она все страницы показывает.


Цитата
Что-то я сомневаюсь.

Ну значит робот до этих страниц не дошел.


Сообщение отредактировал Ortero - 10.6.2014, 10:14


--------------------
Бегет - просто хороший хостинг, который еще и ssl-сертификат бесплатно дает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
frion-seo
frion-seo
сообщение 10.6.2014, 10:34; Ответить: frion-seo
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 752
Регистрация: 16.9.2010
Поблагодарили: 187 раз
Репутация:   68  


Цитата(bescom @ 10.6.2014, 7:36) *
2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt

text.ru
добавляешь сайт на проверку уникальности и сервис тебе предварительно бесплатно проиндексирует страницы с учетом роботс


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bescom
bescom
Topic Starter сообщение 10.6.2014, 18:37; Ответить: bescom
Сообщение #7


Участник
***

Группа: User
Сообщений: 247
Регистрация: 2.7.2012
Из: Бакал
Поблагодарили: 29 раз
Репутация:   1  


Цитата(santis @ 10.6.2014, 11:10) *
Грузит много, а в индекс попадает меньше - это может быть как из-за того что часть страниц ненадлежащего качества, так и из-за того что просто он ещё не решил по каким запросам показывать, и стоит ли показывать вообще

Нет, тут дело не в том, на сайте реально 146 страниц, а робот грузит 537, то есть проблема именно в дублях.

Цитата(Ortero @ 10.6.2014, 11:12) *
а разве там нельзя в xls выгрузить?

Нет, таблицей выгружается только история, когда заходил робот и сколько страниц нашел.

Цитата(Ortero @ 10.6.2014, 11:12) *
Можно xenu попробовать. Она все страницы показывает.

Вот в том и дело, что абсолютно все, даже закрытые от индексации и незагружаемые роботом. Точно так же не подходит и SitemapGenerator.

Цитата(Ortero @ 10.6.2014, 11:12) *
значит робот до этих страниц не дошел

За несколько лет? ;)

Цитата(frion-seo @ 10.6.2014, 11:34) *
text.ru добавляешь сайт на проверку уникальности и сервис тебе предварительно бесплатно проиндексирует страницы с учетом роботс

Спасибо. Ушел пробовать.

Друзья, вопрос решен, подсказали добрые люди. :)

Вот программа, которая полностью отвечает моему запросу, а также может очень многим помочь и с другими вопросами. Пробуйте, не пожалеете - http://netpeak.ua/soft/netpeak-spider/


Я пробую и другие советы, но уже как дополнение.

Еще один сервис http://text.ru/url-check показал хороший результат - тоже, как и Netpeak Spider, произвел верное сканирование с учетом robots.txt

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал bescom - 10.6.2014, 17:40


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Сайту не хвататет любви яндекса
9 HavingingWorld 1317 24.5.2018, 14:25
автор: про100та
Открытая тема (нет новых ответов) Непонятный дубль страницы
5 kelevra 946 16.5.2018, 12:52
автор: adnr78
Открытая тема (нет новых ответов) Кнопка в сниппете в результатах выдачи Яндекса
Чат с компанией
7 falken 893 8.5.2018, 12:01
автор: genjnat
Открытая тема (нет новых ответов) Левые страницы в метрике
4 zlatgeorg 1134 3.5.2018, 8:59
автор: Akeeloq
Открытая тема (нет новых ответов) Обзор: Эксперимент Яндекса с видео в сниппете
itb-company.com - seo и интернет маркетинг
3 slavyan 1493 1.5.2018, 21:32
автор: vvovvo


 



RSS Текстовая версия Сейчас: 27.5.2018, 5:58
Дизайн