[X] Помощник

[bescom Topic Starter]

Наверное, многие видели такую картину в сервисе Вебмастер Яндекса:



То есть, робот загрузил страниц во много раз больше, чем проиндексировал. Но это еще полбеды, потому что загрузил он и в разы больше страниц, чем их реально есть на сайте.

В связи с этим пара вопросов:

1. Может быть, кто-то знает, как у Яндекса выпытать список загруженных роботом страниц? В Вебмастере эта информация недоступна.

2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt, то есть в определенном смысле имитируют считывание адресов подобно роботу Яши?

Думаю, такая информация многим была бы полезна, а особенно тем, кто не может справиться с дублями страниц.

[Ortero]

537 - это и есть число страниц, которые загрузил робот. Сюда входят все страницы, известные роботу. Даже те, которые запрещены к индексации.

[bescom Topic Starter]

Ortero, нужен список загруженных роботом страниц.

Даже те, которые запрещены к индексации

Что-то я сомневаюсь. Иначе бы там было в десятки больше пунктов, в том числе и файлы движка CMS.

Сообщение отредактировал bescom - 10.6.2014, 9:03

[santis]

1. Может быть, кто-то знает, как у Яндекса выпытать список загруженных роботом страниц? В Вебмастере эта информация недоступна.

2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt, то есть в определенном смысле имитируют считывание адресов подобно роботу Яши?

1. Список думаю что не выпытаешь.
2. page-weight - он ничего не имитирует, но страницы покажет твоего сайта и кто на кого ссылается.

Вообще ситуация у тебя ничуть не странная. Грузит много, а в индекс попадает меньше - это может быть как из-за того что часть страниц ненадлежащего качества, так и из-за того что просто он ещё не решил по каким запросам показывать, и стоит ли показывать вообще

[Ortero]

bescom, а разве там нельзя в xls выгрузить?

Можно xenu попробовать. Она все страницы показывает.

Что-то я сомневаюсь.

Ну значит робот до этих страниц не дошел.


Сообщение отредактировал Ortero - 10.6.2014, 10:14

[frion-seo]

2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt

text.ru
добавляешь сайт на проверку уникальности и сервис тебе предварительно бесплатно проиндексирует страницы с учетом роботс

[bescom Topic Starter]

Грузит много, а в индекс попадает меньше - это может быть как из-за того что часть страниц ненадлежащего качества, так и из-за того что просто он ещё не решил по каким запросам показывать, и стоит ли показывать вообще

Нет, тут дело не в том, на сайте реально 146 страниц, а робот грузит 537, то есть проблема именно в дублях.

а разве там нельзя в xls выгрузить?

Нет, таблицей выгружается только история, когда заходил робот и сколько страниц нашел.

Можно xenu попробовать. Она все страницы показывает.

Вот в том и дело, что абсолютно все, даже закрытые от индексации и незагружаемые роботом. Точно так же не подходит и SitemapGenerator.

значит робот до этих страниц не дошел

За несколько лет?

text.ru добавляешь сайт на проверку уникальности и сервис тебе предварительно бесплатно проиндексирует страницы с учетом роботс

Спасибо. Ушел пробовать.

Друзья, вопрос решен, подсказали добрые люди.

Вот программа, которая полностью отвечает моему запросу, а также может очень многим помочь и с другими вопросами. Пробуйте, не пожалеете - http://netpeak.ua/soft/netpeak-spider/

Я пробую и другие советы, но уже как дополнение.

Еще один сервис http://text.ru/url-check показал хороший результат - тоже, как и Netpeak Spider, произвел верное сканирование с учетом robots.txt

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.

Сообщение отредактировал bescom - 10.6.2014, 17:40