Помощник
|
Страницы, загруженные роботом Яндекса |
bescom
|
Сообщение
#1
|
||
|
|
||
|
|||
Ortero |
10.6.2014, 8:55;
Ответить: Ortero
Сообщение
#2
|
|
537 - это и есть число страниц, которые загрузил робот. Сюда входят все страницы, известные роботу. Даже те, которые запрещены к индексации.
-------------------- |
|
|
bescom
|
Сообщение
#3
|
|
Ortero, нужен список загруженных роботом страниц.
Даже те, которые запрещены к индексации Что-то я сомневаюсь. Иначе бы там было в десятки больше пунктов, в том числе и файлы движка CMS. Сообщение отредактировал bescom - 10.6.2014, 9:03 -------------------- |
|
|
santis |
10.6.2014, 10:10;
Ответить: santis
Сообщение
#4
|
|
1. Может быть, кто-то знает, как у Яндекса выпытать список загруженных роботом страниц? В Вебмастере эта информация недоступна. 2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt, то есть в определенном смысле имитируют считывание адресов подобно роботу Яши? 1. Список думаю что не выпытаешь. 2. page-weight - он ничего не имитирует, но страницы покажет твоего сайта и кто на кого ссылается. Вообще ситуация у тебя ничуть не странная. Грузит много, а в индекс попадает меньше - это может быть как из-за того что часть страниц ненадлежащего качества, так и из-за того что просто он ещё не решил по каким запросам показывать, и стоит ли показывать вообще -------------------- |
|
|
Ortero |
10.6.2014, 10:12;
Ответить: Ortero
Сообщение
#5
|
|
bescom, а разве там нельзя в xls выгрузить?
Можно xenu попробовать. Она все страницы показывает. Цитата Что-то я сомневаюсь. Ну значит робот до этих страниц не дошел. Сообщение отредактировал Ortero - 10.6.2014, 10:14 -------------------- |
|
|
frion-seo |
10.6.2014, 10:34;
Ответить: frion-seo
Сообщение
#6
|
|
2. Может быть, кто-то знает онлайн-сервисы или программы, которые считывают адреса страниц сайтов с учетом robots.txt text.ru добавляешь сайт на проверку уникальности и сервис тебе предварительно бесплатно проиндексирует страницы с учетом роботс -------------------- |
|
|
bescom
|
Сообщение
#7
|
|
|
Грузит много, а в индекс попадает меньше - это может быть как из-за того что часть страниц ненадлежащего качества, так и из-за того что просто он ещё не решил по каким запросам показывать, и стоит ли показывать вообще Нет, тут дело не в том, на сайте реально 146 страниц, а робот грузит 537, то есть проблема именно в дублях. а разве там нельзя в xls выгрузить? Нет, таблицей выгружается только история, когда заходил робот и сколько страниц нашел. Можно xenu попробовать. Она все страницы показывает. Вот в том и дело, что абсолютно все, даже закрытые от индексации и незагружаемые роботом. Точно так же не подходит и SitemapGenerator. значит робот до этих страниц не дошел За несколько лет? text.ru добавляешь сайт на проверку уникальности и сервис тебе предварительно бесплатно проиндексирует страницы с учетом роботс Спасибо. Ушел пробовать. Друзья, вопрос решен, подсказали добрые люди. Вот программа, которая полностью отвечает моему запросу, а также может очень многим помочь и с другими вопросами. Пробуйте, не пожалеете - http://netpeak.ua/soft/netpeak-spider/ Я пробую и другие советы, но уже как дополнение. Еще один сервис http://text.ru/url-check показал хороший результат - тоже, как и Netpeak Spider, произвел верное сканирование с учетом robots.txt
Сообщение отредактировал bescom - 10.6.2014, 17:40 -------------------- |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Продвижение сайтов в ТОП Яндекса за 2 недели. Рост позиций и трафика Бесплатный тест |
19 | Konrod | 9879 | 18.3.2024, 10:04 автор: Konrod |
|
Нужно ли закрывать ненужные страницы тегом noindex, follow? | 8 | noviktamw | 2904 | 2.3.2024, 12:53 автор: toplinks |
|
Вытащить страницы из кэша Яндекса | 2 | VostrVL | 1959 | 11.1.2024, 23:07 автор: ЛаврионСергеевич |
|
Вывод подсказок в топ яндекса + продвижение сайта | 6 | Mikhail_B | 1927 | 4.9.2022, 19:21 автор: Monah |
|
тИЦ отменили! Новый показатель Яндекса ИКС! Лучшие площадки под размещение. Бесплатное написание статей при любом заказе. Эксклюзивное предложение. Успей получить написание статей БЕСПЛАТНО |
71 | VIMstat | 78472 | 21.6.2022, 9:38 автор: VIMstat |
Текстовая версия | Сейчас: 18.4.2024, 15:21 |