X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Как выгрузить страницы индекса
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 10:28; Ответить: Artyom91
Сообщение #1


Здравствуйте, подскажите как можно выгрузить те ссылки которые в индексе яндекса для последующего формирования sitemap.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DrFOX_ru
DrFOX_ru
сообщение 2.5.2013, 11:11; Ответить: DrFOX_ru
Сообщение #2


Можете добавить сайт в яндекс вебмастер и там есть возможность выгрузки в эксель.
А если пользоваться популярными движками, там есть плагины для создания карты сайта.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 12:45; Ответить: Artyom91
Сообщение #3


Скажите конкретнее где выгрузить в ЯВМ.

У меня стоит поиск музыки, и если делать карту сайта софтом то много лишних страниц выгрузит, а мне нужны именно те которые попали в индекс яндекса.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ovsyannikoff
ovsyannikoff
сообщение 2.5.2013, 14:49; Ответить: ovsyannikoff
Сообщение #4


1) Можно пропарсить всю структуру сайта с помощью софта Xenu например, а потом все ссылки проверить с помощью программы например YCCY на индексацию.
2) Если страниц в индексе яндексе не очень много, то устанавливаем плагин SEOquake, устанавливаем в яндексе вывод по 50 результатов на странице. Вводим в поисковую строку site:site.ru и сохраняем с помощью плагина SEOquake выдачу и так каждую страницу по 50 результатов.

P.S. в sitemap наоборот размещают ссылки которые не попали в индекс, зачем вам там размещать которые уже проиндексировались...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 15:05; Ответить: Artyom91
Сообщение #5


Мне для сапы. В индексе больше 100 000 страниц. На счет структуры, я же говорю, стоит поиск музыки, который может и не вывести больше половины страниц которые в индексе, нужно как-то из яндекса выгрузить.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ovsyannikoff
ovsyannikoff
сообщение 2.5.2013, 16:23; Ответить: ovsyannikoff
Сообщение #6


Artyom91, через парсер яндекса тогда http://topperharley.ru/2009/06/yandex-pars...eksa-besplatno/ в запросах укажи site:site.ru где site.ru адрес твоего сайта ну и в настройках яндекса поставь чтобы выдача была по 50 результатов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 17:01; Ответить: Artyom91
Сообщение #7


Спасибо друг, вроде работает )

Блин, почему-то парсит только 1000 результатов, а дальше нет плагинации, ну, циферок переходам по страницам.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jack
jack
сообщение 2.5.2013, 17:04; Ответить: jack
Сообщение #8


(Artyom91 @ 2.5.2013, 16:01) *
а дальше нет плагинации

наверное всё же "пагинации". Да, это специфика ПС такая, гугл тоже не всё отдаёт.


--------------------
Stimul-Cash и RX-Partners - лидеры фарма бизнеса!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 17:06; Ответить: Artyom91
Сообщение #9


(jack @ 2.5.2013, 17:04) *
наверное всё же "пагинации". Да, это специфика ПС такая, гугл тоже не всё отдаёт.


Как быть ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ovsyannikoff
ovsyannikoff
сообщение 2.5.2013, 18:04; Ответить: ovsyannikoff
Сообщение #10


Artyom91, тогда по частям парсить, если у вас у сайта хорошая структура, то можно через site:site.ru inurl:category, где category - часть урла, то есть название категории, например у нас есть новости site.ru/news, пишем site:site.ru inurl:news отобразятся все урлы где есть news и т.д. весь сайт так по частям можно пропарсить, по другому больше не знаю как


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
28 freeax 4572 12.4.2024, 1:22
автор: PostMan1
Горячая тема (нет новых ответов) Как вы отдыхаете от работы за компом
148 adw-kupon.ru 19648 8.4.2024, 10:37
автор: Skyworker
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
18 uahomka 3071 5.4.2024, 5:53
автор: Skyworker
Горячая тема (нет новых ответов) Как бездомные хранят деньги?
81 metvekot 13630 31.3.2024, 12:44
автор: Boymaster
Горячая тема (нет новых ответов) Как отозвать банковский платеж фрилансеру?
29 metvekot 4273 31.3.2024, 0:17
автор: Liudmila


 



RSS Текстовая версия Сейчас: 16.4.2024, 18:47
Дизайн