X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Как выгрузить страницы индекса
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 10:28; Ответить: Artyom91
Сообщение #1


Участник
***

Группа: User
Сообщений: 151
Регистрация: 7.9.2012
Из: Спасск-Дальний
Поблагодарили: 13 раз
Репутация:   -3  


Здравствуйте, подскажите как можно выгрузить те ссылки которые в индексе яндекса для последующего формирования sitemap.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DrFOX_ru
DrFOX_ru
сообщение 2.5.2013, 11:11; Ответить: DrFOX_ru
Сообщение #2


Участник
***

Группа: User
Сообщений: 105
Регистрация: 18.6.2010
Из: готавливаю и прогоняю сайты
Поблагодарили: 40 раз
Репутация:   14  


Можете добавить сайт в яндекс вебмастер и там есть возможность выгрузки в эксель.
А если пользоваться популярными движками, там есть плагины для создания карты сайта.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 12:45; Ответить: Artyom91
Сообщение #3


Участник
***

Группа: User
Сообщений: 151
Регистрация: 7.9.2012
Из: Спасск-Дальний
Поблагодарили: 13 раз
Репутация:   -3  


Скажите конкретнее где выгрузить в ЯВМ.

У меня стоит поиск музыки, и если делать карту сайта софтом то много лишних страниц выгрузит, а мне нужны именно те которые попали в индекс яндекса.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ovsyannikoff
ovsyannikoff
сообщение 2.5.2013, 14:49; Ответить: ovsyannikoff
Сообщение #4


Прошлый ник: ovsyannikov
****

Группа: User
Сообщений: 282
Регистрация: 2.1.2010
Поблагодарили: 185 раз
Репутация:   33  


1) Можно пропарсить всю структуру сайта с помощью софта Xenu например, а потом все ссылки проверить с помощью программы например YCCY на индексацию.
2) Если страниц в индексе яндексе не очень много, то устанавливаем плагин SEOquake, устанавливаем в яндексе вывод по 50 результатов на странице. Вводим в поисковую строку site:site.ru и сохраняем с помощью плагина SEOquake выдачу и так каждую страницу по 50 результатов.

P.S. в sitemap наоборот размещают ссылки которые не попали в индекс, зачем вам там размещать которые уже проиндексировались...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 15:05; Ответить: Artyom91
Сообщение #5


Участник
***

Группа: User
Сообщений: 151
Регистрация: 7.9.2012
Из: Спасск-Дальний
Поблагодарили: 13 раз
Репутация:   -3  


Мне для сапы. В индексе больше 100 000 страниц. На счет структуры, я же говорю, стоит поиск музыки, который может и не вывести больше половины страниц которые в индексе, нужно как-то из яндекса выгрузить.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ovsyannikoff
ovsyannikoff
сообщение 2.5.2013, 16:23; Ответить: ovsyannikoff
Сообщение #6


Прошлый ник: ovsyannikov
****

Группа: User
Сообщений: 282
Регистрация: 2.1.2010
Поблагодарили: 185 раз
Репутация:   33  


Artyom91, через парсер яндекса тогда http://topperharley.ru/2009/06/yandex-pars...eksa-besplatno/ в запросах укажи site:site.ru где site.ru адрес твоего сайта ну и в настройках яндекса поставь чтобы выдача была по 50 результатов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 17:01; Ответить: Artyom91
Сообщение #7


Участник
***

Группа: User
Сообщений: 151
Регистрация: 7.9.2012
Из: Спасск-Дальний
Поблагодарили: 13 раз
Репутация:   -3  


Спасибо друг, вроде работает )

Блин, почему-то парсит только 1000 результатов, а дальше нет плагинации, ну, циферок переходам по страницам.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jack
jack
сообщение 2.5.2013, 17:04; Ответить: jack
Сообщение #8


----------------
*******

Группа: Super Moderator
Сообщений: 7863
Регистрация: 22.3.2009
Из: глины
Поблагодарили: 10733 раза
Репутация:   591  


(Artyom91 @ 2.5.2013, 16:01) *
а дальше нет плагинации

наверное всё же "пагинации". Да, это специфика ПС такая, гугл тоже не всё отдаёт.


--------------------
Stimul-Cash и RX-Partners - лидеры фарма бизнеса!

Официальный канал MaulTalk в Telegram
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artyom91
Artyom91
Topic Starter сообщение 2.5.2013, 17:06; Ответить: Artyom91
Сообщение #9


Участник
***

Группа: User
Сообщений: 151
Регистрация: 7.9.2012
Из: Спасск-Дальний
Поблагодарили: 13 раз
Репутация:   -3  


(jack @ 2.5.2013, 17:04) *
наверное всё же "пагинации". Да, это специфика ПС такая, гугл тоже не всё отдаёт.


Как быть ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ovsyannikoff
ovsyannikoff
сообщение 2.5.2013, 18:04; Ответить: ovsyannikoff
Сообщение #10


Прошлый ник: ovsyannikov
****

Группа: User
Сообщений: 282
Регистрация: 2.1.2010
Поблагодарили: 185 раз
Репутация:   33  


Artyom91, тогда по частям парсить, если у вас у сайта хорошая структура, то можно через site:site.ru inurl:category, где category - часть урла, то есть название категории, например у нас есть новости site.ru/news, пишем site:site.ru inurl:news отобразятся все урлы где есть news и т.д. весь сайт так по частям можно пропарсить, по другому больше не знаю как


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как действительно успешно внедрять привычки. И менять жизнь
seoandme.ru - SEO-блог Анны Ященко
10 AnnaYa 1031 Сегодня, 1:52
автор: Libby
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
7 PostBrigada 716 Вчера, 20:35
автор: galikfor
Открытая тема (нет новых ответов) Как пройти модерацию в Яндекс Директ, тематика Майнеры криптовалюты
4 rownong27 1144 Вчера, 20:02
автор: tygrytsa
Горячая тема (нет новых ответов) Черный список обменников и как безопасно обменять валюту
140 Kurses 29716 Вчера, 16:20
автор: BestExchangers
Горячая тема (нет новых ответов) Как заработать новичку?
107 Emeralda 17766 Вчера, 14:59
автор: Smspva


 



RSS Текстовая версия Сейчас: 13.12.2017, 3:41
Дизайн