X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как собрать все исходящие ссылки с сайта с указаним страниц?
palladin90
palladin90
Topic Starter сообщение 16.9.2014, 8:27; Ответить: palladin90
Сообщение #1


Участник
***

Группа: User
Сообщений: 109
Регистрация: 6.11.2012
Поблагодарили: 11 раз
Репутация:   3  


Необходимо проверить, какие исходящие ссылки стоят с сайта. При этом необходимо знать с каких именно страниц они стоят, что бы потом ненужные было закрыть или удалить.

Для сайтов, у которых несколько тысяч страниц я использую программу Netpeak Spider, но сейчас необходимо проанализировать сайт из 50 000 страниц. Теоретически Netpeak Spider с этим должен справляться, но на практике ресурсов не хватает.

Подскажите, каким способом можно собрать список исходящих ссылок с сайта с указанием страниц, на которых они расположены?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DFX
DFX
сообщение 16.9.2014, 8:32; Ответить: DFX
Сообщение #2


Участник
***

Группа: User
Сообщений: 107
Регистрация: 29.8.2010
Из: Новосибирск
Поблагодарили: 25 раз
Репутация:   5  


Может по разделам как то сканировать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
palladin90
palladin90
Topic Starter сообщение 16.9.2014, 8:54; Ответить: palladin90
Сообщение #3


Участник
***

Группа: User
Сообщений: 109
Регистрация: 6.11.2012
Поблагодарили: 11 раз
Репутация:   3  


Разделов слишком много.
Хотелось бы все-таки какие-то альтернативные варианты увидеть.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BeerLoga
BeerLoga
сообщение 20.9.2014, 15:52; Ответить: BeerLoga
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 23.8.2014
Поблагодарили: 14 раз
Репутация:   4  


За спасибо соберу.
Если уплотили:
Развернуть/Свернуть

Скачайте программу xenu, мне помогает в этом деле.


Сообщение отредактировал BeerLoga - 20.9.2014, 15:53
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oleq
oleq
сообщение 21.9.2014, 6:23; Ответить: oleq
Сообщение #5


Новичок
*

Группа: User
Сообщений: 46
Регистрация: 18.9.2014
Из: Кемеровская область
Поблагодарили: 0 раз
Репутация:   0  


Цитата(palladin90 @ 16.9.2014, 8:27) *
Подскажите, каким способом можно собрать список исходящих ссылок с сайта с указанием страниц, на которых они расположены?

Как то тоже искал такой сервис или програамму, но так и не нашел. Думаю бесплатно не кто не даст всем грузить свой сервер. Если страниц не много можно использовать плагин RDS, у меня на каждой странице показывает свои ссылки. xenu думаю тоже единственный лучший вариант, правда конкретно ей не занимался.

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BeerLoga
BeerLoga
сообщение 21.9.2014, 8:52; Ответить: BeerLoga
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 23.8.2014
Поблагодарили: 14 раз
Репутация:   4  


oleq, xenu сканирует и у каждой ссылки в свойствах, есть пункт,на каких страницах ссылка присутствует.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oleq
oleq
сообщение 21.9.2014, 11:41; Ответить: oleq
Сообщение #7


Новичок
*

Группа: User
Сообщений: 46
Регистрация: 18.9.2014
Из: Кемеровская область
Поблагодарили: 0 раз
Репутация:   0  


Цитата(BeerLoga @ 21.9.2014, 8:52) *
oleq, xenu сканирует и у каждой ссылки в свойствах, есть пункт,на каких страницах ссылка присутствует.


Да, верно имеется такой пункт....проверил свой сайт очень помогло. Я как понял она при сканере ловит все ссылки в документах, с мета тегов и с базы данных, так как у меня на сайте стоят инструменты анализа сайта и я обнаружил большое количество левых ссылок которых не тет на указанной странице. После почистил таблицы баз и они пропали после нового сканирования.

Считаю полезная программа, но есть свои минусы: нет фильтра сортировки после сканера и не укаывает что есть закрытые от индекса ссылки.

Не в курсе есть рускоязычная версия?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Xstroy
Xstroy
сообщение 22.9.2014, 15:00; Ответить: Xstroy
Сообщение #8


Участник
***

Группа: User
Сообщений: 112
Регистрация: 13.1.2010
Поблагодарили: 21 раз
Репутация:   2  


BeerLoga, а сохранить как эту информацию для обработки? Такой функции не нашёл.
За несколько лет юзания xsenu впервые услышал о свойствах ссылки :)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Xstroy Полезный сервис: Регионы Гугл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как зайти через прокси в Webmoney?
7 metvekot 586 Сегодня, 11:15
автор: Infacto
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКрауд ссылки по 50 рублей
44 Barselona 7244 Сегодня, 10:23
автор: PR_Groovy
Открытая тема (нет новых ответов) Кейс по крауд-маркетингу: работают ли ссылки с форумов
seoandme.ru - SEO-блог Анны Ященко
3 AnnaYa 457 Сегодня, 10:18
автор: PR_Groovy
Открытая тема (нет новых ответов) Алгоритм "Немезида" в ВК. МДК все?
4 MissContent 814 Сегодня, 6:34
автор: EconDude
Открытая тема (нет новых ответов) Как закачать файлы на фтп прямо из другого фтп?
Сабж
1 stixia007 366 Вчера, 15:22
автор: wertu


 



RSS Текстовая версия Сейчас: 26.5.2018, 16:31
Дизайн