X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Нужно собрать все ссылки со всех страниц сайта
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 14:46; Ответить: Kuzzma
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 484
Регистрация: 12.6.2015
Из: Москва
Поблагодарили: 161 раз
Репутация:   21  


Всем, привет!

Есть сайт, вида:

https://www.site.com/

На нём страницы вида:
https://www.site.com/list-1070 ....по /list-2070

Надо собрать все ссылки с каждой из страниц на другие сайты и сложить это всё в отдельный файл в любом формате (.txt, .cvs, .xlsx)

Чем это можно сделать?

Может кто подскажет как это сделать на php? Или другие варианты.

Спасибо!

Kuzzma


--------------------
Здесь информация о Ваших сайтах, товарах, услугах (свободно)

Flextype - маленькая, быстрая и бесплатная CMS для сайтов!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 22.7.2019, 21:27; Ответить: VinogradOFF
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 2770
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 344 раза
Репутация:   27  


Kuzzma, а надо чтобы было именно с какой страницы какие ссылки внешние были?
так поидее можно просканировать чем то типа Xenu link sleuth и вывести отчет
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
icoder
icoder
сообщение 22.7.2019, 21:44; Ответить: icoder
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 14.6.2019
Поблагодарили: 19 раз
Репутация:   2  


Kuzzma, вот реализация на php
Код
$urlBase = 'https://www.site.com/list-';
$linksArr = array();

for ($i=1070; $i <= 2070; $i++) {
  $url = $urlBase.$i;
  // читаем страницу
  $html = @file_get_contents($url);
  if($html){
    // выбираем ссылки
    preg_match_all('/<a [^>]*href=(\'|")((https?:)?\/\/[^>\'"]+)(\'|")[^>]*>/', $html, $links);
    $linksArr = array_merge($linksArr, $links[2]);
  }
}

$links_count = count($linksArr);
if($links_count > 0){
  // удаляем дубли
  $linksArr = array_unique($linksArr);
  // адрес файла для записи результатов
  $filename = __DIR__.'/file.txt';
  $filedata = implode("\r\n", $linksArr);
  // записываем файл
  @file_put_contents($filename, $filedata, LOCK_EX);
}


Сообщение отредактировал icoder - 22.7.2019, 21:46
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 22:26; Ответить: Kuzzma
Сообщение #4


Бывалый
****


Группа: User
Сообщений: 484
Регистрация: 12.6.2015
Из: Москва
Поблагодарили: 161 раз
Репутация:   21  


VinogradOFF, добрый вечер!

При помощи Xenu можно конечно это сделать, но это очень-очень-очень долго.



--------------------
Здесь информация о Ваших сайтах, товарах, услугах (свободно)

Flextype - маленькая, быстрая и бесплатная CMS для сайтов!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
henrybee
henrybee
сообщение 23.7.2019, 12:52; Ответить: henrybee
Сообщение #5


Частый гость
**

Группа: User
Сообщений: 61
Регистрация: 5.9.2012
Из: MD
Поблагодарили: 15 раз
Репутация:   2  


попробуй етот сервис https://www.screamingfrog.co.uk/seo-spider/


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Несколько площадок под ваши статьи и ссылки
107 slaru 29304 Сегодня, 15:39
автор: VitalInvest
Открытая тема (нет новых ответов) Ссылки (PBN) под Украину, Морды, статейные, индивидуальный подход
то что дает жирный рост, конкурентное преимущество
15 mvchansas 2988 Сегодня, 15:05
автор: mvchansas
Открытая тема (нет новых ответов) Ссылки (PBN) под бурж, Морды, статейные, Качество
индивидуальный подход
18 mvchansas 3319 Сегодня, 14:56
автор: mvchansas
Открытая тема (нет новых ответов) Соцсигналы для сайта
Где купить соцсигналы?
15 press74 270 Сегодня, 13:16
автор: Kuzzma
Горячая тема (нет новых ответов) Размещу ваши ссылки на форумах.
68 marybraun 25652 Вчера, 13:01
автор: marybraun


 



RSS Текстовая версия Сейчас: 16.10.2019, 16:10
Дизайн