X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужно собрать все ссылки со всех страниц сайта
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 14:46; Ответить: Kuzzma
Сообщение #1


Всем, привет!

Есть сайт, вида:

https://www.site.com/

На нём страницы вида:
https://www.site.com/list-1070 ....по /list-2070

Надо собрать все ссылки с каждой из страниц на другие сайты и сложить это всё в отдельный файл в любом формате (.txt, .cvs, .xlsx)

Чем это можно сделать?

Может кто подскажет как это сделать на php? Или другие варианты.

Спасибо!

Kuzzma


--------------------
Здесь может быть Ваша реклама или ссылка на сайт! МЕСТО СВОБОДНО!

👉 КРИПТОБИРЖА №1 > Купить | BTC | Продать | ETH | Трейдинг | Обмен | Mastercard | VISA
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 22.7.2019, 21:27; Ответить: VinogradOFF
Сообщение #2


Kuzzma, а надо чтобы было именно с какой страницы какие ссылки внешние были?
так поидее можно просканировать чем то типа Xenu link sleuth и вывести отчет
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
icoder
icoder
сообщение 22.7.2019, 21:44; Ответить: icoder
Сообщение #3


Kuzzma, вот реализация на php
Код
$urlBase = 'https://www.site.com/list-';
$linksArr = array();

for ($i=1070; $i <= 2070; $i++) {
  $url = $urlBase.$i;
  // читаем страницу
  $html = @file_get_contents($url);
  if($html){
    // выбираем ссылки
    preg_match_all('/<a [^>]*href=(\'|")((https?:)?\/\/[^>\'"]+)(\'|")[^>]*>/', $html, $links);
    $linksArr = array_merge($linksArr, $links[2]);
  }
}

$links_count = count($linksArr);
if($links_count > 0){
  // удаляем дубли
  $linksArr = array_unique($linksArr);
  // адрес файла для записи результатов
  $filename = __DIR__.'/file.txt';
  $filedata = implode("\r\n", $linksArr);
  // записываем файл
  @file_put_contents($filename, $filedata, LOCK_EX);
}


Сообщение отредактировал icoder - 22.7.2019, 21:46


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 22:26; Ответить: Kuzzma
Сообщение #4


VinogradOFF, добрый вечер!

При помощи Xenu можно конечно это сделать, но это очень-очень-очень долго.



--------------------
Здесь может быть Ваша реклама или ссылка на сайт! МЕСТО СВОБОДНО!

👉 КРИПТОБИРЖА №1 > Купить | BTC | Продать | ETH | Трейдинг | Обмен | Mastercard | VISA
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
henrybee
henrybee
сообщение 23.7.2019, 12:52; Ответить: henrybee
Сообщение #5


попробуй етот сервис https://www.screamingfrog.co.uk/seo-spider/

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Ссылки за которые не стыдно! Качественный линк билдинг сервис под Бурж от Westrank. Честный прайс.
62 DaoDog 46956 Сегодня, 3:30
автор: WestRank_Support
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрая индексация страниц сайта и обратных ссылок - 2Index
38 2Index 6617 Вчера, 12:56
автор: 2Index
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2811 16.4.2024, 12:48
автор: diviner99
Горячая тема (нет новых ответов) QIWI кажется все?
109 Silverspam 17547 15.4.2024, 9:11
автор: Alekser
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКрауд ссылки с форумов, блогов, порталов. Жирные ссылки с Ua,Ru, Бурж площадок. Вечные ссылки в статьях на собственных сайтах
Быстро, качественно и ответственно!
138 vetalbon 66393 13.4.2024, 17:53
автор: vetalbon


 



RSS Текстовая версия Сейчас: 19.4.2024, 7:00
Дизайн