X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужно собрать все ссылки со всех страниц сайта
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 14:46; Ответить: Kuzzma
Сообщение #1


Всем, привет!

Есть сайт, вида:

https://www.site.com/

На нём страницы вида:
https://www.site.com/list-1070 ....по /list-2070

Надо собрать все ссылки с каждой из страниц на другие сайты и сложить это всё в отдельный файл в любом формате (.txt, .cvs, .xlsx)

Чем это можно сделать?

Может кто подскажет как это сделать на php? Или другие варианты.

Спасибо!

Kuzzma


--------------------
Здесь может быть Ваша реклама или ссылка на сайт! МЕСТО СВОБОДНО!

👉 КРИПТОБИРЖА №1 > Купить | BTC | Продать | ETH | Трейдинг | Обмен | Mastercard | VISA
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 22.7.2019, 21:27; Ответить: VinogradOFF
Сообщение #2


Kuzzma, а надо чтобы было именно с какой страницы какие ссылки внешние были?
так поидее можно просканировать чем то типа Xenu link sleuth и вывести отчет
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
icoder
icoder
сообщение 22.7.2019, 21:44; Ответить: icoder
Сообщение #3


Kuzzma, вот реализация на php
Код
$urlBase = 'https://www.site.com/list-';
$linksArr = array();

for ($i=1070; $i <= 2070; $i++) {
  $url = $urlBase.$i;
  // читаем страницу
  $html = @file_get_contents($url);
  if($html){
    // выбираем ссылки
    preg_match_all('/<a [^>]*href=(\'|")((https?:)?\/\/[^>\'"]+)(\'|")[^>]*>/', $html, $links);
    $linksArr = array_merge($linksArr, $links[2]);
  }
}

$links_count = count($linksArr);
if($links_count > 0){
  // удаляем дубли
  $linksArr = array_unique($linksArr);
  // адрес файла для записи результатов
  $filename = __DIR__.'/file.txt';
  $filedata = implode("\r\n", $linksArr);
  // записываем файл
  @file_put_contents($filename, $filedata, LOCK_EX);
}


Сообщение отредактировал icoder - 22.7.2019, 21:46


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 22:26; Ответить: Kuzzma
Сообщение #4


VinogradOFF, добрый вечер!

При помощи Xenu можно конечно это сделать, но это очень-очень-очень долго.



--------------------
Здесь может быть Ваша реклама или ссылка на сайт! МЕСТО СВОБОДНО!

👉 КРИПТОБИРЖА №1 > Купить | BTC | Продать | ETH | Трейдинг | Обмен | Mastercard | VISA
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
henrybee
henrybee
сообщение 23.7.2019, 12:52; Ответить: henrybee
Сообщение #5


попробуй етот сервис https://www.screamingfrog.co.uk/seo-spider/

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) QIWI кажется все?
111 Silverspam 17999 Вчера, 15:59
автор: Arsenwenger
Открытая тема (нет новых ответов) Жирные бурж ссылки под крипту
Размещаем статьи на популярных международных сайтах
0 umexa 443 23.4.2024, 23:23
автор: umexa
Открытая тема (нет новых ответов) Жирные бурж ссылки под крипту
Размещаем статьи на популярных международных сайтах
0 umexa 345 23.4.2024, 23:23
автор: umexa
Открытая тема (нет новых ответов) SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией
21 Needmylink1 7182 23.4.2024, 21:16
автор: Needmylink1
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
14 Aloof 3384 23.4.2024, 13:50
автор: Vmir


 



RSS Текстовая версия Сейчас: 25.4.2024, 10:23
Дизайн