X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужно собрать все ссылки со всех страниц сайта
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 14:46; Ответить: Kuzzma
Сообщение #1


Всем, привет!

Есть сайт, вида:

https://www.site.com/

На нём страницы вида:
https://www.site.com/list-1070 ....по /list-2070

Надо собрать все ссылки с каждой из страниц на другие сайты и сложить это всё в отдельный файл в любом формате (.txt, .cvs, .xlsx)

Чем это можно сделать?

Может кто подскажет как это сделать на php? Или другие варианты.

Спасибо!

Kuzzma


--------------------
Здесь может быть Ваша реклама или ссылка на сайт! МЕСТО СВОБОДНО!

👉 КРИПТОБИРЖА №1 > Купить | BTC | Продать | ETH | Трейдинг | Обмен | Mastercard | VISA
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 22.7.2019, 21:27; Ответить: VinogradOFF
Сообщение #2


Kuzzma, а надо чтобы было именно с какой страницы какие ссылки внешние были?
так поидее можно просканировать чем то типа Xenu link sleuth и вывести отчет
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
icoder
icoder
сообщение 22.7.2019, 21:44; Ответить: icoder
Сообщение #3


Kuzzma, вот реализация на php
Код
$urlBase = 'https://www.site.com/list-';
$linksArr = array();

for ($i=1070; $i <= 2070; $i++) {
  $url = $urlBase.$i;
  // читаем страницу
  $html = @file_get_contents($url);
  if($html){
    // выбираем ссылки
    preg_match_all('/<a [^>]*href=(\'|")((https?:)?\/\/[^>\'"]+)(\'|")[^>]*>/', $html, $links);
    $linksArr = array_merge($linksArr, $links[2]);
  }
}

$links_count = count($linksArr);
if($links_count > 0){
  // удаляем дубли
  $linksArr = array_unique($linksArr);
  // адрес файла для записи результатов
  $filename = __DIR__.'/file.txt';
  $filedata = implode("\r\n", $linksArr);
  // записываем файл
  @file_put_contents($filename, $filedata, LOCK_EX);
}


Сообщение отредактировал icoder - 22.7.2019, 21:46


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Kuzzma
Kuzzma
Topic Starter сообщение 22.7.2019, 22:26; Ответить: Kuzzma
Сообщение #4


VinogradOFF, добрый вечер!

При помощи Xenu можно конечно это сделать, но это очень-очень-очень долго.



--------------------
Здесь может быть Ваша реклама или ссылка на сайт! МЕСТО СВОБОДНО!

👉 КРИПТОБИРЖА №1 > Купить | BTC | Продать | ETH | Трейдинг | Обмен | Mastercard | VISA
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
henrybee
henrybee
сообщение 23.7.2019, 12:52; Ответить: henrybee
Сообщение #5


попробуй етот сервис https://www.screamingfrog.co.uk/seo-spider/

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2794 16.4.2024, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрая индексация страниц сайта и обратных ссылок - 2Index
37 2Index 6583 15.4.2024, 16:17
автор: 2Index
Горячая тема (нет новых ответов) QIWI кажется все?
109 Silverspam 17524 15.4.2024, 9:11
автор: Alekser
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКрауд ссылки с форумов, блогов, порталов. Жирные ссылки с Ua,Ru, Бурж площадок. Вечные ссылки в статьях на собственных сайтах
Быстро, качественно и ответственно!
138 vetalbon 66337 13.4.2024, 17:53
автор: vetalbon
Открытая тема (нет новых ответов) SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией
20 Needmylink1 6992 12.4.2024, 23:32
автор: Needmylink1


 



RSS Текстовая версия Сейчас: 18.4.2024, 5:30
Дизайн