$liru_url = 'http://www.liveinternet.ru/rating/ru/'; //URL категории рейтинга, которую будем парсить (слэш "/" на конце ссылки обязателен!)
$file_to_save_urls = 'urls.txt'; //В этот файлик сохранятся все url'ы

//Ядерный реактор. Без защитного костюма и спецподготовки доступ запрещен!
header("Content-Type: text/html; charset=windows-1251");
ob_implicit_flush();
set_time_limit(0);
function t($t, $d=0) {echo '<pre>';print_r($t);echo '</pre>';if ($d==0) exit();}
function get($url='') {  
    $cl = curl_init();
    curl_setopt($cl, CURLOPT_URL, $url);
    curl_setopt($cl, CURLOPT_HEADER, 1);
    curl_setopt($cl, CURLOPT_RETURNTRANSFER,1);
    curl_setopt($cl, CURLOPT_TIMEOUT, 15);
    curl_setopt($cl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($cl, CURLOPT_USERAGENT, 'Opera/9.25 (Windows NT 5.1; U; ru)');
    $ex=curl_exec($cl);  
    curl_close($cl);  
    return $ex;  
}
function file2array($file) {return array_diff(array_map('trim', file($file)), array(''));}
function save($file, $data) {
    $o = (file_exists($file) && filesize($file) > 0) ? chr(10) : '';
    $f = fopen($file, 'a+');
    fwrite($f, $o.$data);
    fclose($f);
    return count(file2array($file));
}
$html = get($liru_url);
preg_match_all('!page=(.*)"!Usi', $html, $m);
$m = array_unique($m[1]);
$pcount = end($m);
echo "Нашли $pcount страниц. Парсим... <br>";
preg_match_all('!<a.*href="http://(.*)" class=a1>.*</a>!Usi', $html, $m);
$m = array_unique($m[1]); foreach($m as $k=>$v) $m[$k] = 'http://'.$v;
$allnum = save($file_to_save_urls, implode(chr(10), $m));
$numsave = count($m);
echo "[1] сохранено в файл <b>$numsave</b> ссылок, итого на текущий момент <b>$allnum</b> ссылок.<br>";
for ($i=2; $i<=$pcount; $i++) {
    $html = get($liru_url.'index.htnl?page='.$i);
    preg_match_all('!<a.*href="http://(.*)" class=a1>.*</a>!Usi', $html, $m);
    $m = array_unique($m[1]); foreach($m as $k=>$v) $m[$k] = 'http://'.$v;
    $allnum = save($file_to_save_urls, implode(chr(10), $m));
    $numsave = count($m);
    echo "[$i] сохранено в файл <b>$numsave</b> ссылок, итого на текущий момент <b>$allnum</b> ссылок.<br>";
}
echo 'Конечная обработка файла... ';
$arr = file2array($file_to_save_urls);
$arr = array_unique($arr);
file_put_contents($file_to_save_urls, implode(chr(10), $arr));
echo '[ГОТОВО]';
?>

<?php
$liru_url = 'http://www.liveinternet.ru/rating/ru/genealogy/'; //URL категории рейтинга, которую будем парсить (слэш "/" на конце ссылки обязателен!)
$file_to_save_urls = 'urls.txt'; //В этот файлик сохранятся все url'ы

//Ядерный реактор. Без защитного костюма и спецподготовки доступ запрещен!
header("Content-Type: text/html; charset=windows-1251");
ob_implicit_flush();
set_time_limit(0);
function t($t, $d=0) {echo '<pre>';print_r($t);echo '</pre>';if ($d==0) exit();}
function get($url='') {  
    $cl = curl_init();
    curl_setopt($cl, CURLOPT_URL, $url);
    curl_setopt($cl, CURLOPT_HEADER, 1);
    curl_setopt($cl, CURLOPT_RETURNTRANSFER,1);
    curl_setopt($cl, CURLOPT_TIMEOUT, 15);
    curl_setopt($cl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($cl, CURLOPT_USERAGENT, 'Opera/9.25 (Windows NT 5.1; U; ru)');
    $ex=curl_exec($cl);  
    curl_close($cl);  
    return $ex;  
}
function file2array($file) {return array_diff(array_map('trim', file($file)), array(''));}
function save($file, $data) {
    $o = (file_exists($file) && filesize($file) > 0) ? chr(10) : '';
    $f = fopen($file, 'a+');
    fwrite($f, $o.$data);
    fclose($f);
    return count(file2array($file));
}
$html = get($liru_url);
preg_match_all('!page=(.*)"!Usi', $html, $m);
$m = array_unique($m[1]);
$pcount = end($m);
echo "Нашли $pcount страниц. Парсим... <br>";
//preg_match_all('!<a.*href="http://(.*)">.*</a>!Usi', $html, $m);
preg_match_all('#href="http://(.*?)">.*</a>#i', $html, $m);
$m = array_unique($m[1]); foreach($m as $k=>$v) $m[$k] = 'http://'.$v;
//print_r($m);
$allnum = save($file_to_save_urls, implode(chr(10), $m));
$numsave = count($m);
echo "[1] сохранено в файл <b>$numsave</b> ссылок, итого на текущий момент <b>$allnum</b> ссылок.<br>";
for ($i=2; $i<=$pcount; $i++) {
    $html = get($liru_url.'index.html?page='.$i);
    //preg_match_all('!<a.*href="http://(.*)" class=a1>.*</a>!Usi', $html, $m);
    preg_match_all('#href="http://(.*?)">.*</a>#i', $html, $m);
    $m = array_unique($m[1]); foreach($m as $k=>$v) $m[$k] = 'http://'.$v;
    $allnum = save($file_to_save_urls, implode(chr(10), $m));
    $numsave = count($m);
    echo "[$i] сохранено в файл <b>$numsave</b> ссылок, итого на текущий момент <b>$allnum</b> ссылок.<br>";
}
echo 'Конечная обработка файла... ';
$arr = file2array($file_to_save_urls);
$arr = array_unique($arr);
file_put_contents($file_to_save_urls, implode(chr(10), $arr));
echo '[ГОТОВО]';
?>

$html = get($liru_url.'index.html?page='.$i);