[X] Помощник

[Пуховой Topic Starter]

Я начинающий кодер на пхп, но все же... Столкнулся с проблемой проверки большого количества каталогов на наличие их в Яндексе...
Родилось вот это:

<?
$nummass=0;
$ishodnuy = file ('puh.txt');
$usl=0;
while (list ($line_num, $line) = each ($ishodnuy)) {
$m=$line;
preg_match_all("!(.*?)/!si",$m,$f);
$i=$f[1][0];
$mass[$nummass]=$i;
$nummass++;
}
for ($usl; $usl<$nummass; $usl++) {
$trimmed = trim($mass[$usl]);
echo "$trimmed-";
$domen="http://www.yandex.ru/yandsearch?date=&text=&lang=all&within=0&from_day=&from_month=&from_year=&to_day=2&to_month=11&to_year=2007&mime=all&site=".$trimmed."&rstr=&ds=&numdoc=10";
$file_text = file_get_contents($domen);
preg_match_all("!<div class=\"refblock\">(.*?)</div>!si",$file_text,$f1);
$str1=$f1[0][0];
preg_match_all("!<b>(.*?)</b><br>!si",$str1,$f2);
$yyy=$f2[1][0];
if ($yyy ==0){
$re = "нет";
}
else {
$re = "есть";
}
echo "$re</br>";
}
?>

На входе - файлик puh.txt вроде:
---------------------------------------------------------
top100.rambler.ru/
spb.ru/index.php?pg=146
rambler.ru/doc/add_site_form.shtml?
spylog.ru/?cmd=srv&part=1/2&pkg_id=5&reg=0
top.one.ru/register.html
liveinternet.ru/add
edu.ru/modules.php?name=web_links
meta.ua/webmaster/addurl.asp
list.mail.ru/index.html
vvv.ru/links
----------------------------------------------------------
Давайте вместе допишем и оптимизируем скрипт!

[Пуховой Topic Starter]

Вот, дописал:

<?
$nummass=0;
$ishodnuy = file ('puh.txt');
$konechnuy = file ('puh.txt');
$usl=0;
while (list ($line_num, $line) = each ($ishodnuy)) {
$m=$line;
preg_match_all("!(.*?)/!si",$m,$f);
$i=$f[1][0];
$mass[$nummass]=$i;
$nummass++;
}
for ($usl; $usl<$nummass; $usl++) {
$trimmed = trim($mass[$usl]);
echo "$trimmed-";
$domen="http://www.yandex.ru/yandsearch?date=&text=&lang=all&within=0&from_day=&from_month=&from_year=&to_day=2&to_month=11&to_year=2007&mime=all&site=".$trimmed."&rstr=&ds=&numdoc=10";
$file_text = file_get_contents($domen);
preg_match_all("!<div class=\"refblock\">(.*?)</div>!si",$file_text,$f1);
$str1=$f1[0][0];
preg_match_all("!<b>(.*?)</b><br>!si",$str1,$f2);
$yyy=$f2[1][0];
if ($yyy ==0){
$konechnuy[$usl]="";
echo "НЕТ</br>";
}
else {
echo "ЕСТЬ</br>";
}
}
$usl=0;
$file=fopen("aut.txt","w+");
for ($usl; $usl<$nummass; $usl++) {
if ($konechnuy[$usl] <> ""){
fputs($file,$konechnuy[$usl]);
}
}
fclose($file);
?>

Теперь он генерит в файлик aut.txt результат работы)
То есть на входе например
-----------------------------------------------
top100.rambler.ru/
spb.ru/index.php?pg=146
rambler.ru/doc/add_site_form.shtml?
spylog.ru/?cmd=srv&part=1/2&pkg_id=5&reg=0
top.one.ru/register.html
-----------------------------------------------
Результат проверки:
top100.rambler.ru-ЕСТЬ
spb.ru-ЕСТЬ
rambler.ru-ЕСТЬ
spylog.ru-ЕСТЬ
top.one.ru-НЕТ
-----------------------------------------------
И, собсна, файл aut.txt^
-----------------------------------------------
top100.rambler.ru/
spb.ru/index.php?pg=146
rambler.ru/doc/add_site_form.shtml?
spylog.ru/?cmd=srv&part=1/2&pkg_id=5&reg=0


Предлагайте, что еще можно сделать...

[Пуховой Topic Starter]

Скрипт полностью рабочий, за исключением одного НО:
Яша более 1000 проверок в день с одного IP не разрешает(((((((
По тому же принципу мона тырить Тиц и ПР и еще много чего... И генерить базы каталогов с очень высокой актуальностью так сказать)
Раз в 5 дней протестил тыщ 10...штук 100 отсеялись автоматом.... и так далее пока все не удалят из Яши)))

[Пуховой Topic Starter]

Вот. Наверно, так нагляднее:
файл на входе:
http://r-c-p.info/puh.txt
файл на выходе:
http://r-c-p.info/aut.txt
Результ:
------------------------------------
top100.rambler.ru-ЕСТЬ
spb.ru-ЕСТЬ
rambler.ru-ЕСТЬ
spylog.ru-ЕСТЬ
top.one.ru-НЕТ
liveinternet.ru-ЕСТЬ
edu.ru-ЕСТЬ
meta.ua-ЕСТЬ
list.mail.ru-ЕСТЬ
vvv.ru-ЕСТЬ
ulitka.ru-ЕСТЬ
mukhin.ru-ЕСТЬ
uaportal.com-ЕСТЬ
vsego.ru-ЕСТЬ
optime.ru-ЕСТЬ
weblist.ru-ЕСТЬ
fegi.ru-ЕСТЬ
wwwomen.ru-ЕСТЬ
homefree.ru-ЕСТЬ
linkfinest.ru-ЕСТЬ
techportal.ru-ЕСТЬ
uaport.net-ЕСТЬ
myweb.ru-ЕСТЬ
ivlim.ru-ЕСТЬ
medlinks.ru-ЕСТЬ
submitter.ru-ЕСТЬ
med2000.ru-ЕСТЬ
directrix.ru-ЕСТЬ
freetop.ru-ЕСТЬ
catalog4.com-НЕТ
-----------------------------------

[Пуховой Topic Starter]

Пишите пожалуйста, нужен ли(полезен) такой скрипт?

[klat]

Пишите пожалуйста, нужен ли(полезен) такой скрипт?

нужен конечно.
можно даже сервис написать.
в котором можно зарегистрироваться, закачь свой файл ссылок и после проверки получать ответ на почту.
+сделать опцию автоматической перепроверки в заданный промежуток времени(день, неделя, месяц) с получение результата на мыло
___________________________________
если хочешь хост для этого предоставлю
и помогу написать сервис

[skaboy]

я сейчас рассматривают варианты для сервиси, для моего сайта http://seo.ant-design.ru
если хочешь можем найти применения твоему скрипту


кстати насчет запросов у яндекса же есть xml интерфейсы

[Пуховой Topic Starter]

сервис написать это не трудно!))) Трудно с Яшей договориться - на один IP в день не более 1000 запросов!(((

[Пуховой Topic Starter]

Короче)))) Все желающие написать сервис(а йа думаю что он довольно полезен будет) - предлагайте варианты уламывания Яши)

[Пуховой Topic Starter]

"xml интерфейсы" - та же фигня, максимум 1000 запросов... У меня и так надо -для одного меня - 20000 запросов в сутки, а что будет когда все со своими базами потянутся?...

ЗЗЫ мааааааааамочки...