X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Скрипт автопроверки в Яндексе, сделаем?)
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 18:49; Ответить: Пуховой
Сообщение #1


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


Я начинающий кодер на пхп, но все же... Столкнулся с проблемой проверки большого количества каталогов на наличие их в Яндексе...
Родилось вот это:

<?
$nummass=0;
$ishodnuy = file ('puh.txt');
$usl=0;
while (list ($line_num, $line) = each ($ishodnuy)) {
$m=$line;
preg_match_all("!(.*?)/!si",$m,$f);
$i=$f[1][0];
$mass[$nummass]=$i;
$nummass++;
}
for ($usl; $usl<$nummass; $usl++) {
$trimmed = trim($mass[$usl]);
echo "$trimmed-";
$domen="http://www.yandex.ru/yandsearch?date=&text=&lang=all&within=0&from_day=&from_month=&from_year=&to_day=2&to_month=11&to_year=2007&mime=all&site=".$trimmed."&rstr=&ds=&numdoc=10";
$file_text = file_get_contents($domen);
preg_match_all("!<div class=\"refblock\">(.*?)</div>!si",$file_text,$f1);
$str1=$f1[0][0];
preg_match_all("!<b>(.*?)</b><br>!si",$str1,$f2);
$yyy=$f2[1][0];
if ($yyy ==0){
$re = "нет";
}
else {
$re = "есть";
}
echo "$re</br>";
}
?>

На входе - файлик puh.txt вроде:
---------------------------------------------------------
top100.rambler.ru/
spb.ru/index.php?pg=146
rambler.ru/doc/add_site_form.shtml?
spylog.ru/?cmd=srv&part=1/2&pkg_id=5&reg=0
top.one.ru/register.html
liveinternet.ru/add
edu.ru/modules.php?name=web_links
meta.ua/webmaster/addurl.asp
list.mail.ru/index.html
vvv.ru/links
----------------------------------------------------------
Давайте вместе допишем и оптимизируем скрипт!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 19:13; Ответить: Пуховой
Сообщение #2


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


Вот, дописал:

<?
$nummass=0;
$ishodnuy = file ('puh.txt');
$konechnuy = file ('puh.txt');
$usl=0;
while (list ($line_num, $line) = each ($ishodnuy)) {
$m=$line;
preg_match_all("!(.*?)/!si",$m,$f);
$i=$f[1][0];
$mass[$nummass]=$i;
$nummass++;
}
for ($usl; $usl<$nummass; $usl++) {
$trimmed = trim($mass[$usl]);
echo "$trimmed-";
$domen="http://www.yandex.ru/yandsearch?date=&text=&lang=all&within=0&from_day=&from_month=&from_year=&to_day=2&to_month=11&to_year=2007&mime=all&site=".$trimmed."&rstr=&ds=&numdoc=10";
$file_text = file_get_contents($domen);
preg_match_all("!<div class=\"refblock\">(.*?)</div>!si",$file_text,$f1);
$str1=$f1[0][0];
preg_match_all("!<b>(.*?)</b><br>!si",$str1,$f2);
$yyy=$f2[1][0];
if ($yyy ==0){
$konechnuy[$usl]="";
echo "НЕТ</br>";
}
else {
echo "ЕСТЬ</br>";
}
}
$usl=0;
$file=fopen("aut.txt","w+");
for ($usl; $usl<$nummass; $usl++) {
if ($konechnuy[$usl] <> ""){
fputs($file,$konechnuy[$usl]);
}
}
fclose($file);
?>

Теперь он генерит в файлик aut.txt результат работы)
То есть на входе например
-----------------------------------------------
top100.rambler.ru/
spb.ru/index.php?pg=146
rambler.ru/doc/add_site_form.shtml?
spylog.ru/?cmd=srv&part=1/2&pkg_id=5&reg=0
top.one.ru/register.html
-----------------------------------------------
Результат проверки:
top100.rambler.ru-ЕСТЬ
spb.ru-ЕСТЬ
rambler.ru-ЕСТЬ
spylog.ru-ЕСТЬ
top.one.ru-НЕТ
-----------------------------------------------
И, собсна, файл aut.txt^
-----------------------------------------------
top100.rambler.ru/
spb.ru/index.php?pg=146
rambler.ru/doc/add_site_form.shtml?
spylog.ru/?cmd=srv&part=1/2&pkg_id=5&reg=0


Предлагайте, что еще можно сделать...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 19:16; Ответить: Пуховой
Сообщение #3


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


Скрипт полностью рабочий, за исключением одного НО:
Яша более 1000 проверок в день с одного IP не разрешает(((((((
По тому же принципу мона тырить Тиц и ПР и еще много чего... И генерить базы каталогов с очень высокой актуальностью так сказать)
Раз в 5 дней протестил тыщ 10...штук 100 отсеялись автоматом.... и так далее пока все не удалят из Яши)))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 19:20; Ответить: Пуховой
Сообщение #4


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


Вот. Наверно, так нагляднее:
файл на входе:
http://r-c-p.info/puh.txt
файл на выходе:
http://r-c-p.info/aut.txt
Результ:
------------------------------------
top100.rambler.ru-ЕСТЬ
spb.ru-ЕСТЬ
rambler.ru-ЕСТЬ
spylog.ru-ЕСТЬ
top.one.ru-НЕТ
liveinternet.ru-ЕСТЬ
edu.ru-ЕСТЬ
meta.ua-ЕСТЬ
list.mail.ru-ЕСТЬ
vvv.ru-ЕСТЬ
ulitka.ru-ЕСТЬ
mukhin.ru-ЕСТЬ
uaportal.com-ЕСТЬ
vsego.ru-ЕСТЬ
optime.ru-ЕСТЬ
weblist.ru-ЕСТЬ
fegi.ru-ЕСТЬ
wwwomen.ru-ЕСТЬ
homefree.ru-ЕСТЬ
linkfinest.ru-ЕСТЬ
techportal.ru-ЕСТЬ
uaport.net-ЕСТЬ
myweb.ru-ЕСТЬ
ivlim.ru-ЕСТЬ
medlinks.ru-ЕСТЬ
submitter.ru-ЕСТЬ
med2000.ru-ЕСТЬ
directrix.ru-ЕСТЬ
freetop.ru-ЕСТЬ
catalog4.com-НЕТ
-----------------------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 22:14; Ответить: Пуховой
Сообщение #5


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


Пишите пожалуйста, нужен ли(полезен) такой скрипт?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
klat
klat
сообщение 5.11.2007, 22:24; Ответить: klat
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 287
Регистрация: 17.8.2007
Поблагодарили: 0 раз
Репутация:   5  


(Пуховой @ 5.11.2007, 21:14) *
Пишите пожалуйста, нужен ли(полезен) такой скрипт?

нужен конечно.
можно даже сервис написать.
в котором можно зарегистрироваться, закачь свой файл ссылок и после проверки получать ответ на почту.
+сделать опцию автоматической перепроверки в заданный промежуток времени(день, неделя, месяц) с получение результата на мыло
___________________________________
если хочешь хост для этого предоставлю
и помогу написать сервис


--------------------
Высказывания:
"Каждый может стать первым" aka Klat
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
skaboy
skaboy
сообщение 5.11.2007, 22:48; Ответить: skaboy
Сообщение #7


Завсегдатай
*****

Группа: Active User
Сообщений: 583
Регистрация: 30.6.2007
Поблагодарили: 63 раза
Репутация:   15  


я сейчас рассматривают варианты для сервиси, для моего сайта http://seo.ant-design.ru
если хочешь можем найти применения твоему скрипту


кстати насчет запросов у яндекса же есть xml интерфейсы


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 23:02; Ответить: Пуховой
Сообщение #8


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


сервис написать это не трудно!))) Трудно с Яшей договориться - на один IP в день не более 1000 запросов!(((
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 23:03; Ответить: Пуховой
Сообщение #9


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


Короче)))) Все желающие написать сервис(а йа думаю что он довольно полезен будет) - предлагайте варианты уламывания Яши)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 5.11.2007, 23:07; Ответить: Пуховой
Сообщение #10


Новичок
*******


Группа: Banned
Сообщений: 3674
Регистрация: 8.10.2007
Поблагодарили: 877 раз
Репутация:   251  


"xml интерфейсы" - та же фигня, максимум 1000 запросов... У меня и так надо -для одного меня - 20000 запросов в сутки, а что будет когда все со своими базами потянутся?...

ЗЗЫ мааааааааамочки...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Кто продвигает сайт в яндексе массовой закупкой ссылок?
13 aleggator 1841 8.12.2017, 4:19
автор: KvadroJ
Открытая тема (нет новых ответов) Ищу скрипт новостного агрегатора
0 Cunningfox 473 27.11.2017, 21:17
автор: Cunningfox
Открытая тема (нет новых ответов) Поиск. Скрипт а-ля pikabu.
1 Упс 757 20.11.2017, 8:19
автор: codename65
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКак черные SEO оптимизаторы собирают миллионы посетителей по высоко-актуальным запросам в Яндексе
4 serg5777 1425 17.11.2017, 14:20
автор: anchous
Открытая тема (нет новых ответов) Посоветуйте скрипт доски объявлений
4 bbkd 834 11.11.2017, 11:59
автор: bbkd


 



RSS Текстовая версия Сейчас: 14.12.2017, 12:23
Дизайн