X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Re: Собираем базу, у нас есть печенки...
House
House
Topic Starter сообщение 17.12.2011, 0:06; Ответить: House
Сообщение #1


Данная статья написана в рамках конкурса "Новобранцы".

Всем привет! Сегодня я вас научу или просто дам пример сбора хорошей базы для последующего ручного спама. Да такая статья была, но эта (возможно) лучше smile.gif

Я думаю все знают, что такое базы, но не все знают, что такое действительно хорошая база. Базы имеют два типа(я знаю): первый - автоматическая (спам) и второй тип - ручная. Мы будем делать базу для ручного спама.

Многие делают базу по ее пузомеркам (ТиЦ, PR), но можно так же отбирать доноров по ее посещаемости, но к сожалению статистику не всегда видно, поэтому этот способ отпадает, хотя посещаемый сайт имеет больше траста, чем обычный.

Так же некоторые делают базу именно с пузомерками, с тематикой авто для сайта про тушканчиков, откидывая нужные сайты. Поэтому нужно собирать тематические базы.

1 шаг.
Определимся с базой, а именно что мы будем парсить: форум, сайт, гостевую книгу, блог.
Например блоги и гостевые книги очень сильно заспамлены, в тоже время где то по середине находятся сайты, и "чистыми" в плане заспамленности - форумы, но в то же время они дают немного больший траст.

2 шаг.

В этом шаге мы будем собирать саму базу по запросам в поисковиках. Парсить рекомендую в Google и Yandex, так как такая база будет лучше из за ее количества сайтов с PR и ТиЦ. Для этого будем использовать "признаки" движков.
Для поиска сайтов по признаку будем использовать запрос - inurl:"признак" и intext:"признак".

Полный список операторов для поиска в Google:


Прикрепленное изображение


Я вам дам несколько основных признаков для популярных движков.


Признаки CMS DRUPAL
Развернуть/Свернуть
”Powered by Drupal” keyword
”Powered by Drupal” inurl:user/register keyword
”Powered by Drupal” ”Login or register to comment” keyword
”Powered by Drupal” site:.edu keyword
”Drupal.settings” keyword
Inurl:"node" + keyword
Drupal "add new comment"
"powered by drupal"
"powered by drupal" inurl:blog (Can also alternate blog with category, or topics with this query)
drupal inurl:/comment/reply
inurl:content/comment/reply
"reply to comment" "add new comment"

Признаки CMS DLE
Развернуть/Свернуть
inurl:engine/rss.php
inurl:index.php?do=lostpassword
"DataLife Engine > Версия для печати"
"powered by dle"
inurl:"index.php?do=register" "регистрация"
inurl:"index.php?do=register" "пароль"
inurl:"index.php?do=register" "повторите пароль"
inurl:"index.php?do=register" "Код безопасности"
inurl:"index.php?do=register" "Введите код"
inurl:"index.php?do=register" "Подтверждение кода безопасности"
inurl:index.php?do=register
inurl:index.php?do=feedback
inurl:index.php?do=stats
inurl:index.php?do=rules

Признаки CMS JOOMLA!
Развернуть/Свернуть
inurl:com_content
inurl:index.php?option

Признаки CMS PHPBB
Развернуть/Свернуть
"phpBB Group"
"powered by phpbb"
inurl:"viewtopic.php"
inurl:"phpBB3/viewtopic.php"
inurl:"phpBB2/viewtopic.php"
inurl:"phpBB/viewtopic.php"
inurl:"forum/viewtopic.php"
inurl:"forums/viewtopic.php"

Признаки CMS SMF
Развернуть/Свернуть
"Powered by SMF 1.1.2"
"Powered by SMF 1.1.3"
"Powered by SMF 1.1 RC2"
"Powered by SMF 1.1.4"
"Powered by SMF 1.1.8"
"Powered by SMF 1.1.7"
"2006-2008, Simple Machines LLC"

Признаки CMS YaBB
Развернуть/Свернуть
"Powered by YaBB" -"yabb se"
"Powered by YaBB 1 Gold - SP1"
"Powered by YaBB 1 Gold - SP 1.1"
"Powered by YaBB 1 Gold - SP 1.2"
"Powered by YaBB 1 Gold - SP 1.3.1"
"Powered by YaBB 1 Gold - SP 1.3.2"
"Powered by YaBB 1 Gold - SP 1.4"
"Powered by YaBB 1 Gold - Release (Yet Another Bulletin Board)"
"Powered by YaBB 2.1"
"Powered by YaBB 2.2"
"Powered by YaBB 2.2.1"
"Powered by YaBB 2.2.2"
"Powered by YaBB 2.2.3"
"Powered by YaBB 2.3"
"Powered by YaBB 2.3.1"
"Powered by YaBB 2.4"
"Powered by YaBB 2.5 AE"
"Powered by YaBB 3.0 Beta"

Признаки CMS WORDPRESS
Развернуть/Свернуть
intext:"Сайт" intext:"Почта (не будет видна) (обязательно)" site:.ru
intext:"Сайт" intext:"Почта (не публикуется) (обязательно)" site:.ru
intext:"Сайт" intext:"Почта (обязательно)" site:.ru
intext:"Сайт" intext:"E-mail (не публикуется) (обязательно)" site:.ru
intext:"Сайт" intext:"E-Mail (не публикуется)" site:.ru
intext:"Сайт" intext:"Почта (скрыта) *" site:.ru
intext:"Сайт" intext:"Email (required)" site:.ru
intext:"Сайт" intext:"E-mail" site:.ru
intext:"Сайт" intext:"E-mail/HTTP" site:.ru
intext:"Сайт" intext:"Mail (will not be published) (required)" site:.ru
intext:"Сайт" intext:"Mail (will not be published) " site:.ru
intext:"Сайт" intext:"Email (required) - will not be published" site:.ru
intext:"Сайт" intext:"Email (will not be published) (required)" site:.ru
intext:"Сайт" intext:"E-Mail (will not be published , required)" site:.ru
intext:"Сайт" intext:"Email Address(required)" site:.ru
intext:"Сайт" intext:"Емайл (не публикуется) (обязательно)" site:.ru
intext:"Сайт" intext:"E-Mail:(не публикуется)(обязательно)" site:.ru
intext:"Сайт" intext:"E-mail: (обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"Почта (не будет видна) (обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"Почта (не публикуется) (обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"Почта (обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"E-mail (не публикуется) (обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"E-Mail (не публикуется)" site:.ru
intext:"Сайт (не обязательно)" intext:"Почта (скрыта) *" site:.ru
intext:"Сайт (не обязательно)" intext:"Email (required)" site:.ru
intext:"Сайт (не обязательно)" intext:"E-mail" site:.ru
intext:"Сайт (не обязательно)" intext:"E-mail/HTTP" site:.ru
intext:"Сайт (не обязательно)" intext:"Mail (will not be published) (required)" site:.ru
intext:"Сайт (не обязательно)" intext:"Mail (will not be published) " site:.ru
intext:"Сайт (не обязательно)" intext:"Email (required) - will not be published" site:.ru
intext:"Сайт (не обязательно)" intext:"Email (will not be published) (required)" site:.ru
intext:"Сайт (не обязательно)" intext:"E-Mail (will not be published , required)" site:.ru
intext:"Сайт (не обязательно)" intext:"Email Address(required)" site:.ru
intext:"Сайт (не обязательно)" intext:"Емайл (не публикуется) (обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"E-Mail:(не публикуется)(обязательно)" site:.ru
intext:"Сайт (не обязательно)" intext:"E-mail: (обязательно)" site:.ru
intext:"Web-сайт" intext:"Почта (не будет видна) (обязательно)" site:.ru
intext:"Web-сайт" intext:"Почта (не публикуется) (обязательно)" site:.ru
intext:"Web-сайт" intext:"Почта (обязательно)" site:.ru
intext:"Web-сайт" intext:"E-mail (не публикуется) (обязательно)" site:.ru
intext:"Web-сайт" intext:"E-Mail (не публикуется)" site:.ru
intext:"Web-сайт" intext:"Почта (скрыта) *" site:.ru
intext:"Web-сайт" intext:"Email (required)" site:.ru
intext:"Web-сайт" intext:"E-mail" site:.ru
intext:"Web-сайт" intext:"E-mail/HTTP" site:.ru
intext:"Web-сайт" intext:"Mail (will not be published) (required)" site:.ru
intext:"Web-сайт" intext:"Mail (will not be published) " site:.ru
intext:"Web-сайт" intext:"Email (required) - will not be published" site:.ru
intext:"Web-сайт" intext:"Email (will not be published) (required)" site:.ru
intext:"Web-сайт" intext:"E-Mail (will not be published , required)" site:.ru
intext:"Web-сайт" intext:"Email Address(required)" site:.ru
intext:"Web-сайт" intext:"Емайл (не публикуется) (обязательно)" site:.ru
intext:"Web-сайт" intext:"E-Mail:(не публикуется)(обязательно)" site:.ru
intext:"Web-сайт" intext:"E-mail: (обязательно)" site:.ru
intext:"Website" intext:"Почта (не будет видна) (обязательно)" site:.ru
intext:"Website" intext:"Почта (не публикуется) (обязательно)" site:.ru
intext:"Website" intext:"Почта (обязательно)" site:.ru
intext:"Website" intext:"E-mail (не публикуется) (обязательно)" site:.ru
intext:"Website" intext:"E-Mail (не публикуется)" site:.ru
intext:"Website" intext:"Почта (скрыта) *" site:.ru
intext:"Website" intext:"Email (required)" site:.ru
intext:"Website" intext:"E-mail" site:.ru
intext:"Website" intext:"E-mail/HTTP" site:.ru
intext:"Website" intext:"Mail (will not be published) (required)" site:.ru
intext:"Website" intext:"Mail (will not be published) " site:.ru
intext:"Website" intext:"Email (required) - will not be published" site:.ru
intext:"Website" intext:"Email (will not be published) (required)" site:.ru
intext:"Website" intext:"E-Mail (will not be published , required)" site:.ru
intext:"Website" intext:"Email Address(required)" site:.ru
intext:"Website" intext:"Емайл (не публикуется) (обязательно)" site:.ru
intext:"Website" intext:"E-Mail:(не публикуется)(обязательно)" site:.ru
intext:"Website" intext:"E-mail: (обязательно)" site:.ru
intext:"Веб-сайт" intext:"Почта (не будет видна) (обязательно)" site:.ru
intext:"Веб-сайт" intext:"Почта (не публикуется) (обязательно)" site:.ru
intext:"Веб-сайт" intext:"Почта (обязательно)" site:.ru
intext:"Веб-сайт" intext:"E-mail (не публикуется) (обязательно)" site:.ru
intext:"Веб-сайт" intext:"E-Mail (не публикуется)" site:.ru
intext:"Веб-сайт" intext:"Почта (скрыта) *" site:.ru
intext:"Веб-сайт" intext:"Email (required)" site:.ru
intext:"Веб-сайт" intext:"E-mail" site:.ru
intext:"Веб-сайт" intext:"E-mail/HTTP" site:.ru
intext:"Веб-сайт" intext:"Mail (will not be published) (required)" site:.ru
intext:"Веб-сайт" intext:"Mail (will not be published) " site:.ru
intext:"Веб-сайт" intext:"Email (required) - will not be published" site:.ru
intext:"Веб-сайт" intext:"Email (will not be published) (required)" site:.ru
intext:"Веб-сайт" intext:"E-Mail (will not be published , required)" site:.ru
intext:"Веб-сайт" intext:"Email Address(required)" site:.ru
intext:"Веб-сайт" intext:"Емайл (не публикуется) (обязательно)" site:.ru
intext:"Веб-сайт" intext:"E-Mail:(не публикуется)(обязательно)" site:.ru
intext:"Веб-сайт" intext:"E-mail: (обязательно)" site:.ru
intext:"Website (optional)" intext:"Почта (не будет видна) (обязательно)" site:.ru
intext:"Website (optional)" intext:"Почта (не публикуется) (обязательно)" site:.ru
intext:"Website (optional)" intext:"Почта (обязательно)" site:.ru
intext:"Website (optional)" intext:"E-mail (не публикуется) (обязательно)" site:.ru
intext:"Website (optional)" intext:"E-Mail (не публикуется)" site:.ru
intext:"Website (optional)" intext:"Почта (скрыта) *" site:.ru
intext:"Website (optional)" intext:"Email (required)" site:.ru
intext:"Website (optional)" intext:"E-mail" site:.ru
intext:"Website (optional)" intext:"E-mail/HTTP" site:.ru
intext:"Website (optional)" intext:"Mail (will not be published) (required)" site:.ru
intext:"Website (optional)" intext:"Mail (will not be published) " site:.ru
intext:"Website (optional)" intext:"Email (required) - will not be published" site:.ru
intext:"Website (optional)" intext:"Email (will not be published) (required)" site:.ru
intext:"Website (optional)" intext:"E-Mail (will not be published , required)" site:.ru
intext:"Website (optional)" intext:"Email Address(required)" site:.ru
intext:"Website (optional)" intext:"Емайл (не публикуется) (обязательно)" site:.ru
intext:"Website (optional)" intext:"E-Mail:(не публикуется)(обязательно)" site:.ru
intext:"Website (optional)" intext:"E-mail: (обязательно)" site:.ru

Признаки CMS Invision Power Board (IPB)
Развернуть/Свернуть
inurl:"index.php?showforum="
inurl:"forum/index.php?showforum="
inurl:"forums/index.php?showforum="
inurl:"foorumi/index.php?showforum="
inurl:"foorum/index.php?showforum="
inurl:"forumas/index.php?showforum="
inurl:"board/index.php?showforum="
inurl:"support/index.php?showforum="
inurl:"chat/index.php?showforum="
inurl:"discussion/index.php?showforum="
inurl:"foro/index.php?showforum="
inurl:"messageboard/index.php?showforum="

Признаки CMS VBulletin
Развернуть/Свернуть
inurl:"forumdisplay.php"
inurl:"vbulletin/forumdisplay.php"
inurl:"forum/forumdisplay.php"
inurl:"forums/forumdisplay.php"
inurl:"board/forumdisplay.php"
inurl:"support/forumdisplay.php"
inurl:"discussion/forumdisplay.php"
inurl:"foro/forumdisplay.php"
inurl:"messageboard/forumdisplay.php"
inurl:"chat/forumdisplay.php"
inurl:"foorum/forumdisplay.php"
inurl:"foorumi/forumdisplay.php"
inurl:"forumas/forumdisplay.php"

Признаки CMS UltimateBB
Развернуть/Свернуть
inurl:"ultimatebb.php"
inurl:"forum/ultimatebb.php"
inurl:"forums/ultimatebb.php"
inurl:"board/ultimatebb.php"
inurl:"support/ultimatebb.php"
inurl:"discussion/ultimatebb.php"
inurl:"foro/ultimatebb.php"
inurl:"messageboard/ultimatebb.php"
inurl:"chat/ultimatebb.php"
inurl:"foorum/ultimatebb.php"
inurl:"foorumi/ultimatebb.php"
inurl:"forumas/ultimatebb.php"
inurl:"ubb/forum/ultimatebb.php"
inurl:"ubb/ultimatebb.php"
inurl:"/scripts/forum/ultimatebb.php"
inurl:"/cgi-bin/ultimatebb.php"
inurl:"ubbcgi/ultimatebb.php"
inurl:"/ubb/cgi/ultimatebb.php"
inurl:"cgi/ultimatebb.php"

Парсить вручную не будем ибо это не самая лучшая идея а будем использовать софт.
Для Яндекса есть замечательная программа - YaParser ( автор данного чуда Zver777 ), ссылка - http://www.maultalk.com/ipb.html?act=attach&type=post&id=12597


Для Google есть замечательная программа - Google Parser, скачать - http://www.wisecat.ru/programmy-i-skripty/...achi-besplatnyi



Далее нам нужно очистить строки от дублей, для этого есть еще одна замечательная программа - DupKill, скачать - http://narod.ru/disk/25697569000/DupKill.exe.html



Программы легкие, описание не требуется.
3 шаг.

Итак, нас есть 1 текстовый файл со всеми сайтами которые мы напарсили, теперь мы будем ручками их чистить от всякой мерзости и просто не нужных сайтов.
Я расскажу процесс "чистки" на примере блога на WordPress:
Для начала ищем пост с комментариями, нашли - анализируем, не нашли - пишем свой и анализируем. Например, комментарии не закрыты от индексации, если закрыты, то выбрасываем сайт из списка, можно ли поставить ссылку с анкором (?), все это анализируем и заполняем в таблицу ексель для лучшего представления, например так:
Ссылка (URL) Анкор (Можно ли поставить да\нет) ТиЦ PR Возраст ЯК Dmoz и так далее...

Для быстрого опредиления закрытости ссылок и других параметров рекомендую использовать - RDS Bar (http://www.recipdonor.com/bar), это миниатюрный плагин, который можно установить в Firefox, Opera, Chrome или установить на ПК.



Так же хочу заметить то, что некоторые веб-мастера удаляют ссылки со своих сайтов или на некоторых форумах аккаунты удаляют за не актиность, поэтому все это нужно записать в ваш ексель документ с базами. Честность - эталон качества.

Сообщение отредактировал House - 17.12.2011, 0:08


Поблагодарили: (5)
5
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
z17
z17
сообщение 17.12.2011, 0:18; Ответить: z17
Сообщение #2


хорошая статья, спасибо


--------------------
Мой блог
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
House
House
Topic Starter сообщение 17.12.2011, 0:19; Ответить: House
Сообщение #3


(z17 @ 17.12.2011, 0:18) *
хорошая статья, спасибо

Спасибо! Старался.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 17.12.2011, 0:21; Ответить: SEOMR
Сообщение #4


ТС, это ваша статья - Признаки сайтов и форумов?
Или вы просто скопипастили признаки и вставили в свою статью?

Про RDS Bar и YaParser вы явно позаимствовали из статьи REGNET "Собираем базы трастов самостоятельно и бесплатно"

Также интересует такой вопрос: как человек спрашивающий еще сегодня о признаках wordpress может писать статью по парсингу?

Вот ваше сообщение:
(House @ 16.12.2011, 20:51) *
Если вам не трудно поделитесь 10-ю запросами wordpress? Буду очень признателен.


Не стыдно? Где в данной статье именно ваши мысли, опыт?

Сообщение отредактировал SEOMR - 17.12.2011, 0:23


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dzhalalov
Dzhalalov
сообщение 17.12.2011, 0:25; Ответить: Dzhalalov
Сообщение #5


SEOMR, а что, это вас задело?
Человек постарался и изложил всё в одной статье
Респект
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kronos
kronos
сообщение 17.12.2011, 0:25; Ответить: kronos
Сообщение #6


Краденая идея еще и софт тот же...
Спасибо хоть нишевых двишков не спалили.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
z17
z17
сообщение 17.12.2011, 0:28; Ответить: z17
Сообщение #7


(kronos @ 17.12.2011, 0:25) *
Спасибо хоть нишевых двишков не спалили.

т.е. нишевые движки?
движки, на которых сайты одних тематик?


--------------------
Мой блог
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
House
House
Topic Starter сообщение 17.12.2011, 0:29; Ответить: House
Сообщение #8


(SEOMR @ 17.12.2011, 0:21) *
ТС, это ваша статья - Признаки сайтов и форумов?
Или вы просто скопипастили признаки и вставили в свою статью?

Статья на сайте выше указанном не моя, но вам это, что не нравится? Признаки все, далеко не его. Да и они лежат у меня уже давно....
RDS bar я и до этого знал, а вот yaparser действительно "позаимствовал", сначала хотел выложить скрипт парсера на питон, потом заметил тему REGNET, а та программка проще для понимания, нежели скрипт на Питоне.
(SEOMR @ 17.12.2011, 0:21) *
Также интересует такой вопрос: как человек спрашивающий еще сегодня о признаках wordpress может писать статью по парсингу?

Я просто подумал даст новенькие, а тут... такие уже были smile.gif

(SEOMR @ 17.12.2011, 0:21) *
Не стыдно? Где в данной статье именно ваши мысли, опыт?

Собирал ли я базы? Да, под свой новый проект, даже более... Я писал похожие парсеры на заказ на Python.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 17.12.2011, 0:29; Ответить: SEOMR
Сообщение #9


(Dzhalalov @ 16.12.2011, 23:25) *
SEOMR, а что, это вас задело?
Человек постарался и изложил всё в одной статье
Респект

А то, что человек только сегодня прочитал статью REGNETа, спрашивал его о признаках вордпресса и тут же пишет статью для новичков о том, как парсить, когда же его статья является по сути сплошным копипастом с элементами рерайтинга.

Мне казалось в конкурсе нужно излагать свои мысли и опыт.

Конкретно цепанула данная фраза: "Сегодня я вас научу или просто дам пример сбора хорошей базы для последующего ручного спама". Как часто у нас бывает: нищий учит зарабатывать, человек, который и понятия не имеет о SEО продвигать и т.д..


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
House
House
Topic Starter сообщение 17.12.2011, 0:32; Ответить: House
Сообщение #10


(kronos @ 17.12.2011, 0:25) *
Спасибо хоть нишевых двишков не спалили.

А нужно?

(SEOMR @ 17.12.2011, 0:29) *
нищий учит зарабатывать, человек, который и понятия не имеет о SEО продвигать и т.д..

Нет ничему не учу, я поучаю... smile.gif

SEOMR, я не понимаю, вам не нравится? Идите мимо. Я постарался изложить все в одной статье или вам нравится бегать везде и изобретать велосипед?

К тому же я написал про то, что у регнета не было, а нужно было бы.

Сообщение отредактировал House - 17.12.2011, 0:34
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПродам базу сайтов Wordpress в 16 миллионов доменов! Свежая сборка.
17 Boymaster 9774 17.3.2024, 2:53
автор: Boymaster
Открытая тема (нет новых ответов) Подкиньте базу ключей тематики wallpaper - Обои для рабочего стола
0 uahomka 829 27.2.2024, 0:38
автор: uahomka
Открытая тема (нет новых ответов) Выгрузить базу товаров в WooCommerce
база готова
1 Infe 1572 28.7.2022, 8:21
автор: ui951uiFox
Открытая тема (нет новых ответов) Ищу базу для ручной простановки ссылок (бесплатную)
7 uahomka 8764 4.5.2021, 14:30
автор: kyzka
Открытая тема (нет новых ответов) Нужно собрать базу иксрумера / зенопостер
2 kolyas 1377 9.7.2020, 20:15
автор: Kuzzma


 



RSS Текстовая версия Сейчас: 28.3.2024, 19:13
Дизайн