X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

6 страниц V   1 2 3 4 5 6 >
Открыть тему
Тема закрыта
> Собираем базы трастов самостоятельно и бесплатно., Плюшки внутри)
REGNET
REGNET
Topic Starter сообщение 10.12.2011, 14:11; Ответить: REGNET
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


Данная статья написана в рамках конкурс "Новобранцы".


Доброго всем времени суток! Сегодня речь пойдёт о главной ошибки новичков при сборе трастовых баз сайтов.
Новички, большая часть, думает что лучше взять количеством, а не качеством. Ниже опишу процесс сбора самих баз и если Вы всё же дочитаете тему до конца, получите приятный подарок.



Первое что нужно понять, на ТИЦ влияют именно тематические ссылки, конечно же ссылка с трастового ресурса это хорошо, но толку будет меньше, если же на сайт будут ссылаться, допустим, два псевдо-СДЛ, но той же тематики что и реципиент.

Исходя из этого, стоит собирать тематические базы. Итак, теперь непосредственно о сборе баз.


Первый этап.


Выбираем какой тип базы будем собирать ( ссылки с профилей форумов или с профилей сайтов). Собирать базу форумов намного легче, но как показывает опыт, ссылки с профилей сайтов передают больше веса.

Второй этап.

На втором этапе мы переходим непосредственно к поиску сайтов, палить движки не буду, по этому покажу на примере известной всем DLE( Data Life Engine ). Для поиска сайтов нам необходимы признаки движка, по которым и будет проводиться поиск. Для того что б отсеять в серпе сайты по признаку, требуется ввести в поисковой строчке inurl:"признак" или же intext:"признак", данных команд нам хватит с головой.
Признаки на сайте искать достаточно легко, вот например, у DLE самые распространённые признаки:
index.php?do=register
index.php?do=feedback
index.php?do=stats
index.php?do=rules

Запросы будут выглядеть так:
inurl:"index.php?do=register"
inurl:"index.php?do=feedback"
inurl:"index.php?do=stats"
inurl:"index.php?do=rules"

Кстати после запроса можно написать, допустим "автомобили", для более корректного поиска тематических баз.

Третий этап.

Ручками собирать напряжно, могли подумать вы, и правильно, вручную выдирать сайты, это просто издевательство над собой и пустая трата времени. Для этого я как то и заказывал парсер по признакам с Я.Каталога и серпа Яндекса. Программка - YaParser ( автор данного чуда Zver777 )
Программу прикреплю в аттач.
Прикрепленное изображение


Как видите сверху идёт окошечко в которое необходимо вводить признак движка.
Далее окошечко "Адреса", там будут напарсеные сайты.
Юзерагент оставляем неизменным.
Шаблон запроса позволяет настроит парсинг либо Яндекс каталога, либо серпа Яндекса.
Пауза(мс) - задержка в парсинге, у меня стоит 1000, но когда много сайтов надо спарсить задержку лучше ставить 7000-10000.
Диапазон ( с какой страницы парсить и по какую ).
Ну про кнопки старт и стоп я думаю вы и сами догадались)

Четвёртый этап

Теперь у нас всё готово для парсинга. Я изначально собираю сайты с Я.Каталога, потом уже с общего поиска.
Вот, напарсили вы сайты с ЯКа и серпа, но это ещё не значит что база готова, это только начало. Но теперь стоит подготовить саму базу.
Самым первым делом надо почистить её от дублей, можно воспользоваться программой ListEdit:
Развернуть/Свернуть
Открыть текстовый файл в программе, Выделить весь текст. Нажать Правка - Строки (абзацы) - Сортировка без дублей (текст)
http://www.softforfree.com/download/listedit-12335-0.html

Удалили дубли? - Хорошо. Теперь второй шаг который очень часто пропускают, удаляем сайт которых нету в индексе Яндекса. Оставляем только сайты с количеством страниц в индексе>50. Это можно сделать демо-версией Allsubmitter. Как это сделать прочитайте в гайдах к программе.
Итак, что мы имеем, собранную базу ДЛЕ сайтов, в индексе Яндекса и почищенную от дублей.

Так как в ДЛЕ можно вставлять не просто ссылку, а и анкор, то надо проверить закрытость профиля от индексации.
Изначально что б не регистрироваться на сайте, мы находим список пользователей, я использую список авторов в статистике ( сайт.ру/index.php?do=stats и снизу будет десятка лучших авторов), переходим в их профиль, копируем ссылку на профиль и добавляем в аддурилку, если не добавляется значит закрыто от индексации, на помойку такие сайты. Если же ссылка добавилась, переходим ко второму этапу проверки профиля, находим поле "О себе" и смотрим у юзеров что там заполнено, если не находите сайта, придётся самому зарегистрироваться и вписать ссылку на свой сайт, если же есть ссылка, то тут нам понадобиться Firefox и RDS Bar, данное сочетание мне очень нравиться и сам его использую.
Развернуть/Свернуть
Скачать РДС БАР можно тут - http://www.recipdonor.com/bar

В настройках надо будет выставить проверку noindex\nofollow:


Если же ссылка смогли добавить и она не закрыта тегами,атрибутами запрета индексации, поздравляю, вы нашли нужный вам сайт( соответствия всем требованиям перечисленным выше).
Естественно такой профиль добавляйте в аддурилку сразу.
Ну и последний момент который остался в вашем поиске это количество ссылок которые останутся, так как многие ссылки администраторы сайтов удаляют, так что конечный результат лучше смотреть через Я.Вебмастер.

Как вы заметили, я не писал от какого тиц нужны сайты, ибо если тематическая ссылка, то вес будет передаваться, так что не стоит откидывать сайты с нулевым тицем.

YaParser - Прикрепленный файл  Link_Parser.zip ( 732 килобайт ) Кол-во скачиваний: 852


Надеюсь информация была полезной и помните, ищите не заспамленные движки.
47
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Minato
Minato
сообщение 10.12.2011, 15:02; Ответить: Minato
Сообщение #2


Старожил
******

Группа: Banned
Сообщений: 1378
Регистрация: 24.8.2010
Из: Оренбург
Поблагодарили: 268 раз
Репутация:   37  


спасибо за статью, хорошая, информативная, полезная. Давным давно в ручную собирал трасты, просматривая тысячи сайтов в Яндекс Каталоге))).

п.с. К вечеру количество тем в форуме "базы каталогов и форумов" существенно" увеличиться)))


--------------------
Бан за кидок трудового народа.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 10.12.2011, 15:06; Ответить: REGNET
Сообщение #3


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


Minato, процесс конечно можно практически автоматизировать под определённую цмску, были бы деньги, кодер напишет, там особо сложно ничего нет.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Minato
Minato
сообщение 10.12.2011, 15:08; Ответить: Minato
Сообщение #4


Старожил
******

Группа: Banned
Сообщений: 1378
Регистрация: 24.8.2010
Из: Оренбург
Поблагодарили: 268 раз
Репутация:   37  


Да я уже давно этим не занимаюсь, слишком обленился)


--------------------
Бан за кидок трудового народа.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DrFOX_ru
DrFOX_ru
сообщение 10.12.2011, 16:53; Ответить: DrFOX_ru
Сообщение #5


Участник
***

Группа: User
Сообщений: 105
Регистрация: 18.6.2010
Из: готавливаю и прогоняю сайты
Поблагодарили: 40 раз
Репутация:   14  


ТС все правильно расписал, только вы забыли про robots.txt - профиль может быть закрыт от индексации, а RDS покажет nofollow. Но самая большая проблема остается в автореге)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
buglar
buglar
сообщение 10.12.2011, 21:48; Ответить: buglar
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 84
Регистрация: 16.11.2011
Из: Россия
Поблагодарили: 12 раз
Репутация:   2  


Автоматизированный процесс сборки есть в Allsubmitter.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 11.12.2011, 11:32; Ответить: dota
Сообщение #7


Топовый постер
*******


Группа: Active User
Сообщений: 4721
Регистрация: 1.10.2010
Из: СССР
Поблагодарили: 2722 раза
Репутация:   598  


REGNET, оказывается все идеально просто
(buglar @ 10.12.2011, 20:48) *
Автоматизированный процесс сборки есть в Allsubmitter.

Зря ты расписывал smile.gif
Хорошая статья для новичков, но думаю многие начинающие чуть недопонимают как запросы составлять.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alex2906
alex2906
сообщение 11.12.2011, 12:14; Ответить: alex2906
Сообщение #8


Бывалый
****

Группа: User
Сообщений: 345
Регистрация: 25.8.2010
Поблагодарили: 111 раз
Репутация:   18  


На мой взгляд действительно полезная статья для новичков, пока больше всех понравилась из прочитанных конкурсных, плюсанул.


--------------------
Гугли - гуглОм и не яндекси всуе
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 11.12.2011, 12:55; Ответить: REGNET
Сообщение #9


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


(DrFOX_ru @ 10.12.2011, 15:53) *
ТС все правильно расписал, только вы забыли про robots.txt - профиль может быть закрыт от индексации, а RDS покажет nofollow. Но самая большая проблема остается в автореге)

По этому там было указано добавление через аддурилку)

Кстати, для программы:
Для ЯК http://yaca.yandex.ru/yca/cat/{page}.html?text={text}
Серп Я http://yandex.ru/yandsearch?p={page}&t...t}&lr=10274


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolgarbiz
bolgarbiz
сообщение 11.12.2011, 14:00; Ответить: bolgarbiz
Сообщение #10


Новичок
*

Группа: Banned
Сообщений: 36
Регистрация: 8.12.2011
Поблагодарили: 19 раз
Репутация:   3  


И REGNET, а прожка может из гугла парсить выдачу ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
6 страниц V   1 2 3 4 5 6 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Базы бурж поисковых запросов (adult, download, dating, gambling, essay и другие)
Качественные базы поисковых запросов на английском
0 Aikes_2 40 Сегодня, 18:52
автор: Aikes_2
Открытая тема (нет новых ответов) Выгрузки из Keys.so и Bukvarix.com (бесплатно)
Могу вам бесплатно сделать выгрузку из обоих сервисов
21 tehno_music 2527 30.10.2019, 21:21
автор: itlider
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыРаздача готовых статей бесплатно!
22 bposter94 2108 24.10.2019, 19:39
автор: bposter94
Открытая тема (нет новых ответов) Базы @username Telegram для рассылок и инвайтинга
0 vodogrey 247 8.10.2019, 9:05
автор: vodogrey
Открытая тема (нет новых ответов) [Продам] Базы доменов, использующих CMS WordPress/Joomla/Drupal/OpenCart и т.д.
11 phosphoruss 3061 7.10.2019, 21:28
автор: phosphoruss


 



RSS Текстовая версия Сейчас: 18.11.2019, 21:24
Дизайн