Данная статья написана в рамках конкурс "Новобранцы".


Доброго всем времени суток! Сегодня речь пойдёт о главной ошибки новичков при сборе трастовых баз сайтов.
Новички, большая часть, думает что лучше взять количеством, а не качеством. Ниже опишу процесс сбора самих баз и если Вы всё же дочитаете тему до конца, получите приятный подарок.


Первое что нужно понять, на ТИЦ влияют именно тематические ссылки, конечно же ссылка с трастового ресурса это хорошо, но толку будет меньше, если же на сайт будут ссылаться, допустим, два псевдо-СДЛ, но той же тематики что и реципиент.

Исходя из этого, стоит собирать тематические базы. Итак, теперь непосредственно о сборе баз.


Первый этап.

Выбираем какой тип базы будем собирать ( ссылки с профилей форумов или с профилей сайтов). Собирать базу форумов намного легче, но как показывает опыт, ссылки с профилей сайтов передают больше веса.

Второй этап.

На втором этапе мы переходим непосредственно к поиску сайтов, палить движки не буду, по этому покажу на примере известной всем DLE( Data Life Engine ). Для поиска сайтов нам необходимы признаки движка, по которым и будет проводиться поиск. Для того что б отсеять в серпе сайты по признаку, требуется ввести в поисковой строчке inurl:"признак" или же intext:"признак", данных команд нам хватит с головой.
Признаки на сайте искать достаточно легко, вот например, у DLE самые распространённые признаки:

Запросы будут выглядеть так:

Кстати после запроса можно написать, допустим "автомобили", для более корректного поиска тематических баз.

Третий этап.

Ручками собирать напряжно, могли подумать вы, и правильно, вручную выдирать сайты, это просто издевательство над собой и пустая трата времени. Для этого я как то и заказывал парсер по признакам с Я.Каталога и серпа Яндекса. Программка - YaParser ( автор данного чуда Zver777 )
Программу прикреплю в аттач.


Как видите сверху идёт окошечко в которое необходимо вводить признак движка.
Далее окошечко "Адреса", там будут напарсеные сайты.
Юзерагент оставляем неизменным.
Шаблон запроса позволяет настроит парсинг либо Яндекс каталога, либо серпа Яндекса.
Пауза(мс) - задержка в парсинге, у меня стоит 1000, но когда много сайтов надо спарсить задержку лучше ставить 7000-10000.
Диапазон ( с какой страницы парсить и по какую ).
Ну про кнопки старт и стоп я думаю вы и сами догадались)

Четвёртый этап

Теперь у нас всё готово для парсинга. Я изначально собираю сайты с Я.Каталога, потом уже с общего поиска.
Вот, напарсили вы сайты с ЯКа и серпа, но это ещё не значит что база готова, это только начало. Но теперь стоит подготовить саму базу.
Самым первым делом надо почистить её от дублей, можно воспользоваться программой ListEdit:

Удалили дубли? - Хорошо. Теперь второй шаг который очень часто пропускают, удаляем сайт которых нету в индексе Яндекса. Оставляем только сайты с количеством страниц в индексе>50. Это можно сделать демо-версией Allsubmitter. Как это сделать прочитайте в гайдах к программе.
Итак, что мы имеем, собранную базу ДЛЕ сайтов, в индексе Яндекса и почищенную от дублей.

Так как в ДЛЕ можно вставлять не просто ссылку, а и анкор, то надо проверить закрытость профиля от индексации.
Изначально что б не регистрироваться на сайте, мы находим список пользователей, я использую список авторов в статистике ( сайт.ру/index.php?do=stats и снизу будет десятка лучших авторов), переходим в их профиль, копируем ссылку на профиль и добавляем в аддурилку, если не добавляется значит закрыто от индексации, на помойку такие сайты. Если же ссылка добавилась, переходим ко второму этапу проверки профиля, находим поле "О себе" и смотрим у юзеров что там заполнено, если не находите сайта, придётся самому зарегистрироваться и вписать ссылку на свой сайт, если же есть ссылка, то тут нам понадобиться Firefox и RDS Bar, данное сочетание мне очень нравиться и сам его использую.

В настройках надо будет выставить проверку noindex\nofollow:


Если же ссылка смогли добавить и она не закрыта тегами,атрибутами запрета индексации, поздравляю, вы нашли нужный вам сайт( соответствия всем требованиям перечисленным выше).
Естественно такой профиль добавляйте в аддурилку сразу.
Ну и последний момент который остался в вашем поиске это количество ссылок которые останутся, так как многие ссылки администраторы сайтов удаляют, так что конечный результат лучше смотреть через Я.Вебмастер.

Как вы заметили, я не писал от какого тиц нужны сайты, ибо если тематическая ссылка, то вес будет передаваться, так что не стоит откидывать сайты с нулевым тицем.

YaParser -  Link_Parser.zip ( 732 килобайт ) Кол-во скачиваний: 1002


Надеюсь информация была полезной и помните, ищите не заспамленные движки.