X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

6 страниц V   1 2 3 4 5 6 >
Открыть тему
Тема закрыта
> Собираем базы трастов самостоятельно и бесплатно., Плюшки внутри)
REGNET
REGNET
Topic Starter сообщение 10.12.2011, 14:11; Ответить: REGNET
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Данная статья написана в рамках конкурс "Новобранцы".


Доброго всем времени суток! Сегодня речь пойдёт о главной ошибки новичков при сборе трастовых баз сайтов.
Новички, большая часть, думает что лучше взять количеством, а не качеством. Ниже опишу процесс сбора самих баз и если Вы всё же дочитаете тему до конца, получите приятный подарок.



Первое что нужно понять, на ТИЦ влияют именно тематические ссылки, конечно же ссылка с трастового ресурса это хорошо, но толку будет меньше, если же на сайт будут ссылаться, допустим, два псевдо-СДЛ, но той же тематики что и реципиент.

Исходя из этого, стоит собирать тематические базы. Итак, теперь непосредственно о сборе баз.


Первый этап.


Выбираем какой тип базы будем собирать ( ссылки с профилей форумов или с профилей сайтов). Собирать базу форумов намного легче, но как показывает опыт, ссылки с профилей сайтов передают больше веса.

Второй этап.

На втором этапе мы переходим непосредственно к поиску сайтов, палить движки не буду, по этому покажу на примере известной всем DLE( Data Life Engine ). Для поиска сайтов нам необходимы признаки движка, по которым и будет проводиться поиск. Для того что б отсеять в серпе сайты по признаку, требуется ввести в поисковой строчке inurl:"признак" или же intext:"признак", данных команд нам хватит с головой.
Признаки на сайте искать достаточно легко, вот например, у DLE самые распространённые признаки:
index.php?do=register
index.php?do=feedback
index.php?do=stats
index.php?do=rules

Запросы будут выглядеть так:
inurl:"index.php?do=register"
inurl:"index.php?do=feedback"
inurl:"index.php?do=stats"
inurl:"index.php?do=rules"

Кстати после запроса можно написать, допустим "автомобили", для более корректного поиска тематических баз.

Третий этап.

Ручками собирать напряжно, могли подумать вы, и правильно, вручную выдирать сайты, это просто издевательство над собой и пустая трата времени. Для этого я как то и заказывал парсер по признакам с Я.Каталога и серпа Яндекса. Программка - YaParser ( автор данного чуда Zver777 )
Программу прикреплю в аттач.
Прикрепленное изображение


Как видите сверху идёт окошечко в которое необходимо вводить признак движка.
Далее окошечко "Адреса", там будут напарсеные сайты.
Юзерагент оставляем неизменным.
Шаблон запроса позволяет настроит парсинг либо Яндекс каталога, либо серпа Яндекса.
Пауза(мс) - задержка в парсинге, у меня стоит 1000, но когда много сайтов надо спарсить задержку лучше ставить 7000-10000.
Диапазон ( с какой страницы парсить и по какую ).
Ну про кнопки старт и стоп я думаю вы и сами догадались)

Четвёртый этап

Теперь у нас всё готово для парсинга. Я изначально собираю сайты с Я.Каталога, потом уже с общего поиска.
Вот, напарсили вы сайты с ЯКа и серпа, но это ещё не значит что база готова, это только начало. Но теперь стоит подготовить саму базу.
Самым первым делом надо почистить её от дублей, можно воспользоваться программой ListEdit:
Развернуть/Свернуть
Открыть текстовый файл в программе, Выделить весь текст. Нажать Правка - Строки (абзацы) - Сортировка без дублей (текст)
http://www.softforfree.com/download/listedit-12335-0.html

Удалили дубли? - Хорошо. Теперь второй шаг который очень часто пропускают, удаляем сайт которых нету в индексе Яндекса. Оставляем только сайты с количеством страниц в индексе>50. Это можно сделать демо-версией Allsubmitter. Как это сделать прочитайте в гайдах к программе.
Итак, что мы имеем, собранную базу ДЛЕ сайтов, в индексе Яндекса и почищенную от дублей.

Так как в ДЛЕ можно вставлять не просто ссылку, а и анкор, то надо проверить закрытость профиля от индексации.
Изначально что б не регистрироваться на сайте, мы находим список пользователей, я использую список авторов в статистике ( сайт.ру/index.php?do=stats и снизу будет десятка лучших авторов), переходим в их профиль, копируем ссылку на профиль и добавляем в аддурилку, если не добавляется значит закрыто от индексации, на помойку такие сайты. Если же ссылка добавилась, переходим ко второму этапу проверки профиля, находим поле "О себе" и смотрим у юзеров что там заполнено, если не находите сайта, придётся самому зарегистрироваться и вписать ссылку на свой сайт, если же есть ссылка, то тут нам понадобиться Firefox и RDS Bar, данное сочетание мне очень нравиться и сам его использую.
Развернуть/Свернуть
Скачать РДС БАР можно тут - http://www.recipdonor.com/bar

В настройках надо будет выставить проверку noindex\nofollow:


Если же ссылка смогли добавить и она не закрыта тегами,атрибутами запрета индексации, поздравляю, вы нашли нужный вам сайт( соответствия всем требованиям перечисленным выше).
Естественно такой профиль добавляйте в аддурилку сразу.
Ну и последний момент который остался в вашем поиске это количество ссылок которые останутся, так как многие ссылки администраторы сайтов удаляют, так что конечный результат лучше смотреть через Я.Вебмастер.

Как вы заметили, я не писал от какого тиц нужны сайты, ибо если тематическая ссылка, то вес будет передаваться, так что не стоит откидывать сайты с нулевым тицем.

YaParser - Прикрепленный файл  Link_Parser.zip ( 732 килобайт ) Кол-во скачиваний: 786


Надеюсь информация была полезной и помните, ищите не заспамленные движки.
47
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Minato
Minato
сообщение 10.12.2011, 15:02; Ответить: Minato
Сообщение #2


Старожил
******

Группа: Banned
Сообщений: 1378
Регистрация: 24.8.2010
Из: Оренбург
Поблагодарили: 267 раз
Репутация:   37  


спасибо за статью, хорошая, информативная, полезная. Давным давно в ручную собирал трасты, просматривая тысячи сайтов в Яндекс Каталоге))).

п.с. К вечеру количество тем в форуме "базы каталогов и форумов" существенно" увеличиться)))


--------------------
Бан за кидок трудового народа.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 10.12.2011, 15:06; Ответить: REGNET
Сообщение #3


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Minato, процесс конечно можно практически автоматизировать под определённую цмску, были бы деньги, кодер напишет, там особо сложно ничего нет.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Minato
Minato
сообщение 10.12.2011, 15:08; Ответить: Minato
Сообщение #4


Старожил
******

Группа: Banned
Сообщений: 1378
Регистрация: 24.8.2010
Из: Оренбург
Поблагодарили: 267 раз
Репутация:   37  


Да я уже давно этим не занимаюсь, слишком обленился)


--------------------
Бан за кидок трудового народа.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DrFOX_ru
DrFOX_ru
сообщение 10.12.2011, 16:53; Ответить: DrFOX_ru
Сообщение #5


Участник
***

Группа: User
Сообщений: 105
Регистрация: 18.6.2010
Из: готавливаю и прогоняю сайты
Поблагодарили: 40 раз
Репутация:   14  


ТС все правильно расписал, только вы забыли про robots.txt - профиль может быть закрыт от индексации, а RDS покажет nofollow. Но самая большая проблема остается в автореге)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
buglar
buglar
сообщение 10.12.2011, 21:48; Ответить: buglar
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 81
Регистрация: 16.11.2011
Из: Россия
Поблагодарили: 10 раз
Репутация:   2  


Автоматизированный процесс сборки есть в Allsubmitter.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 11.12.2011, 11:32; Ответить: dota
Сообщение #7


Топовый постер
*******


Группа: Active User
Сообщений: 4528
Регистрация: 1.10.2010
Из: СССР
Поблагодарили: 2575 раз
Репутация:   576  


REGNET, оказывается все идеально просто
(buglar @ 10.12.2011, 20:48) *
Автоматизированный процесс сборки есть в Allsubmitter.

Зря ты расписывал smile.gif
Хорошая статья для новичков, но думаю многие начинающие чуть недопонимают как запросы составлять.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alex2906
alex2906
сообщение 11.12.2011, 12:14; Ответить: alex2906
Сообщение #8


Бывалый
****

Группа: User
Сообщений: 318
Регистрация: 25.8.2010
Поблагодарили: 101 раз
Репутация:   16  


На мой взгляд действительно полезная статья для новичков, пока больше всех понравилась из прочитанных конкурсных, плюсанул.


--------------------
Гугли - гуглОм и не яндекси всуе.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 11.12.2011, 12:55; Ответить: REGNET
Сообщение #9


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


(DrFOX_ru @ 10.12.2011, 15:53) *
ТС все правильно расписал, только вы забыли про robots.txt - профиль может быть закрыт от индексации, а RDS покажет nofollow. Но самая большая проблема остается в автореге)

По этому там было указано добавление через аддурилку)

Кстати, для программы:
Для ЯК http://yaca.yandex.ru/yca/cat/{page}.html?text={text}
Серп Я http://yandex.ru/yandsearch?p={page}&t...t}&lr=10274


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolgarbiz
bolgarbiz
сообщение 11.12.2011, 14:00; Ответить: bolgarbiz
Сообщение #10


Новичок
*

Группа: Banned
Сообщений: 36
Регистрация: 8.12.2011
Поблагодарили: 19 раз
Репутация:   3  


И REGNET, а прожка может из гугла парсить выдачу ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
6 страниц V   1 2 3 4 5 6 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Контекстные ссылки на тематических порталах. Написание бесплатно!
29 3xWEB 6322 4.12.2017, 12:10
автор: 3xWEB
Горячая тема (нет новых ответов) Свежие базы ключевых слов с подсказок гугла!
42 Krok 12631 2.12.2017, 15:37
автор: Krok
Горячая тема (нет новых ответов) Сайт "под ключ" с полной внутренней оптимизацией бесплатно
72 Dr_Tapac 28793 30.11.2017, 21:17
автор: Dr_Tapac
Опрос (нет новых голосов) ВНИМАНИЕ: Серверы в NL/US до 4 месяцев бесплатно: E5-2650v4/10GB DDR4/240GB SSD/1 Gbps - $29
ua-hosting.company
12 deepdiver 3574 24.11.2017, 13:04
автор: deepdiver
Открытая тема (нет новых ответов) Различные базы для медийной рекламы, телемаркетинга...
блоги, форумы, компании, группы в соц сетях
0 SEOMR 593 23.11.2017, 15:04
автор: SEOMR


 



RSS Текстовая версия Сейчас: 12.12.2017, 10:25
Дизайн