Помощник
|
Как найти сайт/блог закрытый от инедксации, ...всё о халявном контенте... а вдруг? |
Sleepless
|
Сообщение
#1
|
||
|
|
||
|
|||
arturios |
15.8.2014, 22:03;
Ответить: arturios
Сообщение
#2
|
|
Ну зачем нам конкуренты то???
Да есть такая тема.. Но делиться с вами, зачем? |
|
|
topsmiling |
15.8.2014, 22:07;
Ответить: topsmiling
Сообщение
#3
|
|
Если вдруг кто окажется таким добрым мне в личку тоже кидайте
-------------------- |
|
|
Virus_07 |
15.8.2014, 22:10;
Ответить: Virus_07
Сообщение
#4
|
|
А причм тут этот раздел?! В оффтоп или прочее.
|
|
|
makedonskiy |
15.8.2014, 22:22;
Ответить: makedonskiy
Сообщение
#5
|
|
|
Берем список доменов (например можно взять RU, SU, РФ, благо в паблике есть базы), а дальше чекаем http://domen.ru/robots.txt на предмет наличия строки
Код User-agent: * Disallow: / Если нужен такой скрипт, а конкретно многопоточный серверный вариант, пишите мне. Контакты указаны в профиле и в теме, которая находится в подписи.
Сообщение отредактировал makedonskiy - 15.8.2014, 22:25 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Арбитражники, как ведете учет расходов и доходов? | 12 | Boymaster | 1920 | Вчера, 21:03 автор: MisterBit |
|
Как вывести деньги в Украине с заблокированного Юмани ? | 29 | freeax | 4814 | 17.4.2024, 1:19 автор: sergio11 |
|
Ваш сайт блокирует Роскомнадзор? | 27 | hollywooduk | 5719 | 17.4.2024, 0:19 автор: Omaxis |
|
Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ | 0 | bunneh | 349 | 16.4.2024, 18:02 автор: bunneh |
|
Если в сайт с одними ключами, которые там долго, добавить новую рубрику с новыми ключами | 2 | Tutich | 1234 | 16.4.2024, 8:27 автор: Tutich |
Текстовая версия | Сейчас: 20.4.2024, 4:00 |