Помощник
|
Как найти сайт/блог закрытый от инедксации, ...всё о халявном контенте... а вдруг? |
Sleepless
|
Сообщение
#1
|
||
|
|
||
|
|||
arturios |
15.8.2014, 22:03;
Ответить: arturios
Сообщение
#2
|
|
Ну зачем нам конкуренты то???
Да есть такая тема.. Но делиться с вами, зачем? |
|
|
topsmiling |
15.8.2014, 22:07;
Ответить: topsmiling
Сообщение
#3
|
|
Если вдруг кто окажется таким добрым мне в личку тоже кидайте
-------------------- |
|
|
Virus_07 |
15.8.2014, 22:10;
Ответить: Virus_07
Сообщение
#4
|
|
А причм тут этот раздел?! В оффтоп или прочее.
|
|
|
makedonskiy |
15.8.2014, 22:22;
Ответить: makedonskiy
Сообщение
#5
|
|
|
Берем список доменов (например можно взять RU, SU, РФ, благо в паблике есть базы), а дальше чекаем http://domen.ru/robots.txt на предмет наличия строки
Код User-agent: * Disallow: / Если нужен такой скрипт, а конкретно многопоточный серверный вариант, пишите мне. Контакты указаны в профиле и в теме, которая находится в подписи.
Сообщение отредактировал makedonskiy - 15.8.2014, 22:25 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Будет ли склейка сайтов если старый телефон перенести на новый сайт? | 2 | noviktamw | 499 | Сегодня, 23:05 автор: Liudmila |
|
[Услуги] Баннер/Графика/Сайт | 241 | FillPlay | 180720 | Сегодня, 15:19 автор: FillPlay |
|
Как в пушсетках покупают по 100-200 тысяч кликов за день? | 2 | Boymaster | 716 | Вчера, 17:52 автор: Boymaster |
|
Ваш сайт блокирует Роскомнадзор? | 29 | hollywooduk | 6031 | Вчера, 11:21 автор: hollywooduk |
|
Как вы отдыхаете от работы за компом | 151 | adw-kupon.ru | 19888 | 23.4.2024, 13:52 автор: Vmir |
Текстовая версия | Сейчас: 25.4.2024, 23:59 |