Помощник
 |
|
|
|
|
Сообщение сайта
 Как найти сайт/блог закрытый от инедксации, ...всё о халявном контенте... а вдруг? |
Sleepless
|
Сообщение
#1
|
||
|
Новичок  Группа: User Сообщений: 49 Регистрация: 2.4.2013 Поблагодарили: 3 раза Репутация:  0 
 |
|
||
 |
|
||
 |
arturios
|
 15.8.2014, 22:03;
Ответить: arturios
Сообщение
#2
|
 Старожил Группа: Super Moderator Сообщений: 1828 Регистрация: 16.10.2012 Из: Москва Поблагодарили: 1410 раз Репутация: 81
|
Ну зачем нам конкуренты то???
Да есть такая тема.. Но делиться с вами, зачем? |
|
|
|
|
topsmiling
|
15.8.2014, 22:07;
Ответить: topsmiling
Сообщение
#3
|
 ёёёёёёёёё ӭ Группа: Active User Сообщений: 1298 Регистрация: 6.3.2011 Из: ★звёзд★ Поблагодарили: 361 раз Репутация: 97
|
Если вдруг кто окажется таким добрым мне в личку тоже кидайте
-------------------- |
|
|
|
|
Virus_07
|
15.8.2014, 22:10;
Ответить: Virus_07
Сообщение
#4
|
 Онлайн 
 Группа: Active User Сообщений: 1483 Регистрация: 26.4.2010 Из: Наночастиц Поблагодарили: 572 раза Репутация: 82
|
А причм тут этот раздел?! В оффтоп или прочее.
|
|
|
|
|
makedonskiy
|
15.8.2014, 22:22;
Ответить: makedonskiy
Сообщение
#5
|
|
 Частый гость Группа: User Сообщений: 75 Регистрация: 31.1.2014 Поблагодарили: 23 раза Репутация: 4
|
Берем список доменов (например можно взять RU, SU, РФ, благо в паблике есть базы), а дальше чекаем http://domen.ru/robots.txt на предмет наличия строки
Код User-agent: * Disallow: / Если нужен такой скрипт, а конкретно многопоточный серверный вариант, пишите мне. Контакты указаны в профиле и в теме, которая находится в подписи.
Сообщение отредактировал makedonskiy - 15.8.2014, 22:25 |
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Будет ли склейка сайтов если старый телефон перенести на новый сайт? | 1 | noviktamw | 340 | Вчера, 18:31 автор: malamut |
|
Как в пушсетках покупают по 100-200 тысяч кликов за день? | 2 | Boymaster | 679 | Вчера, 17:52 автор: Boymaster |
 |
Ваш сайт блокирует Роскомнадзор? | 29 | hollywooduk | 6013 | Вчера, 11:21 автор: hollywooduk |
|
Как вы отдыхаете от работы за компом | 151 | adw-kupon.ru | 19851 | 23.4.2024, 13:52 автор: Vmir |
|
Как вы бросили работу и перешли на заработок с сайтов? | 20 | uahomka | 3461 | 23.4.2024, 11:54 автор: Skyworker |
|
Текстовая версия | Сейчас: 25.4.2024, 5:05 |
