Помощник
 |
|
|
|
|
Сообщение сайта
|
 TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
TOBBOT
|
Сообщение
#22
|
 Частый гость  Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация:  5 
 |
Новые бесплатные модули
 Accounts MailRu - регистрация email аккаунтов на Mail.ru (4 домена); SE Backlinks Index Checker - проверка индексации ссылок в Bing, Google и Яндекс (проверка через кеш страниц). -------------------- |
 |
|
|
TOBBOT
|
Сообщение
#23
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
 Последние новости:
Сегодня утром я получил письмо с просьбой написать модуль для удаления страниц из индекса Яндекса: https://webmaster.yandex.com/delurl.xml Для решения данной задачи мне понадобилось не более 15 мин. При этом большая часть времени ушла на изучение и тестирование различных поведений сервиса. Предлагаю вам изучить процесс создания новых модулей на озвученном выше примере. Шаг 1. Изучение сервиса. Запускаем снифер запросов, которые передает браузер в процессе "общения" с сайтами. Я рекомендую использовать бесплатный снифер Fiddler2, но можно ограничиться и простым плагином HttpFox к браузеру Firefox. Открываем страницу сервиса и вводим различные адреса (правильные и неправильные, проиндексированные и нет) и записываем ответы сервера на отправленные запросы. Шаг 2. Создание модуля. Согласно справочника разработчика модули должны иметь следующую архитектуру:  Цитата Обязательными являются файлы и директории выделенные на схеме красным цветом Поэтому создаем следующие директории и файлы:
В результате этого у нас получилось 2 текстовых файла:
Для удаления адресов нам потребуется указать их URL, поэтому откроем файл columns.txt и вставим туда всего одну строку: Код url Теперь откроем файл Del.txt и запишем туда следующий код действия: Код // устанавливаем случайный User-Agent ... "modules/Common Files/Actions/Set random useragent.txt" // открываем форму запроса на удаление URL URL_GET "https://webmaster.yandex.com/delurl.xml" // парсим скрытые поля формы VAR_RE form_key, http_body, "name=\"key\" type=\"hidden\" value=\"(.*?)\"" VAR_RE form_sk, http_body, "type=\"hidden\" name=\"sk\" value=\"(.*?)\"" // загружаем капчу в кодировке BASE64 и передаем ее на распознавание OCR сервису CHARSET "BASE64", http_body URL_GET "https://i.captcha.yandex.net/image?key=", form_key CHARSET "", http_body VAR_CAPTCHA captcha_text, http_body, "0","0","0","0","4","10","0" // отправляем запрос на удаление // переменные с префиксом row_ содержат значения данных из таблицы, // т.е. переменная row_url содержит адрес страницы, которую нужно удалить URL_POST "https://webmaster.yandex.com/delurl.xml" "url", row_url "do", "remove" "rep", captcha_text "key", form_key "sk", form_sk // проверяем ответ сервера на наш запрос SCRIPT // если задание выполнено if ((http_body.indexOf('The URL will be removed shortly') > 0) || (http_body.indexOf('not indexed') > 0)) { // выполняем команду DONE (выполнено успешно) return 'DONE'; } // если задание не может быть выполнено if ((http_body.indexOf('There is no reason to delete this URL') > 0) || (http_body.indexOf('protocol is not supported') > 0) || (http_body.indexOf('Invalid URL') > 0)) { // выполняем команду UNDONE (не может быть выполнено) return 'UNDONE'; } // если капча распознана неверно, то задание переносится на следующий цикл if (http_body.indexOf('Incorrect CAPTCHA code') > 0) return 'LOG "Incorrect CAPTCHA code"'; Важно! Созраняем все файлы в кодировке UTF-8 без BOM. Поздравляю! Ваш модуль готов к работе  Скачать готовый модуль Del URL Yandex. -------------------- |
|
|
|
|
TOBBOT
|
Сообщение
#24
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
Добавлена функция SESSION: разрешает/запрещает потоку использовать текущую сессию (cookie + proxy) при работе над следующим заданием.
Добавлена функция VAR_SESSION: позволяет узнать кол-во выполненых заданий через текущую сессию. Где же это может пригодится? При выполнении заданий где требуется предварительная авторизация, например: Код // проверка сессии: новая или старая // а) если начата новая сессия, то идет авторизация в админку // б) если продолжается старая, то этап авторизации пропускается VAR_SESSION sessions_counter SCRIPT if (sessions_counter > 0) return 'GOTO "Already authorized"' // авторизация в админку URL_POST "http://example.com/wp-login.php" "log", "admin" "pwd", "qwerty" "wp-submit", "Войти" "redirect_to", ""http://example.com/wp-admin/" "testcookie", "1" LABEL "Already authorized" // устанавливаем флаг передачи текущей сессии в следующее задание SESSION+ // выполнение работ внутри админки //... //... Появилась новая версия модуля Add URL Yandex. В работе модуля использованы функции конроля сессии, что позволило сократить расходы на капчу и увеличить скорость. 
-------------------- |
|
|
|
|
KM_
|
 17.11.2015, 9:24;
Ответить: KM_
Сообщение
#25
|
 Бывалый Группа: User Сообщений: 374 Регистрация: 23.8.2010 Поблагодарили: 90 раз Репутация: 19
|
Понадобилось массово заменить фотографии в опенкарте, ТС любезно сделал модуль за приемлемые деньги, теперь 3500 картинок сменил за 20 минут!
-------------------- |
|
|
|
|
TOBBOT
|
Сообщение
#26
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
Новая версия программы TOBBOT 1.5.1
- Улучшен интерфейс программы. - Протестирована совместимость программы TOBBOT с программой TOR. Чтобы запустить программу через TOR укажите в настройках прокси Settings > Proxy следующий адрес: 127.0.0.1:9150. - В API функциях основные изменения связаны с уточнением кодировок чтения / записи, указанием типа переменных и работе с Cookie: Код // загрузить бинарный файл с аватаркой используя кодировку BASE64
CHARSET "BASE64" VAR_FILE file_avatar, "D:/avatar.png" TYPE_FILE file_avatar, "BASE64", "avatar.png" // отправить POST запрос на сервер (загрузить аватарку) в кодировке Windows-1251 CHARSET "Windows-1251" URL_POST_MULTIPART "http://example.com/configure.php" "name", "Иванов Иван" "avatar", file_avatar "Submit", "Изменить аватар" -------------------- |
|
|
|
|
TOBBOT
|
Сообщение
#27
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
Поздравляю всех вебмастеров с Новым годом и Рождеством!
И желаю вам: Мгновенной индексации, Вышла версия TOBBOT 1.6.1
Также опубликован план развития программы на 2016 год. Ваша помощь и предложения приветствуются!
-------------------- |
|
|
|
fac2man
|
28.1.2016, 15:30;
Ответить: fac2man
Сообщение
#28
|
 Новичок Группа: User Сообщений: 15 Регистрация: 16.6.2013 Поблагодарили: 3 раза Репутация: 0
|
Интересное приложение! Интересно, возможно ли изготовить парсинг статей по ключевым словам с поиска и их вывод в текстовом формате?
|
|
|
|
|
TOBBOT
|
Сообщение
#29
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
fac2man, сделать можно. Больше ничего подсказать не могу, т.к. все зависит от нюансов задачи.
-------------------- |
|
|
|
|
TOBBOT
|
Сообщение
#30
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
Вышла версия TOBBOT 1.7.1
 Упрощен интерфейс. Удалено назойливое окно "Work stopped Is everything ok?"  Добавлена API функция URL_REQUEST: позволяет выполнить запрос с любым методом: GET, POST, PUT, DELETE и др. Функция жизненно необходима при работе с RESTful сервисами работающими на AngularJS и аналогах. Добавлены новые бесплатные модули:
Спасибо пользователю SZ, за разрешение вынести модули в общий доступ
-------------------- |
|
|
|
|
TOBBOT
|
Сообщение
#31
|
|
Частый гость Группа: User Сообщений: 80 Регистрация: 2.4.2015 Поблагодарили: 20 раз Репутация: 5
|
 В течение недели ожидается выход TOBBOT 2.0
-------------------- |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Англоязычный SEO-копирайтинг от $3/100 слов от NeedmyLink | Первая статья бесплатно | 4 | Needmylink1 | 1327 | 12.4.2024, 23:43 автор: Needmylink1 |
|
Ищу вебмастера | 0 | Mukis | 628 | 20.3.2024, 14:49 автор: Mukis |
 |
AviTool - мощный инструмент для автоматизации работы с Avito | 90 | Shadow | 76860 | 15.3.2024, 22:07 автор: Shadow |
|
Где получить виртуальную карту бесплатно? | 22 | Mixatraider | 5507 | 2.3.2024, 0:08 автор: Alekser |
|
Есть ли инструмент для поиска запросов на YouTube? | 1 | rownong27 | 996 | 18.2.2024, 22:19 автор: malamut |
|
Текстовая версия | Сейчас: 20.4.2024, 2:04 |
