Обход нескольких тысяч URL-адресов.

Все вопросы касающиеся использования
программы можно задать здесь
Ответить
kachuso
Сообщения: 3
Зарегистрирован: 12 июл 2014, 01:46

Обход нескольких тысяч URL-адресов.

Сообщение kachuso » 20 сен 2018, 18:29

Всем привет!

Давно уже не пользовался программой, а тут столько изменений за последнее время, что решил обновиться и тряхнуть стариной.
Мне нужно обойти несколько тысяч URL-адресов так что бы на них сработал определённый JS код и получить результат его выполнения в файл. Посоветуйте как это лучше сделать с помощью Human Emulator Studio во многопоточном режиме? Раньше надо было обходить все страницы и открывать их в браузере что бы сработал JS и только потом парсить.

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Обход нескольких тысяч URL-адресов.

Сообщение Support » 20 сен 2018, 18:53

В studio был добавлен объект harvestor. Подробно про этот объект можно прочитать в блоге Безбраузерный сбор интернет страниц с обработкой JS..

Последние изменения которые коснулись этого объекта как раз был перевод его на многопоточный режим работы + в harvestor были добавлены команды:
make_screenshoots - сделать скриншот страницы
get_screenshoot_path - путь к папке куда сохранять скриншоты
set_browser_size - задавать размер браузера для того что бы получить снимок нужной части страницы или страниц целиком.

kachuso
Сообщения: 3
Зарегистрирован: 12 июл 2014, 01:46

Re: Обход нескольких тысяч URL-адресов.

Сообщение kachuso » 20 сен 2018, 19:10

Support писал(а):
20 сен 2018, 18:53
В studio был добавлен объект harvestor. Подробно про этот объект можно прочитать в блоге Безбраузерный сбор интернет страниц с обработкой JS..

Последние изменения которые коснулись этого объекта как раз был перевод его на многопоточный режим работы + в harvestor были добавлены команды:
make_screenshoots - сделать скриншот страницы
get_screenshoot_path - путь к папке куда сохранять скриншоты
set_browser_size - задавать размер браузера для того что бы получить снимок нужной части страницы или страниц целиком.
А как задать количество потоков для этого объекта?

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Обход нескольких тысяч URL-адресов.

Сообщение Support » 20 сен 2018, 19:15

kachuso писал(а):
20 сен 2018, 19:10
А как задать количество потоков для этого объекта?
Пока ни как. На данный момент этот объект работает в 30 потоков. Если нужно большее количество потоков можно запускать несколько инстансов программы и работать в них. Единственное что придётся использовать разные файлы для сбора данных. А так добавим команду для установки количества потоков.

kachuso
Сообщения: 3
Зарегистрирован: 12 июл 2014, 01:46

Re: Обход нескольких тысяч URL-адресов.

Сообщение kachuso » 20 сен 2018, 19:18

Support писал(а):
20 сен 2018, 19:15
Единственное что придётся использовать разные файлы для сбора данных.
Это не проблема файлов и так не один. Спасибо попробуем этот чудо объект:)

Ответить