Всем привет!
Давно уже не пользовался программой, а тут столько изменений за последнее время, что решил обновиться и тряхнуть стариной.
Мне нужно обойти несколько тысяч URL-адресов так что бы на них сработал определённый JS код и получить результат его выполнения в файл. Посоветуйте как это лучше сделать с помощью Human Emulator Studio во многопоточном режиме? Раньше надо было обходить все страницы и открывать их в браузере что бы сработал JS и только потом парсить.
Обход нескольких тысяч URL-адресов.
Re: Обход нескольких тысяч URL-адресов.
В studio был добавлен объект harvestor. Подробно про этот объект можно прочитать в блоге Безбраузерный сбор интернет страниц с обработкой JS..
Последние изменения которые коснулись этого объекта как раз был перевод его на многопоточный режим работы + в harvestor были добавлены команды:
make_screenshoots - сделать скриншот страницы
get_screenshoot_path - путь к папке куда сохранять скриншоты
set_browser_size - задавать размер браузера для того что бы получить снимок нужной части страницы или страниц целиком.
Последние изменения которые коснулись этого объекта как раз был перевод его на многопоточный режим работы + в harvestor были добавлены команды:
make_screenshoots - сделать скриншот страницы
get_screenshoot_path - путь к папке куда сохранять скриншоты
set_browser_size - задавать размер браузера для того что бы получить снимок нужной части страницы или страниц целиком.
Re: Обход нескольких тысяч URL-адресов.
А как задать количество потоков для этого объекта?Support писал(а): ↑20 сен 2018, 18:53В studio был добавлен объект harvestor. Подробно про этот объект можно прочитать в блоге Безбраузерный сбор интернет страниц с обработкой JS..
Последние изменения которые коснулись этого объекта как раз был перевод его на многопоточный режим работы + в harvestor были добавлены команды:
make_screenshoots - сделать скриншот страницы
get_screenshoot_path - путь к папке куда сохранять скриншоты
set_browser_size - задавать размер браузера для того что бы получить снимок нужной части страницы или страниц целиком.
Re: Обход нескольких тысяч URL-адресов.
Пока ни как. На данный момент этот объект работает в 30 потоков. Если нужно большее количество потоков можно запускать несколько инстансов программы и работать в них. Единственное что придётся использовать разные файлы для сбора данных. А так добавим команду для установки количества потоков.