Страница 1 из 1

сохранить\распарсить 2к с лишним страниц

Добавлено: 05 окт 2011, 19:18
yupiee
Необходимо сохранить или распарсить большое к-во страниц с помощью хумана.
Если делать через $webpage->load_webpage(), получается долго, в один поток. грузить каждую страницу в табах тоже медленно получается почему-то (кстати не понятно по какой причине).
Была мысль передать сессионые куки в мультикурл и озадачивать его скачиванием, но сессионные куки вытащить никак не получается. Перевесить задачу полностью на пхп тоже не вариант

Что можете предложить?

Re: сохранить\распарсить 2к с лишним страниц

Добавлено: 06 окт 2011, 03:06
satih
сохранить teleport или offline explorer, обработка через textpipe, тогда хоть 2к хоть 20к, пройдет без особых затруднений