сохранить\распарсить 2к с лишним страниц

Все вопросы касающиеся использования
программы можно задать здесь
Ответить
yupiee
Сообщения: 34
Зарегистрирован: 15 май 2011, 22:24

сохранить\распарсить 2к с лишним страниц

Сообщение yupiee » 05 окт 2011, 19:18

Необходимо сохранить или распарсить большое к-во страниц с помощью хумана.
Если делать через $webpage->load_webpage(), получается долго, в один поток. грузить каждую страницу в табах тоже медленно получается почему-то (кстати не понятно по какой причине).
Была мысль передать сессионые куки в мультикурл и озадачивать его скачиванием, но сессионные куки вытащить никак не получается. Перевесить задачу полностью на пхп тоже не вариант

Что можете предложить?

satih
Сообщения: 269
Зарегистрирован: 31 мар 2010, 23:44

Re: сохранить\распарсить 2к с лишним страниц

Сообщение satih » 06 окт 2011, 03:06

сохранить teleport или offline explorer, обработка через textpipe, тогда хоть 2к хоть 20к, пройдет без особых затруднений

Ответить