<?php $xhe_host ="127.0.0.1:7011"; // The following code is required to properly run XWeb Human Emulator require("../../Templates/xweb_human_emulator.php"); // ////////// наÑтройки Ñкрипта////////////////// // файл Ñ Ñ‚Ð¾Ð²Ð°Ñ€Ð°Ð¼Ð¸ Ð´Ð»Ñ Ñ€Ð°Ð·Ð±Ð¾Ñ€Ð° $a_markets = file("data/markets.txt"); // глубина прохода в поиÑковые результаты $cnt_pages = 15; // Ñ‚ÐµÐºÑƒÑ‰Ð°Ñ Ñтраница $crnt_page =1; // режим отладки $dbg=true; // /////////////////// дополнительные модули ///////////////////// // функции require_once("functions.php"); // ///////////////////// script ///////////////////////////////////////////////////////// debug_mess(date("\[ d.m.y H:i:s\] ")." Ñкрипт запуÑтили"); // ÑоединÑемÑÑ Ñ Ð±Ð°Ð·Ð¾Ð¹ $mysql_bd = @mysql_connect('localhost:3306', 'root', 'password'); // еÑли не подключилиÑÑŒ выдать Ñообщение об ошибке if (!$mysql_bd) { die('ошибка ÑоединениÑ: ' . mysql_error()); // закончить Ñкрипт $app->quit();Как это исправить?
Парсер Яндекс Маркета
Парсер Яндекс Маркета
Скачал Скрипт Human Emulator парсер Яндекс Маркета вот отсюда http://www.x-scripts.com/scripts/yandex_market.php. Распаковал в папку My Scripts. Открываю его в Левой панели, а там вот такое вот:
Re: Парсер Яндекс Маркета
Вы видимо невнимательно прочитали описание к данному скрипту:
Если же вы хотите работать с данным скриптом вы можете сохранить его в win-1251, например с помощью программы nodepad++ или far. Тоже самое касается входных данных. Единственное, что при сборе данных с Яндекс. Маркета вам придётся менять кодировку у собранных объявлений с помощью php функции iconv.
Например так:
Бесплатная версия программы не работает с Unicode, а только с Win-1251 или по другому ANSI.Так как данные на сайте храняться в utf-8 формате мы использовали для разработки скрипта Unicode версию программы Human Emulаtor. Эта версия лежит рядом с exe-шником обычной версии и называется XWeb Human Emulator MT UE.exe. Входные данные для скрипта тоже используются в unicode формате.
Если же вы хотите работать с данным скриптом вы можете сохранить его в win-1251, например с помощью программы nodepad++ или far. Тоже самое касается входных данных. Единственное, что при сборе данных с Яндекс. Маркета вам придётся менять кодировку у собранных объявлений с помощью php функции iconv.
Например так:
$s = iconv("UTF-8", "windows-1251", $s);Ну с кодировкой база данных надо будет поковыряться.
Re: Парсер Яндекс Маркета
Спасибо, понятно. Вообще, хотел переделать скрипт под сбор в CSV файл. Это возможно?
Re: Парсер Яндекс Маркета
Ничего сложно. Просто надо будет убрать всю работу с базой данных и вместо того что бы отправлять в базу данных собранные данные просто пишите строку в файл. Как это сделать можно подсмотреть в парсерах на нашем сайте http://www.x-scripts.com/scripts.php#parse. А так если будут вопросы пишите помогу.
http://x-scripts.com/
Код: Выделить всё
<?php
$xhe_host ="127.0.0.1:7010";
require("../Templates/xweb_human_emulator.php");
$browser->navigate("http://x-scripts.com");
$app->quit();?>
Re: Парсер Яндекс Маркета
Всё перевёл в win-1251. Удалил вроде как всю работу с mysql. Скрипт заходил, но не нажимал на нужную кнопку и не выдавал результаты. Подправил это. Теперь он ходит по товарам, но ничего не происходит дальше...
Вот мой код:
Вот мой код:
<?php $xhe_host ="127.0.0.1:7013"; // The following code is required to properly run XWeb Human Emulator require("../../Templates/xweb_human_emulator.php"); // ////////// настройки скрипта////////////////// // файл с товарами для разбора $a_markets = file("data/markets.txt"); // глубина прохода в поисковые результаты $cnt_pages = 15; // текущая страница $crnt_page =1; // режим отладки $dbg=true; // /////////////////// дополнительные модули ///////////////////// // функции require_once("functions.php"); // ///////////////////// script ///////////////////////////////////////////////////////// debug_mess(date("\[ d.m.y H:i:s\] ")." скрипт запустили"); // пройтись по всем товарам for($j=0;$j<count($a_markets);$j++) { // обнулим страницы перед поиском $crnt_page =1; // перейти в yndex market $browser->navigate("http://market.yandex.ru"); $input->set_value_by_name("text",$a_markets[$j]); $btn->click_by_inner_text("Найти",true); // ходим до тех пор пока не кончатся ссылки по цифрам while(true) { $models= $webpage->get_body_inter_prefix_all("class=b-offers__name","\">"); $a_models=explode("<br>",$models); // пройдёмся по всем ссылкам for($k=0;$k<count($a_models);$k++) { // перейти на страницу товара $str_href=get_string($a_models[$k], "modelid","&"); $anchor->click_by_href("modelid".$str_href,false); // получить информацию по товару get_market_info(trim($a_markets[$j])); // вернуться назад $browser->go_back(); } // не першли на следующую страницу if(!next_page($crnt_page)) break; } } debug_mess(date("\[ d.m.y H:i:s\] ")." скрипт закончил работу<br>"); // Quit $app->quit(); ?>
Re: Парсер Яндекс Маркета
Скрип писался давно, за это время изменилась выдача в яндекс маркете и в том числе скорее всего придётся переписать получение ссылок на товары, а после и переписать разбор страницы с товарами.
Первое, что нужно сделать это исправить код получение ссылок на отдельные товары из выдачи яндекс маркета.
За это отвечает код в скрипте :
из них нас интересуют только две первые, которые ведут на титульную страницу карточки товара с ними и будем работать. Только для получения href товара будум использовать функцию $anchor->get_all_hrefs_by_attribute например так:
https://market.yandex.ru/product/1727683109. Можно просто у всех ссылок получить только вот эту часть /product/1838549050/ и удалить дубликаты из массива с помощью функций php.
Результат разбора выдачи для $arr_num= $anchor->get_all_hrefs_by_attribute("class","link n-link", false);
Если что будет не получаться пишите подскажем.
Первое, что нужно сделать это исправить код получение ссылок на отдельные товары из выдачи яндекс маркета.
За это отвечает код в скрипте :
$models= $webpage->get_body_inter_prefix_all("class=b-offers__name","\">"); $a_models=explode("<br>",$models);Старый скрипт находил id товара и по этому товару уже переходил на страницу самого товара и спарсивал всю нужную информацию. Так что вам на из выдачи получить id каждого товара. Если смотреть html код выдачи то мы тут увидим следующее для одного товара:
<DIV class="n-snippet-card2__part n-snippet-card2__part_type_left"><A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="n-snippet-card2__image link" href="/product/1727685734?show-uid=227753030733530697916001&nid=54544&glfilter=5085102%3A12106034&context=search"><IMG title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="image" alt="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" src="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/6hq" srcset="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/9hq 1.5x"></A></DIV> <DIV class="n-snippet-card2__part n-snippet-card2__part_type_center"> <DIV class="n-snippet-card2__header n-snippet-card2__header_has_rating"> <DIV class="n-snippet-card2__title"><A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="link n-link_theme_blue i-bem link_js_inited" href="/product/1727685734?show-uid=227753030733530697916001&nid=54544&glfilter=5085102%3A12106034&context=search">Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017</A></DIV><A class="n-snippet-card2__rating link link_theme_gray link_type_reviews" href="/product/1727685734/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916001"> <DIV class="rating hint i-bem rating_outline_yes" date-rate="5" data-bem='{"hint":{"content":"Рейтинг модели 4.5 из 5","offset":15}}'> <DIV class="rating__value">4.5</DIV> <DIV class="rating__corner"> <DIV class="rating__triangle"></DIV></DIV></DIV><SPAN>34 отзыва</SPAN></A></DIV> <DIV class="n-snippet-card2__content"> <DIV class="n-snippet-card2__reasons-to-buy-item"> <DIV class="n-reasons-to-buy n-reasons-to-buy_type_best b-zone b-spy-visible i-bem n-reasons-to-buy_tag_best n-reasons-to-buy_js_inited b-spy-visible_js_inited b-zone_js_inited" data-bem='{"n-reasons-to-buy":"","b-spy-visible":"","b-zone":{"name":"reason-to-buy","data":{"entity":"product","id":1727685734,"taggedEntity":"best"}}}'> <DIV class="n-reasons-to-buy__content"><SPAN class="n-reasons-to-buy__label">Покупателям нравится <SPAN class="n-reason-to-buy__best-item">Качество сборки</SPAN>, <SPAN class="n-reason-to-buy__best-item">небольшой вес</SPAN></SPAN> <DIV class="popup i-bem popup_autoclosable_yes popup_adaptive_yes popup_animate_yes popup_theme_info popup_type_reasons-to-buy popup_js_inited" data-bem='{"popup":{"directions":{"to":"bottom","axis":"left","tail":{"axis":"left"}}}}'> <DIV class="popup__under "></DIV><I class="popup__tail"></I> <DIV class="popup__content">Характеристики, которые покупатели отметили высокой оценкой в отзывах</DIV></DIV></DIV></DIV></DIV> <UL class="n-snippet-card2__desc n-snippet-card2__desc_type_list"> <LI class="n-snippet-card2__desc-item">Процессор: Core i5</LI> <LI class="n-snippet-card2__desc-item">Частота процессора: 2300 МГц</LI> <LI class="n-snippet-card2__desc-item">Объем оперативной памяти: 8 Гб</LI> <LI class="n-snippet-card2__desc-item">Объем жесткого диска: 128...256 Гб</LI> <LI class="n-snippet-card2__desc-item">Диагональ экрана: 13.3 "</LI></UL> <DIV class="n-snippet-card2__reasons-to-buy-item"> <DIV class="n-reasons-to-buy n-reasons-to-buy_type_interest-simple b-zone b-spy-visible i-bem n-reasons-to-buy_tag_interest n-reasons-to-buy_js_inited b-spy-visible_js_inited b-zone_js_inited" data-bem='{"n-reasons-to-buy":"","b-spy-visible":"","b-zone":{"name":"reason-to-buy","data":{"entity":"product","id":1727685734,"taggedEntity":"interest"}}}'> <DIV class="n-reasons-to-buy__content"><SPAN class="n-reasons-to-buy__label">638 человек купили этот товар</SPAN> <DIV class="popup i-bem popup_autoclosable_yes popup_adaptive_yes popup_animate_yes popup_theme_info popup_type_reasons-to-buy popup_js_inited" data-bem='{"popup":{"directions":{"to":"bottom","axis":"left","tail":{"axis":"left"}}}}'> <DIV class="popup__under "></DIV><I class="popup__tail"></I> <DIV class="popup__content">По данным Яндекс.Маркета за 2 месяца.</DIV></DIV></DIV></DIV></DIV></DIV></DIV> <DIV class="n-snippet-card2__part n-snippet-card2__part_type_right"> <DIV class="n-snippet-card2__top"> <DIV class="n-snippet-card2__price"> <DIV class="n-snippet-card2__main-price"><A class="link n-smart-link i-bem" href="/product/1727685734/offers?track=srchlink&show-uid=227753030733530697916001" data-bem='{"n-smart-link":{"subscriptions":["filters"]}}'> <DIV class="price">от 72 000 ?</DIV></A></DIV></DIV> <DIV class="n-snippet-card2__more-prices-link"><A class="link n-link_theme_blue link_type_prices i-bem" href="/product/1727685734/offers?track=srchbtn&show-uid=227753030733530697916001&context=search">82 предложения</A> от <SPAN class="price">72 000 ?</SPAN></DIV></DIV></DIV>ссылки на карточку товара:
<A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="n-snippet-card2__image link" href="/product/1727685734?show-uid=227753030733530697916001&nid=54544&glfilter=5085102%3A12106034&context=search"><IMG title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="image" alt="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" src="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/6hq" srcset="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/9hq 1.5x"></A> <A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="link n-link_theme_blue i-bem link_js_inited" href="/product/1727685734?show-uid=227753030733530697916001&nid=54544&glfilter=5085102%3A12106034&context=search">Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017</A> <A class="n-snippet-card2__rating link link_theme_gray link_type_reviews" href="/product/1727685734/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916001"> <DIV class="rating hint i-bem rating_outline_yes" date-rate="5" data-bem='{"hint":{"content":"Рейтинг модели 4.5 из 5","offset":15}}'> <DIV class="rating__value">4.5</DIV> <DIV class="rating__corner"> <DIV class="rating__triangle"></DIV></DIV></DIV><SPAN>34 отзыва</SPAN></A> <A class="link n-smart-link i-bem" href="/product/1727685734/offers?track=srchlink&show-uid=227753030733530697916001" data-bem='{"n-smart-link":{"subscriptions":["filters"]}}'> <DIV class="price">от 72 000 ?</DIV></A> <A class="link n-link_theme_blue link_type_prices i-bem" href="/product/1727685734/offers?track=srchbtn&show-uid=227753030733530697916001&context=search">82 предложения</A>
из них нас интересуют только две первые, которые ведут на титульную страницу карточки товара с ними и будем работать. Только для получения href товара будум использовать функцию $anchor->get_all_hrefs_by_attribute например так:
$arr_num= $anchor->get_all_hrefs_by_attribute("class","image link", false); // или $arr_num= $anchor->get_all_hrefs_by_attribute("class","link n-link", false);Но тут будут дубликаты и левые ссылки, нам нужны только те что начинаются с /product/. Так что бы потом могли переходить по ссылке типа
https://market.yandex.ru/product/1727683109. Можно просто у всех ссылок получить только вот эту часть /product/1838549050/ и удалить дубликаты из массива с помощью функций php.
Результат разбора выдачи для $arr_num= $anchor->get_all_hrefs_by_attribute("class","link n-link", false);
/product/1838549050/offers?track=srchbtn&show-uid=227753030733530697916002&context=search /product/1729208642/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916003 /articles/--vybiraem-noutbuk-2-v-1?show-uid=227753030733530697912004 /collections/igrovoj-kompjuter-pod-elkoj?track=fr_ctlg_list&show-uid=227753030733530697912004 /articles/obzor-noutbuka-Digma-EVE-1400?track=fr_ctlg_list&show-uid=227753030733530697912004 /articles/kak-vybrat-kompjuter-dlja-shkolnika?track=fr_ctlg_list&show-uid=227753030733530697912004 /product/1729734524/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916007 /product/1712279409?show-uid=227753030733530697916008&nid=54544&glfilter=5085102%3A12106034&context=search /product/1712279409/offers?track=srchlink&show-uid=227753030733530697916008 /product/1730364335?show-uid=227753030733530697916009&nid=54544&glfilter=5085102%3A12106034&context=search /product/1730364335/offers?track=srchbtn&show-uid=227753030733530697916009&context=search /product/1727685688/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916010 /product/1729357426?show-uid=227753030733530697916011&nid=54544&glfilter=5085102%3A12106034&context=search /product/1729357426/offers?track=srchlink&show-uid=227753030733530697916011 /product/1727697337?show-uid=227753030733530697916012&nid=54544&glfilter=5085102%3A12106034&context=search /product/1727697337/offers?track=srchbtn&show-uid=227753030733530697916012&context=search /product/1729299341/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916013 /product/14271793?show-uid=227753030733530697916014&nid=54544&glfilter=5085102%3A12106034&context=search /product/14271793/offers?track=srchlink&show-uid=227753030733530697916014 /product/1719010870?show-uid=227753030733530697916015&nid=54544&glfilter=5085102%3A12106034&context=search /product/1719010870/offers?track=srchbtn&show-uid=227753030733530697916015&context=search /product/1733126098/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916016 /product/1729354923?show-uid=227753030733530697916017&nid=54544&glfilter=5085102%3A12106034&context=search /product/1729354923/offers?track=srchlink&show-uid=227753030733530697916017 /product/1731309558?show-uid=227753030733530697916018&nid=54544&glfilter=5085102%3A12106034&context=search /product/1731309558/offers?track=srchbtn&show-uid=227753030733530697916018&context=search /product/1726738082/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916019 /product/12568019?show-uid=227753030733530697916020&nid=54544&glfilter=5085102%3A12106034&context=search /product/12568019/offers?track=srchlink&show-uid=227753030733530697916020 /product/1731402059?show-uid=227753030733530697916021&nid=54544&glfilter=5085102%3A12106034&context=search /product/1731402059/offers?track=srchbtn&show-uid=227753030733530697916021&context=search /product/1718328783/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916022 /product/1712323640?show-uid=227753030733530697916023&nid=54544&glfilter=5085102%3A12106034&context=search /product/1712323640/offers?track=srchlink&show-uid=227753030733530697916023 /product/1732031363?show-uid=227753030733530697916024&nid=54544&glfilter=5085102%3A12106034&context=search /product/1730099829?show-uid=227753030733530697916025&nid=54544&glfilter=5085102%3A12106034&context=search /product/1730099829/offers?track=srchlink&show-uid=227753030733530697916025 /product/1733126023?show-uid=227753030733530697916026&nid=54544&glfilter=5085102%3A12106034&context=search /product/1733126023/offers?track=srchbtn&show-uid=227753030733530697916026&context=search /product/1730162229/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916027 /product/1716092471?show-uid=227753030733530697916028&nid=54544&glfilter=5085102%3A12106034&context=search /product/1716092471/offers?track=srchlink&show-uid=227753030733530697916028 /product/1800942087?show-uid=227753030733530697916029&nid=54544&glfilter=5085102%3A12106034&context=search /product/1800942087/offers?track=srchbtn&show-uid=227753030733530697916029&context=search /product/1838519456/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916030 /product/1838519456/offers?track=srchbtn&show-uid=227753030733530697916030&context=search /product/1780989001/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916031 /product/1770169352?show-uid=227753030733530697916032&nid=54544&glfilter=5085102%3A12106034&context=search /product/1770169352/offers?track=srchlink&show-uid=227753030733530697916032 /product/1731003212?show-uid=227753030733530697916033&nid=54544&glfilter=5085102%3A12106034&context=search /product/1731003212/offers?track=srchbtn&show-uid=227753030733530697916033&context=search /product/1731815137/offers?track=srchlink&show-uid=227753030733530697916034 /product/1715323959?show-uid=227753030733530697916035&nid=54544&glfilter=5085102%3A12106034&context=search /product/1715323959/offers?track=srchbtn&show-uid=227753030733530697916035&context=search /product/14188586/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916036 /product/1729481707?show-uid=227753030733530697916037&nid=54544&glfilter=5085102%3A12106034&context=search /product/1729481707/offers?track=srchbtn&show-uid=227753030733530697916037&context=search /product/1721956648/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916038 /product/1730320578?show-uid=227753030733530697916039&nid=54544&glfilter=5085102%3A12106034&context=search /product/1730320578/offers?track=srchlink&show-uid=227753030733530697916039 /product/1769806404?show-uid=227753030733530697916040&nid=54544&glfilter=5085102%3A12106034&context=search /product/1730103811?show-uid=227753030733530697916041&nid=54544&glfilter=5085102%3A12106034&context=search /product/1730103811/offers?track=srchlink&show-uid=227753030733530697916041 /product/1878421563?show-uid=227753030733530697916042&nid=54544&glfilter=5085102%3A12106034&context=search /product/1878421563/offers?track=srchbtn&show-uid=227753030733530697916042&context=search /product/1731273780?show-uid=227753030733530697916043&nid=54544&glfilter=5085102%3A12106034&context=search /product/1731273780/offers?track=srchbtn&show-uid=227753030733530697916043&context=search /product/1711348741/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916044 /product/13328082?show-uid=227753030733530697916045&nid=54544&glfilter=5085102%3A12106034&context=search /product/13328082/offers?track=srchlink&show-uid=227753030733530697916045 /product/1733126100?show-uid=227753030733530697916046&nid=54544&glfilter=5085102%3A12106034&context=search /product/1733126100/offers?track=srchbtn&show-uid=227753030733530697916046&context=search /product/1730001945/offers?track=srchlink&show-uid=227753030733530697916047 /product/1724800000?show-uid=227753030733530697916048&nid=54544&glfilter=5085102%3A12106034&context=search /product/1724800000/offers?track=srchbtn&show-uid=227753030733530697916048&context=search /product/1857105430/offers?track=srchlink&show-uid=227753030733530697916049 /catalog/54544/list?text=%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&hid=91013&glfilter=5085102%3A12106034&rt=11&was_redir=1&rs=eJwzOsioJMvFd2HvhX0Xmy82Xdh4sfnCLoF167cxKbFwMAiwazAYzWfkmsPIxcvReJxVgFGCQTX83EJbLj6O4_PaWQWYgHyuPTP3AfmtQGkGiSeSqvoLJRyAyvcB-RxA6c3f2A4ApdfM-sAqwArkS2mu2A_kHwFKM0s8ZVJV--UK4q-Y2M4mwCLBovqjY-J-oPajQHl2CUZVE61rIOmb5yexCbAB-V1_14GkNx5lFeAEmqbixnsAANUYOzY%2C&local-offers-first=0&page=0 /catalog/54544/list?text=%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&hid=91013&glfilter=5085102%3A12106034&rt=11&was_redir=1&rs=eJwzOsioJMvFd2HvhX0Xmy82Xdh4sfnCLoF167cxKbFwMAiwazAYzWfkmsPIxcvReJxVgFGCQTX83EJbLj6O4_PaWQWYgHyuPTP3AfmtQGkGiSeSqvoLJRyAyvcB-RxA6c3f2A4ApdfM-sAqwArkS2mu2A_kHwFKM0s8ZVJV--UK4q-Y2M4mwCLBovqjY-J-oPajQHl2CUZVE61rIOmb5yexCbAB-V1_14GkNx5lFeAEmqbixnsAANUYOzY%2C&local-offers-first=0&page=2 /search?text=%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&cvredirect=0&track=redirbardwn https://yandex.ru/support/market/discounts.html /brands/152863?track=search_brands_snippet /brands/152722?track=search_brands_snippet /catalog/54544/list?glfilter=7893318%3A152932&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0 /catalog/54544/list?glfilter=7893318%3A153043&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0 /catalog/54544/list?glfilter=7893318%3A762076&glfilter=5085102%3A12106034&glfilter=14211278%3A1&track=recipe_from_listing&show-reviews=1&onstock=0 /catalog/54544/list?glfilter=7893318%3A153061&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0 /catalog/54544/list?glfilter=7893318%3A2469376&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0 /catalog/54544/list?glfilter=7893318%3A7701962&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0 /catalog/54544/list?glfilter=7893318%3A152981&glfilter=5085102%3A12106034&track=recipe_from_listing /catalog/54544/list?glfilter=7893318%3A152932&glfilter=5085102%3A12106034&track=recipe_from_listing /catalog/54544/list?glfilter=7893318%3A153043&glfilter=5085102%3A12106034&track=recipe_from_listing /catalog/54544/list?glfilter=7893318%3A6184444&glfilter=5085102%3A12106034&track=recipe_from_listing /catalog/54544/list?glfilter=7893318%3A152722&glfilter=5085102%3A12106034&track=recipe_from_listing /catalog/54544/list?glfilter=7893318%3A153080&glfilter=5085102%3A12106034&track=recipe_from_listing /catalog/54544/list?glfilter=5085102%3A12106034&glfilter=5085113%3A17~17&track=recipe_from_listing /catalog/54544/list?glfilter=7893318%3A152863&glfilter=5085102%3A12106034&glfilter=14211278%3A1&track=recipe_from_listing
Если что будет не получаться пишите подскажем.
http://x-scripts.com/
Код: Выделить всё
<?php
$xhe_host ="127.0.0.1:7010";
require("../Templates/xweb_human_emulator.php");
$browser->navigate("http://x-scripts.com");
$app->quit();?>
Re: Парсер Яндекс Маркета
Купил Human Emulator Studio. Запускаю в ней скрипт, который написал во Free, а он не работает, данные из Яндекс.Маркета не собирает. Запускаю его опять во Free работает. Что не так?
Re: Парсер Яндекс Маркета
В Human Emulator Free и в Human Emulator Studio встроены разные браузеры. В первом Internet Explorer, а в Студии Chromium, поэтому большая вероятность того, что DOM дерево в этих браузерах будет разное, особенно при работе с такими сервисами как Яндекс, которые однозначно учитывают модель браузера. Вам надо просто проверить работу скрипта, в тех местах, где используется работа с элементами страницы. ТО есть клики по кнопкам, получения полей по id или name и т.д., разбор html страницы. В студии для этого можно использовать PHP отладчик . Ставите точки Останова в нужных местах и проверяете переменные или функции работают или нет.
Re: Парсер Яндекс Маркета
Спасибо, понял.
Re: Парсер Яндекс Маркета
Очень много полезной информации выдаете. Нашел информацию со ссылкой на ролик и описание про инструмент отладки. Очень актуально по крайне мере для меня.Support писал(а): ↑28 май 2018, 12:59В Human Emulator Free и в Human Emulator Studio встроены разные браузеры. В первом Internet Explorer, а в Студии Chromium, поэтому большая вероятность того, что DOM дерево в этих браузерах будет разное, особенно при работе с такими сервисами как Яндекс, которые однозначно учитывают модель браузера. Вам надо просто проверить работу скрипта, в тех местах, где используется работа с элементами страницы. ТО есть клики по кнопкам, получения полей по id или name и т.д., разбор html страницы. В студии для этого можно использовать PHP отладчик . Ставите точки Останова в нужных местах и проверяете переменные или функции работают или нет.
Спасибо