Парсер Яндекс Маркета

Все вопросы касательно бесплатной версии программы можно задать здесь
Ответить
Рамзес
Сообщения: 5
Зарегистрирован: 29 мар 2018, 23:56

Парсер Яндекс Маркета

Сообщение Рамзес » 30 мар 2018, 00:01

Скачал Скрипт Human Emulator парсер Яндекс Маркета вот отсюда http://www.x-scripts.com/scripts/yandex_market.php. Распаковал в папку My Scripts. Открываю его в Левой панели, а там вот такое вот:
<?php

$xhe_host ="127.0.0.1:7011";

// The following code is required to properly run XWeb Human Emulator
require("../../Templates/xweb_human_emulator.php");
// ////////// настройки скрипта//////////////////

// файл с товарами для разбора
$a_markets = file("data/markets.txt");

// глубина прохода в поисковые результаты
$cnt_pages = 15;
// текущая страница
$crnt_page =1; 

// режим отладки
$dbg=true;

// /////////////////// дополнительные модули /////////////////////

// функции 
require_once("functions.php");

// ///////////////////// script /////////////////////////////////////////////////////////

debug_mess(date("\[ d.m.y H:i:s\] ")." скрипт запустили");
// соединяемся с базой
$mysql_bd = @mysql_connect('localhost:3306', 'root', 'password'); 
// если не подключились выдать сообщение об ошибке
if (!$mysql_bd) 
{
	 die('ошибка соединения: ' . mysql_error());
	 // закончить скрипт
	 $app->quit();
Как это исправить?

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Парсер Яндекс Маркета

Сообщение Support » 30 мар 2018, 00:17

Вы видимо невнимательно прочитали описание к данному скрипту:
Так как данные на сайте храняться в utf-8 формате мы использовали для разработки скрипта Unicode версию программы Human Emulаtor. Эта версия лежит рядом с exe-шником обычной версии и называется XWeb Human Emulator MT UE.exe. Входные данные для скрипта тоже используются в unicode формате.
Бесплатная версия программы не работает с Unicode, а только с Win-1251 или по другому ANSI.

Если же вы хотите работать с данным скриптом вы можете сохранить его в win-1251, например с помощью программы nodepad++ или far. Тоже самое касается входных данных. Единственное, что при сборе данных с Яндекс. Маркета вам придётся менять кодировку у собранных объявлений с помощью php функции iconv.

Например так:
$s = iconv("UTF-8", "windows-1251", $s);
Ну с кодировкой база данных надо будет поковыряться.

Рамзес
Сообщения: 5
Зарегистрирован: 29 мар 2018, 23:56

Re: Парсер Яндекс Маркета

Сообщение Рамзес » 30 мар 2018, 00:21

Спасибо, понятно. Вообще, хотел переделать скрипт под сбор в CSV файл. Это возможно?

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Парсер Яндекс Маркета

Сообщение Support » 30 мар 2018, 00:26

Рамзес писал(а):
30 мар 2018, 00:21
Спасибо, понятно. Вообще, хотел переделать скрипт под сбор в CSV файл. Это возможно?
Думаю, что возможно. Будут вопросы пишите сюда, попросим автора помочь вам если что.

Аватара пользователя
xscripts
Сообщения: 80
Зарегистрирован: 24 янв 2012, 12:48
Контактная информация:

Re: Парсер Яндекс Маркета

Сообщение xscripts » 30 мар 2018, 16:35

Рамзес писал(а):
30 мар 2018, 00:21
Спасибо, понятно. Вообще, хотел переделать скрипт под сбор в CSV файл. Это возможно?
Ничего сложно. Просто надо будет убрать всю работу с базой данных и вместо того что бы отправлять в базу данных собранные данные просто пишите строку в файл. Как это сделать можно подсмотреть в парсерах на нашем сайте http://www.x-scripts.com/scripts.php#parse. А так если будут вопросы пишите помогу.
http://x-scripts.com/

Код: Выделить всё

<?php
$xhe_host ="127.0.0.1:7010";

require("../Templates/xweb_human_emulator.php");

$browser->navigate("http://x-scripts.com");

$app->quit();?>

Рамзес
Сообщения: 5
Зарегистрирован: 29 мар 2018, 23:56

Re: Парсер Яндекс Маркета

Сообщение Рамзес » 03 апр 2018, 14:15

Всё перевёл в win-1251. Удалил вроде как всю работу с mysql. Скрипт заходил, но не нажимал на нужную кнопку и не выдавал результаты. Подправил это. Теперь он ходит по товарам, но ничего не происходит дальше...

Вот мой код:
<?php

$xhe_host ="127.0.0.1:7013";

// The following code is required to properly run XWeb Human Emulator
require("../../Templates/xweb_human_emulator.php");
// ////////// настройки скрипта//////////////////

// файл с товарами для разбора
$a_markets = file("data/markets.txt");

// глубина прохода в поисковые результаты
$cnt_pages = 15;
// текущая страница
$crnt_page =1; 

// режим отладки
$dbg=true;

// /////////////////// дополнительные модули /////////////////////

// функции 
require_once("functions.php");

// ///////////////////// script /////////////////////////////////////////////////////////

debug_mess(date("\[ d.m.y H:i:s\] ")." скрипт запустили");

// пройтись по всем товарам
for($j=0;$j<count($a_markets);$j++)
{
   // обнулим страницы перед поиском
   $crnt_page =1;
	// перейти в yndex market
	$browser->navigate("http://market.yandex.ru");
	
	$input->set_value_by_name("text",$a_markets[$j]);
	
   $btn->click_by_inner_text("Найти",true);

	// ходим до тех пор пока не кончатся ссылки по цифрам
   while(true)
   {
		$models= $webpage->get_body_inter_prefix_all("class=b-offers__name","\">");
		$a_models=explode("<br>",$models); 
		// пройдёмся по всем ссылкам
		for($k=0;$k<count($a_models);$k++)
		{
			// перейти на страницу товара
			$str_href=get_string($a_models[$k], "modelid","&amp;");
			$anchor->click_by_href("modelid".$str_href,false); 
			
			// получить информацию по товару
			get_market_info(trim($a_markets[$j]));
			// вернуться назад
			$browser->go_back();  
		}
		
		// не першли на следующую страницу 
		if(!next_page($crnt_page)) 
		  break;
   }
}
 
debug_mess(date("\[ d.m.y H:i:s\] ")." скрипт закончил работу<br>");

// Quit
$app->quit();
?>

Аватара пользователя
xscripts
Сообщения: 80
Зарегистрирован: 24 янв 2012, 12:48
Контактная информация:

Re: Парсер Яндекс Маркета

Сообщение xscripts » 03 апр 2018, 20:47

Скрип писался давно, за это время изменилась выдача в яндекс маркете и в том числе скорее всего придётся переписать получение ссылок на товары, а после и переписать разбор страницы с товарами.

Первое, что нужно сделать это исправить код получение ссылок на отдельные товары из выдачи яндекс маркета.

За это отвечает код в скрипте :
$models= $webpage->get_body_inter_prefix_all("class=b-offers__name","\">");
$a_models=explode("<br>",$models); 
Старый скрипт находил id товара и по этому товару уже переходил на страницу самого товара и спарсивал всю нужную информацию. Так что вам на из выдачи получить id каждого товара. Если смотреть html код выдачи то мы тут увидим следующее для одного товара:
<DIV class="n-snippet-card2__part n-snippet-card2__part_type_left"><A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" 
class="n-snippet-card2__image link" href="/product/1727685734?show-uid=227753030733530697916001&amp;nid=54544&amp;glfilter=5085102%3A12106034&amp;context=search"><IMG 
title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="image" 
alt="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" src="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/6hq" 
srcset="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/9hq 1.5x"></A></DIV>
<DIV class="n-snippet-card2__part n-snippet-card2__part_type_center">
<DIV class="n-snippet-card2__header n-snippet-card2__header_has_rating">
<DIV class="n-snippet-card2__title"><A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" 
class="link n-link_theme_blue i-bem link_js_inited" href="/product/1727685734?show-uid=227753030733530697916001&amp;nid=54544&amp;glfilter=5085102%3A12106034&amp;context=search">Ноутбук 
Apple MacBook Pro 13 with Retina display Mid 2017</A></DIV><A class="n-snippet-card2__rating link link_theme_gray link_type_reviews" 
href="/product/1727685734/reviews?glfilter=5085102%3A12106034&amp;show-uid=227753030733530697916001">
<DIV class="rating hint i-bem rating_outline_yes" date-rate="5" data-bem='{"hint":{"content":"Рейтинг&nbsp;модели&nbsp;4.5&nbsp;из&nbsp;5","offset":15}}'>
<DIV class="rating__value">4.5</DIV>
<DIV class="rating__corner">
<DIV class="rating__triangle"></DIV></DIV></DIV><SPAN>34 отзыва</SPAN></A></DIV>
<DIV class="n-snippet-card2__content">
<DIV class="n-snippet-card2__reasons-to-buy-item">
<DIV class="n-reasons-to-buy n-reasons-to-buy_type_best b-zone b-spy-visible i-bem n-reasons-to-buy_tag_best n-reasons-to-buy_js_inited b-spy-visible_js_inited b-zone_js_inited" 
data-bem='{"n-reasons-to-buy":"","b-spy-visible":"","b-zone":{"name":"reason-to-buy","data":{"entity":"product","id":1727685734,"taggedEntity":"best"}}}'>
<DIV class="n-reasons-to-buy__content"><SPAN 
class="n-reasons-to-buy__label">Покупателям нравится <SPAN class="n-reason-to-buy__best-item">Качество 
сборки</SPAN>, <SPAN class="n-reason-to-buy__best-item">небольшой 
вес</SPAN></SPAN>
<DIV class="popup  i-bem  popup_autoclosable_yes  popup_adaptive_yes  popup_animate_yes  popup_theme_info  popup_type_reasons-to-buy popup_js_inited" 
data-bem='{"popup":{"directions":{"to":"bottom","axis":"left","tail":{"axis":"left"}}}}'>
<DIV class="popup__under  "></DIV><I class="popup__tail"></I>
<DIV class="popup__content">Характеристики, которые покупатели отметили высокой 
оценкой в отзывах</DIV></DIV></DIV></DIV></DIV>
<UL class="n-snippet-card2__desc n-snippet-card2__desc_type_list">
<LI class="n-snippet-card2__desc-item">Процессор: Core i5</LI>
<LI class="n-snippet-card2__desc-item">Частота процессора: 2300 МГц</LI>
<LI class="n-snippet-card2__desc-item">Объем оперативной памяти: 8 Гб</LI>
<LI class="n-snippet-card2__desc-item">Объем жесткого диска: 128...256 Гб</LI>
<LI class="n-snippet-card2__desc-item">Диагональ экрана: 13.3 "</LI></UL>
<DIV class="n-snippet-card2__reasons-to-buy-item">
<DIV class="n-reasons-to-buy n-reasons-to-buy_type_interest-simple b-zone b-spy-visible i-bem n-reasons-to-buy_tag_interest n-reasons-to-buy_js_inited b-spy-visible_js_inited b-zone_js_inited" 
data-bem='{"n-reasons-to-buy":"","b-spy-visible":"","b-zone":{"name":"reason-to-buy","data":{"entity":"product","id":1727685734,"taggedEntity":"interest"}}}'>
<DIV class="n-reasons-to-buy__content"><SPAN class="n-reasons-to-buy__label">638 
человек купили этот товар</SPAN>
<DIV class="popup  i-bem  popup_autoclosable_yes  popup_adaptive_yes  popup_animate_yes  popup_theme_info  popup_type_reasons-to-buy popup_js_inited" 
data-bem='{"popup":{"directions":{"to":"bottom","axis":"left","tail":{"axis":"left"}}}}'>
<DIV class="popup__under  "></DIV><I class="popup__tail"></I>
<DIV class="popup__content">По данным Яндекс.Маркета за 2 
месяца.</DIV></DIV></DIV></DIV></DIV></DIV></DIV>
<DIV class="n-snippet-card2__part n-snippet-card2__part_type_right">
<DIV class="n-snippet-card2__top">
<DIV class="n-snippet-card2__price">
<DIV class="n-snippet-card2__main-price"><A class="link n-smart-link i-bem" 
href="/product/1727685734/offers?track=srchlink&amp;show-uid=227753030733530697916001" 
data-bem='{"n-smart-link":{"subscriptions":["filters"]}}'>
<DIV class="price">от&nbsp;72 000&nbsp;?</DIV></A></DIV></DIV>
<DIV class="n-snippet-card2__more-prices-link"><A class="link n-link_theme_blue link_type_prices i-bem" 
href="/product/1727685734/offers?track=srchbtn&amp;show-uid=227753030733530697916001&amp;context=search">82&nbsp;предложения</A> 
от&nbsp;<SPAN class="price">72 000&nbsp;?</SPAN></DIV></DIV></DIV>
ссылки на карточку товара:

<A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" 
class="n-snippet-card2__image link" href="/product/1727685734?show-uid=227753030733530697916001&amp;nid=54544&amp;glfilter=5085102%3A12106034&amp;context=search"><IMG 
title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" class="image" 
alt="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" src="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/6hq" 
srcset="//avatars.mds.yandex.net/get-mpic/195452/img_id561887665197370405/9hq 1.5x"></A>

<A title="Ноутбук Apple MacBook Pro 13 with Retina display Mid 2017" 
class="link n-link_theme_blue i-bem link_js_inited" href="/product/1727685734?show-uid=227753030733530697916001&amp;nid=54544&amp;glfilter=5085102%3A12106034&amp;context=search">Ноутбук 
Apple MacBook Pro 13 with Retina display Mid 2017</A>


<A class="n-snippet-card2__rating link link_theme_gray link_type_reviews" 
href="/product/1727685734/reviews?glfilter=5085102%3A12106034&amp;show-uid=227753030733530697916001">
<DIV class="rating hint i-bem rating_outline_yes" date-rate="5" data-bem='{"hint":{"content":"Рейтинг&nbsp;модели&nbsp;4.5&nbsp;из&nbsp;5","offset":15}}'>
<DIV class="rating__value">4.5</DIV>
<DIV class="rating__corner">
<DIV class="rating__triangle"></DIV></DIV></DIV><SPAN>34 отзыва</SPAN></A>

<A class="link n-smart-link i-bem" 
href="/product/1727685734/offers?track=srchlink&amp;show-uid=227753030733530697916001" 
data-bem='{"n-smart-link":{"subscriptions":["filters"]}}'>
<DIV class="price">от&nbsp;72 000&nbsp;?</DIV></A>

<A class="link n-link_theme_blue link_type_prices i-bem" 
href="/product/1727685734/offers?track=srchbtn&amp;show-uid=227753030733530697916001&amp;context=search">82&nbsp;предложения</A>


из них нас интересуют только две первые, которые ведут на титульную страницу карточки товара с ними и будем работать. Только для получения href товара будум использовать функцию $anchor->get_all_hrefs_by_attribute например так:
$arr_num= $anchor->get_all_hrefs_by_attribute("class","image link", false);
// или

$arr_num= $anchor->get_all_hrefs_by_attribute("class","link n-link", false);
 
Но тут будут дубликаты и левые ссылки, нам нужны только те что начинаются с /product/. Так что бы потом могли переходить по ссылке типа
https://market.yandex.ru/product/1727683109. Можно просто у всех ссылок получить только вот эту часть /product/1838549050/ и удалить дубликаты из массива с помощью функций php.

Результат разбора выдачи для $arr_num= $anchor->get_all_hrefs_by_attribute("class","link n-link", false);
/product/1838549050/offers?track=srchbtn&show-uid=227753030733530697916002&context=search
/product/1729208642/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916003
/articles/--vybiraem-noutbuk-2-v-1?show-uid=227753030733530697912004
/collections/igrovoj-kompjuter-pod-elkoj?track=fr_ctlg_list&show-uid=227753030733530697912004
/articles/obzor-noutbuka-Digma-EVE-1400?track=fr_ctlg_list&show-uid=227753030733530697912004
/articles/kak-vybrat-kompjuter-dlja-shkolnika?track=fr_ctlg_list&show-uid=227753030733530697912004
/product/1729734524/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916007
/product/1712279409?show-uid=227753030733530697916008&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1712279409/offers?track=srchlink&show-uid=227753030733530697916008
/product/1730364335?show-uid=227753030733530697916009&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1730364335/offers?track=srchbtn&show-uid=227753030733530697916009&context=search
/product/1727685688/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916010
/product/1729357426?show-uid=227753030733530697916011&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1729357426/offers?track=srchlink&show-uid=227753030733530697916011
/product/1727697337?show-uid=227753030733530697916012&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1727697337/offers?track=srchbtn&show-uid=227753030733530697916012&context=search
/product/1729299341/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916013
/product/14271793?show-uid=227753030733530697916014&nid=54544&glfilter=5085102%3A12106034&context=search
/product/14271793/offers?track=srchlink&show-uid=227753030733530697916014
/product/1719010870?show-uid=227753030733530697916015&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1719010870/offers?track=srchbtn&show-uid=227753030733530697916015&context=search
/product/1733126098/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916016
/product/1729354923?show-uid=227753030733530697916017&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1729354923/offers?track=srchlink&show-uid=227753030733530697916017
/product/1731309558?show-uid=227753030733530697916018&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1731309558/offers?track=srchbtn&show-uid=227753030733530697916018&context=search
/product/1726738082/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916019
/product/12568019?show-uid=227753030733530697916020&nid=54544&glfilter=5085102%3A12106034&context=search
/product/12568019/offers?track=srchlink&show-uid=227753030733530697916020
/product/1731402059?show-uid=227753030733530697916021&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1731402059/offers?track=srchbtn&show-uid=227753030733530697916021&context=search
/product/1718328783/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916022
/product/1712323640?show-uid=227753030733530697916023&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1712323640/offers?track=srchlink&show-uid=227753030733530697916023
/product/1732031363?show-uid=227753030733530697916024&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1730099829?show-uid=227753030733530697916025&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1730099829/offers?track=srchlink&show-uid=227753030733530697916025
/product/1733126023?show-uid=227753030733530697916026&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1733126023/offers?track=srchbtn&show-uid=227753030733530697916026&context=search
/product/1730162229/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916027
/product/1716092471?show-uid=227753030733530697916028&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1716092471/offers?track=srchlink&show-uid=227753030733530697916028
/product/1800942087?show-uid=227753030733530697916029&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1800942087/offers?track=srchbtn&show-uid=227753030733530697916029&context=search
/product/1838519456/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916030
/product/1838519456/offers?track=srchbtn&show-uid=227753030733530697916030&context=search
/product/1780989001/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916031
/product/1770169352?show-uid=227753030733530697916032&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1770169352/offers?track=srchlink&show-uid=227753030733530697916032
/product/1731003212?show-uid=227753030733530697916033&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1731003212/offers?track=srchbtn&show-uid=227753030733530697916033&context=search
/product/1731815137/offers?track=srchlink&show-uid=227753030733530697916034
/product/1715323959?show-uid=227753030733530697916035&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1715323959/offers?track=srchbtn&show-uid=227753030733530697916035&context=search
/product/14188586/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916036
/product/1729481707?show-uid=227753030733530697916037&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1729481707/offers?track=srchbtn&show-uid=227753030733530697916037&context=search
/product/1721956648/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916038
/product/1730320578?show-uid=227753030733530697916039&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1730320578/offers?track=srchlink&show-uid=227753030733530697916039
/product/1769806404?show-uid=227753030733530697916040&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1730103811?show-uid=227753030733530697916041&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1730103811/offers?track=srchlink&show-uid=227753030733530697916041
/product/1878421563?show-uid=227753030733530697916042&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1878421563/offers?track=srchbtn&show-uid=227753030733530697916042&context=search
/product/1731273780?show-uid=227753030733530697916043&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1731273780/offers?track=srchbtn&show-uid=227753030733530697916043&context=search
/product/1711348741/reviews?glfilter=5085102%3A12106034&show-uid=227753030733530697916044
/product/13328082?show-uid=227753030733530697916045&nid=54544&glfilter=5085102%3A12106034&context=search
/product/13328082/offers?track=srchlink&show-uid=227753030733530697916045
/product/1733126100?show-uid=227753030733530697916046&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1733126100/offers?track=srchbtn&show-uid=227753030733530697916046&context=search
/product/1730001945/offers?track=srchlink&show-uid=227753030733530697916047
/product/1724800000?show-uid=227753030733530697916048&nid=54544&glfilter=5085102%3A12106034&context=search
/product/1724800000/offers?track=srchbtn&show-uid=227753030733530697916048&context=search
/product/1857105430/offers?track=srchlink&show-uid=227753030733530697916049
/catalog/54544/list?text=%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&hid=91013&glfilter=5085102%3A12106034&rt=11&was_redir=1&rs=eJwzOsioJMvFd2HvhX0Xmy82Xdh4sfnCLoF167cxKbFwMAiwazAYzWfkmsPIxcvReJxVgFGCQTX83EJbLj6O4_PaWQWYgHyuPTP3AfmtQGkGiSeSqvoLJRyAyvcB-RxA6c3f2A4ApdfM-sAqwArkS2mu2A_kHwFKM0s8ZVJV--UK4q-Y2M4mwCLBovqjY-J-oPajQHl2CUZVE61rIOmb5yexCbAB-V1_14GkNx5lFeAEmqbixnsAANUYOzY%2C&local-offers-first=0&page=0
/catalog/54544/list?text=%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&hid=91013&glfilter=5085102%3A12106034&rt=11&was_redir=1&rs=eJwzOsioJMvFd2HvhX0Xmy82Xdh4sfnCLoF167cxKbFwMAiwazAYzWfkmsPIxcvReJxVgFGCQTX83EJbLj6O4_PaWQWYgHyuPTP3AfmtQGkGiSeSqvoLJRyAyvcB-RxA6c3f2A4ApdfM-sAqwArkS2mu2A_kHwFKM0s8ZVJV--UK4q-Y2M4mwCLBovqjY-J-oPajQHl2CUZVE61rIOmb5yexCbAB-V1_14GkNx5lFeAEmqbixnsAANUYOzY%2C&local-offers-first=0&page=2
/search?text=%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&cvredirect=0&track=redirbardwn
https://yandex.ru/support/market/discounts.html
/brands/152863?track=search_brands_snippet
/brands/152722?track=search_brands_snippet
/catalog/54544/list?glfilter=7893318%3A152932&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0
/catalog/54544/list?glfilter=7893318%3A153043&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0
/catalog/54544/list?glfilter=7893318%3A762076&glfilter=5085102%3A12106034&glfilter=14211278%3A1&track=recipe_from_listing&show-reviews=1&onstock=0
/catalog/54544/list?glfilter=7893318%3A153061&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0
/catalog/54544/list?glfilter=7893318%3A2469376&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0
/catalog/54544/list?glfilter=7893318%3A7701962&glfilter=5085102%3A12106034&track=recipe_from_listing&show-reviews=1&onstock=0
/catalog/54544/list?glfilter=7893318%3A152981&glfilter=5085102%3A12106034&track=recipe_from_listing
/catalog/54544/list?glfilter=7893318%3A152932&glfilter=5085102%3A12106034&track=recipe_from_listing
/catalog/54544/list?glfilter=7893318%3A153043&glfilter=5085102%3A12106034&track=recipe_from_listing
/catalog/54544/list?glfilter=7893318%3A6184444&glfilter=5085102%3A12106034&track=recipe_from_listing
/catalog/54544/list?glfilter=7893318%3A152722&glfilter=5085102%3A12106034&track=recipe_from_listing
/catalog/54544/list?glfilter=7893318%3A153080&glfilter=5085102%3A12106034&track=recipe_from_listing
/catalog/54544/list?glfilter=5085102%3A12106034&glfilter=5085113%3A17~17&track=recipe_from_listing
/catalog/54544/list?glfilter=7893318%3A152863&glfilter=5085102%3A12106034&glfilter=14211278%3A1&track=recipe_from_listing



Если что будет не получаться пишите подскажем.
http://x-scripts.com/

Код: Выделить всё

<?php
$xhe_host ="127.0.0.1:7010";

require("../Templates/xweb_human_emulator.php");

$browser->navigate("http://x-scripts.com");

$app->quit();?>

Рамзес
Сообщения: 5
Зарегистрирован: 29 мар 2018, 23:56

Re: Парсер Яндекс Маркета

Сообщение Рамзес » 28 май 2018, 12:47

Купил Human Emulator Studio. Запускаю в ней скрипт, который написал во Free, а он не работает, данные из Яндекс.Маркета не собирает. Запускаю его опять во Free работает. Что не так?

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Парсер Яндекс Маркета

Сообщение Support » 28 май 2018, 12:59

Рамзес писал(а):
28 май 2018, 12:47
Купил Human Emulator Studio. Запускаю в ней скрипт, который написал во Free, а он не работает, данные из Яндекс.Маркета не собирает. Запускаю его опять во Free работает. Что не так?
В Human Emulator Free и в Human Emulator Studio встроены разные браузеры. В первом Internet Explorer, а в Студии Chromium, поэтому большая вероятность того, что DOM дерево в этих браузерах будет разное, особенно при работе с такими сервисами как Яндекс, которые однозначно учитывают модель браузера. Вам надо просто проверить работу скрипта, в тех местах, где используется работа с элементами страницы. ТО есть клики по кнопкам, получения полей по id или name и т.д., разбор html страницы. В студии для этого можно использовать PHP отладчик . Ставите точки Останова в нужных местах и проверяете переменные или функции работают или нет.

Рамзес
Сообщения: 5
Зарегистрирован: 29 мар 2018, 23:56

Re: Парсер Яндекс Маркета

Сообщение Рамзес » 28 май 2018, 13:03

Спасибо, понял.

gerar
Сообщения: 38
Зарегистрирован: 01 май 2012, 09:08

Re: Парсер Яндекс Маркета

Сообщение gerar » 10 июн 2018, 21:17

Support писал(а):
28 май 2018, 12:59
Рамзес писал(а):
28 май 2018, 12:47
Купил Human Emulator Studio. Запускаю в ней скрипт, который написал во Free, а он не работает, данные из Яндекс.Маркета не собирает. Запускаю его опять во Free работает. Что не так?
В Human Emulator Free и в Human Emulator Studio встроены разные браузеры. В первом Internet Explorer, а в Студии Chromium, поэтому большая вероятность того, что DOM дерево в этих браузерах будет разное, особенно при работе с такими сервисами как Яндекс, которые однозначно учитывают модель браузера. Вам надо просто проверить работу скрипта, в тех местах, где используется работа с элементами страницы. ТО есть клики по кнопкам, получения полей по id или name и т.д., разбор html страницы. В студии для этого можно использовать PHP отладчик . Ставите точки Останова в нужных местах и проверяете переменные или функции работают или нет.
Очень много полезной информации выдаете. Нашел информацию со ссылкой на ролик и описание про инструмент отладки. Очень актуально по крайне мере для меня.
Спасибо

Ответить