Друзья помогите рабочим скриптом с x-scripts.com seo_info.php

Автоматическое наполнение простых сайтов, форумов, блогов и различных CMS контентом. Автоматическое ведение сайта, блога или форума.
Ответить
Munhgauzen
Сообщения: 38
Зарегистрирован: 03 мар 2013, 18:42

Друзья помогите рабочим скриптом с x-scripts.com seo_info.php

Сообщение Munhgauzen » 25 июн 2018, 19:36

Вот собственно на него ссылка:
http://www.x-scripts.com/scripts/get_seo_info.php
Скрипт увы не работает на моей версии Human Emulator Advanced 4.9.39
Заранее благодарен)

Аватара пользователя
xscripts
Сообщения: 80
Зарегистрирован: 24 янв 2012, 12:48
Контактная информация:

Re: Друзья помогите рабочим скриптом с x-scripts.com seo_info.php

Сообщение xscripts » 25 июн 2018, 20:13

Munhgauzen писал(а):
25 июн 2018, 19:36
Вот собственно на него ссылка:
http://www.x-scripts.com/scripts/get_seo_info.php
Скрипт увы не работает на моей версии Human Emulator Advanced 4.9.39
Заранее благодарен)
Надо смотреть функции по очереди. Скрипт писался давно, поэтому всё уже изменилось.

Для получения проиндексированных страниц используется 2 функции

// получить все проиндексированные страницы из google
function get_google_pages()
и

// получить все проиндексированные страницы из яндекс
function get_yandex_pages()

Что видим в функции парсинга гугл:
// получить все проиндексированные страницы из google
function get_google_pages()
{
	global $str_site, $str_target,$a_google_pages,$keyboard,
	$browser,$crnt_page,$button,$input,$webpage;
	
	// перейти на yandex
	$browser->navigate("google.com");
	// поисковый запрос 
	$input->set_value_by_name("q","site:$str_site $str_target");
	// ищем 
	$input->click_by_name("q");
	// нажмём на поиск
	$keyboard->send_key(13,true);
	
	sleep(1);
// до тех пор пока есть ссылки с цифрами переходим
while(true)
{
    // получим все ссылки на сайты заключённые в тэгах <cite>
    $sites=$webpage->get_body_inter_prefix_all("<h3 class=\"r\"","</h3>");
    $sites=explode("<br>",$sites);

    for($ii=0;$ii<count($sites);$ii++)
    {        
		$srp_link=get_string($sites[$ii],"url?q=","&amp;");
      $srp_link_title=get_string($sites[$ii],"\">","</a>");
		
		if($srp_link!="")
      {
         // создадим объект для сохранения в массив
         $obj_url = new PageLinks;
         $obj_url ->str_url =$srp_link;
         $obj_url ->str_url_title=$srp_link_title;
         // добавить в массив
         $a_google_pages[]=$obj_url;
      }
		
    }
    // не першли на следующую страницу 
    if(!next_page($crnt_page)) 
      break;
}
нужно переделать разбор. Взять можно этот разбор из скрипта который мы обсуждали перед этим
// получим все ссылки на сайты заключённые в тэгах <cite>
    $sites=$webpage->get_body_inter_prefix_all("<h3 class=\"r\"","</h3>");
    $sites=explode("<br>",$sites);



на
 // получим все ссылки на сайты заключённые в тэгах <cite>
		 $sites=$webpage->get_body_inter_prefix_all("<cite ","cite>");
		 $sites=explode("<br>",$sites);
	   
http://x-scripts.com/

Код: Выделить всё

<?php
$xhe_host ="127.0.0.1:7010";

require("../Templates/xweb_human_emulator.php");

$browser->navigate("http://x-scripts.com");

$app->quit();?>

Аватара пользователя
xscripts
Сообщения: 80
Зарегистрирован: 24 янв 2012, 12:48
Контактная информация:

Re: Друзья помогите рабочим скриптом с x-scripts.com seo_info.php

Сообщение xscripts » 25 июн 2018, 20:15

// получить все проиндексированные страницы из яндекс
function get_yandex_pages()
{  
	global $str_site, $str_target,$a_yndex_pages,
   $browser,$crnt_page,$button,$input,$webpage;
	// перейти на yandex
	$browser->navigate("yandex.ru");
	// поисковый запрос 
	$input->set_value_by_name("text","site:$str_site $str_target");
   // ищем 
   $button->click_by_number(0);

  while(true)
  {
      // получаем yandex выдачу  
    $serp_lnk=$webpage->get_body_inter_prefix_all("class=\"b-serp-item__title-link\"","</a>");
    $serp_lnk=explode("<br>",$serp_lnk);

    // пройтись по всем url выдачи
    for($kk=0;$kk<count($serp_lnk);$kk++)
    {
      //debug_mess($serp_lnk[$kk]);
      // получить href  
      $srp_link=get_string($serp_lnk[$kk],"href=\"","\" ");
      $srp_link_title=get_string($serp_lnk[$kk],"<span>","</span>");
      // удалим тэги из строки
      $srp_link_title=strip_tags ($srp_link_title);
      // если url не пустой добавляем в массив

      if($srp_link!="")
      {
         // создадим объект для сохранения в массив
         $obj_url = new PageLinks;
         $obj_url ->str_url =$srp_link;
         $obj_url ->str_url_title=$srp_link_title;
         // добавить в массив
         $a_yndex_pages[]=$obj_url;
      }
    }
   	// переходим на следующую страницу
	if(!next_page($crnt_page))
        break;
   }
}
Тут скорее всего тоже самое надо проверить работает ли разбор
   // получаем yandex выдачу  
    $serp_lnk=$webpage->get_body_inter_prefix_all("class=\"b-serp-item__title-link\"","</a>");
    $serp_lnk=explode("<br>",$serp_lnk);
http://x-scripts.com/

Код: Выделить всё

<?php
$xhe_host ="127.0.0.1:7010";

require("../Templates/xweb_human_emulator.php");

$browser->navigate("http://x-scripts.com");

$app->quit();?>

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Друзья помогите рабочим скриптом с x-scripts.com seo_info.php

Сообщение Support » 25 июн 2018, 20:47

Для парсинга из Гугл будет выглядеть так:
// получить все проиндексированные страницы из google
function get_google_pages()
{
	global $str_site, $str_target,$a_google_pages,$keyboard,
	$browser,$crnt_page,$button,$input,$webpage;
	
	// перейти на yandex
	$browser->navigate("google.com");
	// поисковый запрос 
	$input->set_value_by_name("q","site:$str_site $str_target");
	// ищем 
	$input->click_by_name("q");
	// нажмём на поиск
	$keyboard->send_key(13,true);
	
	sleep(1);
// до тех пор пока есть ссылки с цифрами переходим
while(true)
{
    // получим все ссылки на сайты заключённые в тэгах <cite>
    //$sites=$webpage->get_body_inter_prefix_all("<cite ","cite>");
    $sites=$webpage->get_body_inter_prefix_all("<h3 class=\"r\">","</h3>");
    $sites=explode("<br>",$sites);

   print_r($sites);

    for($ii=0;$ii<count($sites);$ii++)
    {        
		//$srp_link=get_string($sites[$ii],"url=","&amp;");
      //$srp_link_title=get_string($sites[$ii],"\">","</a>");

		$srp_link=get_string($sites[$ii],"href=\"","\">");
      $srp_link_title=get_string($sites[$ii],"\">","</a>");

      echo $srp_link."<br>";
		if($srp_link!='')
      {
         // создадим объект для сохранения в массив
         $obj_url = new PageLinks;
         $obj_url ->str_url =$srp_link;
         $obj_url ->str_url_title=$srp_link_title;
         // добавить в массив
         $a_google_pages[]=$obj_url;

        // print_r($a_google_pages);
      }
		
    }
    // не першли на следующую страницу 
    if(!next_page1($crnt_page)) 
      break;
}
}

// следующая страница
function next_page1(&$crnt_page)
{
      global $anchor, $browser, $app,$cnt_pages;
      // количество поисковых страниц
      $crnt_page=$crnt_page+1;

      if($cnt_pages!=-1)
      {
            // останавливаем скрипт
            if($crnt_page>$cnt_pages)
            { 
              debug_mess("обработали все заданные страницы ".($crnt_page-1));
              return false;
            }
      }
      // перейдём на следующую страницу с результатами
$bclick = $anchor->click_by_inner_text("
".$crnt_page,false);

      if($bclick===false)
      {
           debug_mess("обработали все страницы ".($crnt_page-1));
           return false;
      }

      debug_mess("обработали страницу ".($crnt_page-1));
      return true;
}
Парсится url и title.

Аватара пользователя
xscripts
Сообщения: 80
Зарегистрирован: 24 янв 2012, 12:48
Контактная информация:

Re: Друзья помогите рабочим скриптом с x-scripts.com seo_info.php

Сообщение xscripts » 25 июн 2018, 20:52

Support писал(а):
25 июн 2018, 20:47
Парсится url и title.
Ну да там выдача походу немного другая...
http://x-scripts.com/

Код: Выделить всё

<?php
$xhe_host ="127.0.0.1:7010";

require("../Templates/xweb_human_emulator.php");

$browser->navigate("http://x-scripts.com");

$app->quit();?>

Ответить