phpQuery

Парсим сайты с phpQuery

На моей практике довольно часто встречались задачи вроде: спарсить таблицу с какого-то сайта в csv-файл, сграбить картинки с какого-то сайта и т.д. Все эти задачи можно обобщить термином парсинг сайтов. Большинство из нас, как и я раньше для решения таких проблем использовали стандартные средства php для парсинга xml-файлов (html все-таки является подвидом xml) совместно с регулярными выражениями.

Скрипты получались довольно громоздкими и непонятными. К счастью для себя, я недавно наткнулся на библиотеку под названием phpQuery (http://code.google.com/p/phpquery/), которая является портированным jQuery в php.

Если Вы пользовались jQuery, то должны знать о его очень удобном механизме селекторов, который мог бы быть чрезвычайно полезным при парсинге сайтов.

Допустим у нас есть такой кусок кода:

1. <ol class="results" start="1">

2. ...

3. <li>

4. <div class="title">

5. <i style="background-image: url(http://favicon.yandex.net/favicon/www.medvedev-da.ru);"/>

6. <a target="_blank" href="http://www.medvedev-da.ru/" onmousedown="w(this,'80.22.82','84=85,186=80');" tabindex="2">Дмитрий <b>Медведев</b> - Главная</a>

7. </div>

8. <div class="text">

9. <span>"Правительству нужно действовать незамедлительно, бегом!" - Итоги <wbr/>2008 года - взгляд Президента России Дмитрия <b>Медведева</b>.</span><br/>

10. </div>

11. <div class="info">

12. <span style="color: rgb(0, 102, 0);">

13. www.medvedev-da.ru

14. · 9 КБ

15. </span>

16. </div>

17. <div class="info">

18. <nobr><a target="_blank" href="...">Сохраненная копия</a></nobr>

19. · <nobr><a onmousedown="..." href="...">Еще с сайта</a> <span class="count">39241</span></nobr>

20. · <nobr>Рубрика: <a href="..." onmousedown="w(this,'80.83','84=85');">Политика</a></nobr>

21. </div>

22. </li>

23. ...

24. </ol>

Это код обычной страницы с результатами поиска Yandex`а по запросу “медведев”.

Нам нужно спарсить title страницы-результата, ее краткое описание и адрес страницы.

С помощью phpQuery, код будет примерно таким:

1. <?php

3. ini_set('max_execution_time', '0');

4. error_reporting(E_ALL);

6. define('URL', 'http://yandex.ru/yandsearch?text=медведев');

8. require('phpQuery.php');

10. $results_page = get_xml_page(URL);

11. $results = phpQuery::newDocument($results_page);

12. $elements = $results->find('ol.results > li');

14. $info = array();

16. foreach ($elements as $element){

18. $title = pq($element)->find('div.title > a');

19. $title = pq($title)->text();

20. $descr = pq($element)->find('div.text > span');

21. $descr = pq($descr)->text();

22. $link_text = pq($element)->find('div.info:first > span');

23. $link_text = pq($link_text)->text();

24. $link_text = explode('•', $link_text);

25. $link = trim($link_text[0]);

26. $info[] = array('title' => $title, 'descr' => $descr, 'link' => $link);

28. }

30. print_r($info);

32. function get_xml_page($url) {

34. $ch = curl_init($url);

35. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

36. $page = curl_exec($ch);

37. curl_close($ch);

38. return $page;

40. }

42. ?>

Как видите, код довольно понятный и его можно очень легко модифицировать при необходимости. Что касается самой библиотеки phpQuery, в этой статье я рассмотрел лишь часть ее возможностей на примере парсинга сайтов. На самом деле, с ее помощью можно так же легко модифицировать структуру документа html и еще много другого.

Более подробную документацию к ней можно найти в блоге ее разработчика: http://phpquery-library.blogspot.com/.

На этом все. Удачи!