source: spip-zone/_core_/branches/spip-3.0/plugins/sites/inc/syndic.php @ 98068

Last change on this file since 98068 was 98068, checked in by cedric@…, 3 years ago

Certains flux RSS publient l'integralite de leur contenus (par exemple http://www.lelotenaction.org/pages/do/rss.xml) ce qui produit inevitablement un timeout lors de l'analyse et de la syndication.
On optimise les fonctions cdata_echappe et cdata_echappe_retour, et on limite la syndication aux 1000 premiers items, surchargeable par la constante _SYNDICATION_MAX_ITEMS

File size: 16.3 KB
Line 
1<?php
2
3/***************************************************************************\
4 *  SPIP, Systeme de publication pour l'internet                           *
5 *                                                                         *
6 *  Copyright (c) 2001-2016                                                *
7 *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
8 *                                                                         *
9 *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
10 *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
11\***************************************************************************/
12
13if (!defined("_ECRIRE_INC_VERSION")) return;
14
15// ATTENTION
16// Cette inclusion charge executer_une_syndication pour compatibilite,
17// mais cette fonction ne doit plus etre invoquee directement:
18// il faut passer par cron() pour avoir un verrou portable
19// Voir un exemple dans action/editer/site
20include_spip('genie/syndic');
21
22// prend un fichier backend et retourne un tableau des items lus,
23// et une chaine en cas d'erreur
24// http://code.spip.net/@analyser_backend
25function analyser_backend($rss, $url_syndic='') {
26        include_spip('inc/texte'); # pour couper()
27
28        $rss = pipeline('pre_syndication', $rss);
29
30        // si true, les URLs de type feedburner sont dereferencees
31        define('_SYNDICATION_DEREFERENCER_URL', false);
32
33        // Echapper les CDATA
34        cdata_echappe($rss, $echappe_cdata);
35
36        // supprimer les commentaires
37        $rss = preg_replace(',<!--.*-->,Ums', '', $rss);
38
39        // simplifier le backend, en supprimant les espaces de nommage type "dc:"
40        $rss = preg_replace(',<(/?)(dc):,i', '<\1', $rss);
41
42        // chercher auteur/lang dans le fil au cas ou les items n'en auraient pas
43        list($header) = preg_split(',<(item|entry)\b,', $rss, 2);
44        if (preg_match_all(
45        ',<(author|creator)\b(.*)</\1>,Uims',
46        $header, $regs, PREG_SET_ORDER)) {
47                $les_auteurs_du_site = array();
48                foreach ($regs as $reg) {
49                        $nom = $reg[2];
50                        if (preg_match(',<name>(.*)</name>,Uims', $nom, $reg))
51                                $nom = $reg[1];
52                        $les_auteurs_du_site[] = trim(textebrut(filtrer_entites($nom)));
53                }
54                $les_auteurs_du_site = join(', ', array_unique($les_auteurs_du_site));
55        } else
56                $les_auteurs_du_site = '';
57        if ((preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
58        $header, $match) AND $l = $match[3])
59        OR ($l = extraire_attribut(extraire_balise($header, 'feed'), 'xml:lang'))
60        )
61                $langue_du_site = $l;
62        // atom
63        elseif (preg_match(',<feed\s[^>]*xml:lang=[\'"]([^<>\'"]+)[\'"],i', $header, $match))
64                $langue_du_site = $match[1];
65
66        // Recuperer les blocs item et entry
67        $items = array_merge(extraire_balises($rss, 'item'), extraire_balises($rss, 'entry'));
68
69
70        //
71        // Analyser chaque <item>...</item> du backend et le transformer en tableau
72        //
73
74        if (!count($items)) return _T('sites:avis_echec_syndication_01');
75
76        if (!defined('_SYNDICATION_MAX_ITEMS')) define('_SYNDICATION_MAX_ITEMS',1000);
77        $nb_items = 0;
78        foreach ($items as $item) {
79                $data = array();
80                if ($nb_items++>_SYNDICATION_MAX_ITEMS){
81                        break;
82                }
83
84                // URL (semi-obligatoire, sert de cle)
85
86                // guid n'est un URL que si marque de <guid ispermalink="true"> ;
87                // attention la valeur par defaut est 'true' ce qui oblige a quelque
88                // gymnastique
89                if (preg_match(',<guid.*>[[:space:]]*(https?:[^<]*)</guid>,Uims',
90                $item, $regs) AND preg_match(',^(true|1)?$,i',
91                extraire_attribut($regs[0], 'ispermalink')))
92                        $data['url'] = $regs[1];
93                // contourner les redirections feedburner
94                else if (_SYNDICATION_DEREFERENCER_URL
95                AND preg_match(',<feedburner:origLink>(.*)<,Uims',
96                $item, $regs))
97                        $data['url'] = $regs[1];
98                // <link>, plus classique
99                else if (preg_match(
100                ',<link[^>]*[[:space:]]rel=["\']?alternate[^>]*>(.*)</link>,Uims',
101                $item, $regs))
102                        $data['url'] = $regs[1];
103                else if (preg_match(',<link[^>]*[[:space:]]rel=.alternate[^>]*>,Uims',
104                $item, $regs))
105                        $data['url'] = extraire_attribut($regs[0], 'href');
106                else if (preg_match(',<link[^>]*>\s*([^\s]+)\s*</link>,Uims', $item, $regs))
107                        $data['url'] = $regs[1];
108                else if (preg_match(',<link[^>]*>,Uims', $item, $regs))
109                        $data['url'] = extraire_attribut($regs[0], 'href');
110
111                // Aucun link ni guid, mais une enclosure
112                else if (preg_match(',<enclosure[^>]*>,ims', $item, $regs)
113                AND $url = extraire_attribut($regs[0], 'url'))
114                        $data['url'] = $url;
115
116                // pas d'url, c'est genre un compteur...
117                else
118                        $data['url'] = '';
119
120                // Titre (semi-obligatoire)
121                if (preg_match(",<title[^>]*>(.*?)</title>,ims",$item,$match))
122                        $data['titre'] = $match[1];
123                else if (preg_match(',<link[[:space:]][^>]*>,Uims',$item,$mat)
124                AND $title = extraire_attribut($mat[0], 'title'))
125                        $data['titre'] = $title; 
126                if (!strlen($data['titre'] = trim($data['titre'])))
127                        $data['titre'] = _T('ecrire:info_sans_titre');
128
129                // Date
130                $la_date = '';
131                if (preg_match(',<(published|modified|issued)>([^<]*)<,Uims',
132                $item,$match)) {
133                        cdata_echappe_retour($match[2], $echappe_cdata);
134                        $la_date = my_strtotime($match[2], $langue_du_site);
135                }
136                if (!$la_date AND
137                preg_match(',<(pubdate)>([^<]*)<,Uims',$item, $match)) {
138                        cdata_echappe_retour($match[2], $echappe_cdata);
139                        $la_date = my_strtotime($match[2], $langue_du_site);
140                }
141                if (!$la_date AND
142                preg_match(',<([a-z]+:date)>([^<]*)<,Uims',$item,$match)) {
143                        cdata_echappe_retour($match[2], $echappe_cdata);
144                        $la_date = my_strtotime($match[2], $langue_du_site);
145                }
146                if (!$la_date AND
147                preg_match(',<date>([^<]*)<,Uims',$item,$match)) {
148                        cdata_echappe_retour($match[1], $echappe_cdata);
149                        $la_date = my_strtotime($match[1], $langue_du_site);
150                }
151
152                // controle de validite de la date
153                // pour eviter qu'un backend errone passe toujours devant
154                // (note: ca pourrait etre defini site par site, mais ca risque d'etre
155                // plus lourd que vraiment utile)
156                if ($GLOBALS['controler_dates_rss']) {
157                        if (!$la_date
158                                OR $la_date > time() + 48 * 3600)
159                                $la_date = time();
160                }
161
162                if ($la_date)
163                        $data['date'] = $la_date;
164
165                // Honorer le <lastbuilddate> en forcant la date
166                if (preg_match(',<(lastbuilddate|updated|modified)>([^<>]+)</\1>,i',
167                $item, $regs)
168                AND $lastbuilddate = my_strtotime(trim($regs[2]), $langue_du_site)
169                // pas dans le futur
170                AND $lastbuilddate < time())
171                        $data['lastbuilddate'] = $lastbuilddate;
172
173                // Auteur(s)
174                if (preg_match_all(
175                ',<(author|creator)\b[^>]*>(.*)</\1>,Uims',
176                $item, $regs, PREG_SET_ORDER)) {
177                        $auteurs = array();
178                        foreach ($regs as $reg) {
179                                $nom = $reg[2];
180                                if (preg_match(',<name\b[^>]*>(.*)</name>,Uims', $nom, $reg))
181                                        $nom = $reg[1];
182                                // Cas particulier d'un auteur Flickr
183                                if (preg_match(',nobody@flickr.com \((.*)\),Uims', $nom, $reg))
184                                        $nom = $reg[1];
185                                $auteurs[] = trim(textebrut(filtrer_entites($nom)));
186                        }
187                        $data['lesauteurs'] = join(', ', array_unique($auteurs));
188                }
189                else
190                        $data['lesauteurs'] = $les_auteurs_du_site;
191
192                // Description
193                if (preg_match(',<(description|summary)\b.*'
194                .'>(.*)</\1\b,Uims',$item,$match)) {
195                        $data['descriptif'] = trim($match[2]);
196                }
197                if (preg_match(',<(content)\b.*'
198                .'>(.*)</\1\b,Uims',$item,$match)) {
199                        $data['content'] = trim($match[2]);
200                }
201
202                // lang
203                if (preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
204                        $item, $match))
205                        $data['lang'] = trim($match[3]);
206                else if ($lang = trim(extraire_attribut($item, 'xml:lang')))
207                        $data['lang'] = $lang;
208                else
209                        $data['lang'] = trim($langue_du_site);
210
211                // source et url_source  (pas trouve d'exemple en ligne !!)
212                # <source url="http://www.truc.net/music/uatsap.mp3" length="19917" />
213                # <source url="http://www.truc.net/rss">Site source</source>
214                if (preg_match(',(<source[^>]*>)(([^<>]+)</source>)?,i',
215                $item, $match)) {
216                        $data['source'] = trim($match[3]);
217                        $data['url_source'] = str_replace('&amp;', '&',
218                                trim(extraire_attribut($match[1], 'url')));
219                }
220
221                // tags
222                # a partir de "<dc:subject>", (del.icio.us)
223                # ou <media:category> (flickr)
224                # ou <itunes:category> (apple)
225                # on cree nos tags microformat <a rel="directory" href="url">titre</a>
226                # http://microformats.org/wiki/rel-directory-fr
227                $tags = array();
228                if (preg_match_all(
229                ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*>'
230                .'(.*?)</\1>,ims',
231                $item, $matches, PREG_SET_ORDER))
232                        $tags = ajouter_tags($matches, $item); # array()
233                elseif (preg_match_all(
234                ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*/>'
235                .',ims',
236                $item, $matches, PREG_SET_ORDER))
237                        $tags = ajouter_tags($matches, $item); # array()
238                // Pieces jointes :
239                // chercher <enclosure> au format RSS et les passer en microformat
240                // ou des microformats relEnclosure,
241                // ou encore les media:content
242                if (!afficher_enclosures(join(', ', $tags))) {
243                        // on prend toutes les pièces jointes possibles, et on essaie de les rendre uniques.
244                        $enclosures = array();
245                        # rss 2
246                        if (preg_match_all(',<enclosure[[:space:]][^<>]+>,i',
247                                $item, $matches, PREG_PATTERN_ORDER)) {
248                                        $enclosures += array_map('enclosure2microformat', $matches[0]);
249                        }
250                        # atom
251                        if (preg_match_all(',<link\b[^<>]+rel=["\']?enclosure["\']?[^<>]+>,i', 
252                                $item, $matches, PREG_PATTERN_ORDER)) {
253                                        $enclosures += array_map('enclosure2microformat', $matches[0]);
254                        }
255                        # media rss
256                        if (preg_match_all(',<media:content\b[^<>]+>,i', 
257                                $item, $matches, PREG_PATTERN_ORDER)) {
258                                        $enclosures += array_map('enclosure2microformat', $matches[0]);
259                        }
260                        $data['enclosures'] = join(', ', array_unique($enclosures));
261                        unset($enclosures);
262                }
263                $data['item'] = $item;
264
265                // Nettoyer les donnees et remettre les CDATA en place
266                cdata_echappe_retour($data, $echappe_cdata);
267                cdata_echappe_retour($tags, $echappe_cdata);
268
269                // passer l'url en absolue
270                $data['url'] = url_absolue(filtrer_entites($data['url']), $url_syndic);
271
272                // si on demande un dereferencement de l'URL, il faut verifier que ce n'est pas une redirection
273                if (_SYNDICATION_DEREFERENCER_URL){
274                        $target = $data['url'];
275                        include_spip("inc/distant");
276                        for ($i = 0; $i<10; $i++){
277                                // on fait un GET et pas un HEAD car les vieux SPIP ne repondent pas la redirection avec un HEAD (honte) sur un article virtuel
278                                $res = recuperer_lapage($target, false, "GET", 4096);
279                                if (!$res) break; // c'est pas bon signe car on a pas trouve l'URL...
280                                if (is_array($res))     break; // on a trouve la page, donc on a l'URL finale
281                                $target = $res; // c'est une redirection, on la suit pour voir ou elle mene
282                        }
283                        // ici $target est l'URL finale de la page
284                        $data['url'] = $target;
285                }
286
287                // Trouver les microformats (ecrase les <category> et <dc:subject>)
288                if (preg_match_all(
289                ',<a[[:space:]]([^>]+[[:space:]])?rel=[^>]+>.*</a>,Uims',
290                $data['item'], $regs, PREG_PATTERN_ORDER)) {
291                        $tags = $regs[0];
292                }
293                // Cas particulier : tags Connotea sous la forme <a class="postedtag">
294                if (preg_match_all(
295                ',<a[[:space:]][^>]+ class="postedtag"[^>]*>.*</a>,Uims',
296                $data['item'], $regs, PREG_PATTERN_ORDER))
297                        $tags = preg_replace(', class="postedtag",i',
298                        ' rel="tag"', $regs[0]);
299
300                $data['tags'] = $tags;
301                // enlever le html des titre pour etre homogene avec les autres objets spip
302                $data['titre'] = textebrut($data['titre']);
303
304                $articles[] = $data;
305        }
306
307        return $articles;
308}
309
310
311// helas strtotime ne reconnait pas le format W3C
312// http://www.w3.org/TR/NOTE-datetime
313// http://code.spip.net/@my_strtotime
314function my_strtotime($la_date, $lang=null) {
315        // format complet
316        if (preg_match(
317        ',^(\d+-\d+-\d+[T ]\d+:\d+(:\d+)?)(\.\d+)?'
318        .'(Z|([-+]\d{2}):\d+)?$,',
319        $la_date, $match)) {
320                $la_date = str_replace("T", " ", $match[1])." GMT";
321                return strtotime($la_date) - intval($match[5]) * 3600;
322        }
323
324        // YYYY
325        if (preg_match(',^\d{4}$,', $la_date, $match))
326                return strtotime($match[0]."-01-01");
327
328        // YYYY-MM
329        if (preg_match(',^\d{4}-\d{2}$,', $la_date, $match))
330                return strtotime($match[0]."-01");
331
332        // YYYY-MM-DD hh:mm:ss
333        if (preg_match(',^\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}\b,', $la_date, $match))
334                return strtotime($match[0]);
335
336        // utiliser strtotime en dernier ressort
337        // en nettoyant le jour qui prefixe parfois la date, suivi d'une virgule
338        // et les UT qui sont en fait des UTC
339        $la_date_c = preg_replace("/^\w+,\s*/ms","",$la_date);
340        $la_date_c = preg_replace("/UT\s*$/ms","UTC",$la_date_c);
341        if ($s=strtotime($la_date)
342          OR $s=strtotime($la_date_c))
343                return $s;
344
345        // essayons de voir si le nom du mois est dans la langue du flux et remplacons le
346        // par la version anglaise avant de faire strtotime
347        if ($lang){
348                // "fr-fr"
349                list($lang) = explode("-", $lang);
350                static $months = null;
351                if (!isset($months[$lang])){
352                        $prev_lang = $GLOBALS['spip_lang'];
353                        changer_langue($lang);
354                        foreach(range(1,12) as $m){
355                                $s = _T("date_mois_$m");
356                                $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
357                                $s = _T("date_mois_".$m."_abbr");
358                                $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
359                                $months[$lang][trim($s,".")] = date("M",strtotime("2013-$m-01"));
360                        }
361                        changer_langue($prev_lang);
362                }
363                spip_log($la_date_c,"dbgs");
364                foreach($months[$lang] as $loc=>$en){
365                        if (stripos($la_date_c,$loc)!==false){
366                                $s=str_ireplace($loc,$en,$la_date_c);
367                                if ($s=strtotime($s))
368                                        return $s;
369                        }
370                }
371        }
372
373        // erreur
374        spip_log("Impossible de lire le format de date '$la_date'");
375        return false;
376}
377// A partir d'un <dc:subject> ou autre essayer de recuperer
378// le mot et son url ; on cree <a href="url" rel="tag">mot</a>
379// http://code.spip.net/@creer_tag
380function creer_tag($mot,$type,$url) {
381        if (!strlen($mot = trim($mot))) return '';
382        $mot = "<a rel=\"tag\">$mot</a>";
383        if ($url)
384                $mot = inserer_attribut($mot, 'href', $url);
385        if ($type)
386                $mot = inserer_attribut($mot, 'rel', $type);
387        return $mot;
388}
389
390
391// http://code.spip.net/@ajouter_tags
392function ajouter_tags($matches, $item) {
393        include_spip('inc/filtres');
394        $tags = array();
395        foreach ($matches as $match) {
396                $type = ($match[3] == 'category' OR $match[3] == 'directory')
397                        ? 'directory':'tag';
398                $mot = supprimer_tags($match[0]);
399                if (!strlen($mot)
400                AND !strlen($mot = extraire_attribut($match[0], 'label')))
401                        break;
402                // rechercher un url
403                if ($url = extraire_attribut($match[0], 'domain')) {
404                        // category@domain est la racine d'une url qui se prolonge
405                        // avec le contenu text du tag <category> ; mais dans SPIP < 2.0
406                        // on donnait category@domain = #URL_RUBRIQUE, et
407                        // text = #TITRE_RUBRIQUE ; d'ou l'heuristique suivante sur le slash
408                        if (substr($url, -1) == '/')
409                                $url .= rawurlencode($mot);
410                }
411                else if ($url = extraire_attribut($match[0], 'resource')
412                OR $url = extraire_attribut($match[0], 'url')
413                )
414                        {}
415
416                ## cas particuliers
417                else if (extraire_attribut($match[0], 'scheme') == 'urn:flickr:tags') {
418                        foreach(explode(' ', $mot) as $petit)
419                                if ($t = creer_tag($petit, $type,
420                                'http://www.flickr.com/photos/tags/'.rawurlencode($petit).'/'))
421                                        $tags[] = $t;
422                        $mot = '';
423                }
424                else if (
425                        // cas atom1, a faire apres flickr
426                        $term = extraire_attribut($match[0], 'term')
427                ) {
428                        if ($scheme = extraire_attribut($match[0], 'scheme'))
429                                $url = suivre_lien($scheme,$term);
430                        else
431                                $url = $term;
432                }
433                else {
434                        # type delicious.com
435                        foreach(explode(' ', $mot) as $petit)
436                                if (preg_match(',<rdf\b[^>]*\bresource=["\']([^>]*/'
437                                .preg_quote(rawurlencode($petit),',').')["\'],i',
438                                $item, $m)) {
439                                        $mot = '';
440                                        if ($t = creer_tag($petit, $type, $m[1]))
441                                                $tags[] = $t;
442                                }
443                }
444
445                if ($t = creer_tag($mot, $type, $url))
446                        $tags[] = $t;
447        }
448        return $tags;
449}
450
451
452// Lit contenu des blocs [[CDATA]] dans un flux
453// http://code.spip.net/@cdata_echappe_retour
454function cdata_echappe(&$rss, &$echappe_cdata) {
455        $echappe_cdata = array();
456        if (preg_match_all(',<!\[CDATA\[(.*)]]>,Uims', $rss,
457        $regs, PREG_SET_ORDER)) {
458                foreach ($regs as $n => $reg) {
459                        if (strpos($reg[1],'<')!==false
460                          or strpos($reg[1],'>')!==false) {
461                                // verifier que la chaine est encore dans le flux, car on peut avoir X fois la meme
462                                // inutile de (sur)peupler le tableau avec des substitutions identiques
463                                if (strpos($rss,$reg[0])!==false){
464                                        $echappe_cdata["@@@SPIP_CDATA$n@@@"] = $reg[1];
465                                        $rss = str_replace($reg[0], "@@@SPIP_CDATA$n@@@", $rss);
466                                }
467                        } else
468                                $rss = str_replace($reg[0], $reg[1], $rss);
469                }
470        }
471}
472
473// Retablit le contenu des blocs [[CDATA]] dans une chaine ou un tableau
474// http://code.spip.net/@cdata_echappe_retour
475function cdata_echappe_retour(&$x, &$echappe_cdata) {
476        if (is_string($x)) {
477                if (strpos($x, '&lt;') !== false){
478                        $x = filtrer_entites($x);
479                }
480                if (strpos($x, '@@@SPIP_CDATA') !== false){
481                        $x = str_replace( array_keys($echappe_cdata), array_values($echappe_cdata), $x);
482                }
483        }
484
485        else if (is_array($x)) {
486                foreach($x as $k => &$v)
487                        cdata_echappe_retour($v, $echappe_cdata);
488        }
489}
490?>
Note: See TracBrowser for help on using the repository browser.