source: spip-zone/_core_/plugins/sites/inc/syndic.php @ 92997

Last change on this file since 92997 was 92997, checked in by cedric@…, 5 years ago

Report de r92995 : On etend la prise en charge de _SYNDICATION_DEREFERENCER_URL a tout flux en verifiant que les URLs syndiquees ne sont pas des redirections, et en recuperant l'URL finale le cas echeant

File size: 16.4 KB
Line 
1<?php
2
3/***************************************************************************\
4 *  SPIP, Systeme de publication pour l'internet                           *
5 *                                                                         *
6 *  Copyright (c) 2001-2014                                                *
7 *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
8 *                                                                         *
9 *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
10 *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
11\***************************************************************************/
12
13/**
14 * Gestion de syndication (RSS,...)
15 *
16 * @package SPIP\Sites\Syndication
17**/
18
19if (!defined("_ECRIRE_INC_VERSION")) return;
20
21// ATTENTION
22// Cette inclusion charge executer_une_syndication pour compatibilite,
23// mais cette fonction ne doit plus etre invoquee directement:
24// il faut passer par cron() pour avoir un verrou portable
25// Voir un exemple dans action/editer/site
26include_spip('genie/syndic');
27
28
29/**
30 * Analyse un texte de backend
31 *
32 * @param string $rss
33 *     Texte du fichier de backend
34 * @param string $url_syndic
35 *     URL du site d'où à été extrait le texte
36 * @return array|string
37 *     - array : tableau des items lus,
38 *     - string : texte d'erreur
39**/
40function analyser_backend($rss, $url_syndic='') {
41        include_spip('inc/texte'); # pour couper()
42
43        $rss = pipeline('pre_syndication', $rss);
44
45        if (!defined('_SYNDICATION_DEREFERENCER_URL')) {
46                /** si true, les URLs de type feedburner sont déréférencées */
47                define('_SYNDICATION_DEREFERENCER_URL', false);
48        }
49
50        // Echapper les CDATA
51        cdata_echappe($rss, $echappe_cdata);
52
53        // supprimer les commentaires
54        $rss = preg_replace(',<!--.*-->,Ums', '', $rss);
55
56        // simplifier le backend, en supprimant les espaces de nommage type "dc:"
57        $rss = preg_replace(',<(/?)(dc):,i', '<\1', $rss);
58
59        // chercher auteur/lang dans le fil au cas ou les items n'en auraient pas
60        list($header) = preg_split(',<(item|entry)\b,', $rss, 2);
61        if (preg_match_all(
62        ',<(author|creator)\b(.*)</\1>,Uims',
63        $header, $regs, PREG_SET_ORDER)) {
64                $les_auteurs_du_site = array();
65                foreach ($regs as $reg) {
66                        $nom = $reg[2];
67                        if (preg_match(',<name>(.*)</name>,Uims', $nom, $reg))
68                                $nom = $reg[1];
69                        $les_auteurs_du_site[] = trim(textebrut(filtrer_entites($nom)));
70                }
71                $les_auteurs_du_site = join(', ', array_unique($les_auteurs_du_site));
72        } else {
73                $les_auteurs_du_site = '';
74        }
75
76        $langue_du_site = '';
77
78        if ((preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
79        $header, $match) AND $l = $match[3])
80        OR ($l = extraire_attribut(extraire_balise($header, 'feed'), 'xml:lang'))
81        ) {
82                $langue_du_site = $l;
83        }
84        // atom
85        elseif (preg_match(',<feed\s[^>]*xml:lang=[\'"]([^<>\'"]+)[\'"],i', $header, $match)) {
86                $langue_du_site = $match[1];
87        }
88
89        // Recuperer les blocs item et entry
90        $items = array_merge(extraire_balises($rss, 'item'), extraire_balises($rss, 'entry'));
91
92
93        //
94        // Analyser chaque <item>...</item> du backend et le transformer en tableau
95        //
96
97        if (!count($items)) return _T('sites:avis_echec_syndication_01');
98
99        foreach ($items as $item) {
100                $data = array();
101
102                // URL (semi-obligatoire, sert de cle)
103
104                // guid n'est un URL que si marque de <guid ispermalink="true"> ;
105                // attention la valeur par defaut est 'true' ce qui oblige a quelque
106                // gymnastique
107                if (preg_match(',<guid.*>[[:space:]]*(https?:[^<]*)</guid>,Uims',
108                $item, $regs) AND preg_match(',^(true|1)?$,i',
109                extraire_attribut($regs[0], 'ispermalink')))
110                        $data['url'] = $regs[1];
111                // contourner les redirections feedburner
112                else if (_SYNDICATION_DEREFERENCER_URL
113                AND preg_match(',<feedburner:origLink>(.*)<,Uims',
114                $item, $regs))
115                        $data['url'] = $regs[1];
116                // <link>, plus classique
117                else if (preg_match(
118                ',<link[^>]*[[:space:]]rel=["\']?alternate[^>]*>(.*)</link>,Uims',
119                $item, $regs))
120                        $data['url'] = $regs[1];
121                else if (preg_match(',<link[^>]*[[:space:]]rel=.alternate[^>]*>,Uims',
122                $item, $regs))
123                        $data['url'] = extraire_attribut($regs[0], 'href');
124                else if (preg_match(',<link[^>]*>\s*([^\s]+)\s*</link>,Uims', $item, $regs))
125                        $data['url'] = $regs[1];
126                else if (preg_match(',<link[^>]*>,Uims', $item, $regs))
127                        $data['url'] = extraire_attribut($regs[0], 'href');
128
129                // Aucun link ni guid, mais une enclosure
130                else if (preg_match(',<enclosure[^>]*>,ims', $item, $regs)
131                AND $url = extraire_attribut($regs[0], 'url'))
132                        $data['url'] = $url;
133
134                // pas d'url, c'est genre un compteur...
135                else
136                        $data['url'] = '';
137
138                // Titre (semi-obligatoire)
139                if (preg_match(",<title[^>]*>(.*?)</title>,ims",$item,$match))
140                        $data['titre'] = $match[1];
141                else if (preg_match(',<link[[:space:]][^>]*>,Uims',$item,$mat)
142                AND $title = extraire_attribut($mat[0], 'title'))
143                        $data['titre'] = $title; 
144                if (!strlen($data['titre'] = trim($data['titre'])))
145                        $data['titre'] = _T('ecrire:info_sans_titre');
146
147                // Date
148                $la_date = '';
149                if (preg_match(',<(published|modified|issued)>([^<]*)<,Uims',
150                $item,$match)) {
151                        cdata_echappe_retour($match[2], $echappe_cdata);
152                        $la_date = my_strtotime($match[2], $langue_du_site);
153                }
154                if (!$la_date AND
155                preg_match(',<(pubdate)>([^<]*)<,Uims',$item, $match)) {
156                        cdata_echappe_retour($match[2], $echappe_cdata);
157                        $la_date = my_strtotime($match[2], $langue_du_site);
158                }
159                if (!$la_date AND
160                preg_match(',<([a-z]+:date)>([^<]*)<,Uims',$item,$match)) {
161                        cdata_echappe_retour($match[2], $echappe_cdata);
162                        $la_date = my_strtotime($match[2], $langue_du_site);
163                }
164                if (!$la_date AND
165                preg_match(',<date>([^<]*)<,Uims',$item,$match)) {
166                        cdata_echappe_retour($match[1], $echappe_cdata);
167                        $la_date = my_strtotime($match[1], $langue_du_site);
168                }
169
170                // controle de validite de la date
171                // pour eviter qu'un backend errone passe toujours devant
172                // (note: ca pourrait etre defini site par site, mais ca risque d'etre
173                // plus lourd que vraiment utile)
174                if ($GLOBALS['controler_dates_rss']) {
175                        if (!$la_date
176                                OR $la_date > time() + 48 * 3600)
177                                $la_date = time();
178                }
179
180                if ($la_date)
181                        $data['date'] = $la_date;
182
183                // Honorer le <lastbuilddate> en forcant la date
184                if (preg_match(',<(lastbuilddate|updated|modified)>([^<>]+)</\1>,i',
185                $item, $regs)
186                AND $lastbuilddate = my_strtotime(trim($regs[2]), $langue_du_site)
187                // pas dans le futur
188                AND $lastbuilddate < time())
189                        $data['lastbuilddate'] = $lastbuilddate;
190
191                // Auteur(s)
192                if (preg_match_all(
193                ',<(author|creator)\b[^>]*>(.*)</\1>,Uims',
194                $item, $regs, PREG_SET_ORDER)) {
195                        $auteurs = array();
196                        foreach ($regs as $reg) {
197                                $nom = $reg[2];
198                                if (preg_match(',<name\b[^>]*>(.*)</name>,Uims', $nom, $reg))
199                                        $nom = $reg[1];
200                                // Cas particulier d'un auteur Flickr
201                                if (preg_match(',nobody@flickr.com \((.*)\),Uims', $nom, $reg))
202                                        $nom = $reg[1];
203                                $auteurs[] = trim(textebrut(filtrer_entites($nom)));
204                        }
205                        $data['lesauteurs'] = join(', ', array_unique($auteurs));
206                }
207                else
208                        $data['lesauteurs'] = $les_auteurs_du_site;
209
210                // Description
211                if (preg_match(',<(description|summary)\b.*'
212                .'>(.*)</\1\b,Uims',$item,$match)) {
213                        $data['descriptif'] = trim($match[2]);
214                }
215                if (preg_match(',<(content)\b.*'
216                .'>(.*)</\1\b,Uims',$item,$match)) {
217                        $data['content'] = trim($match[2]);
218                }
219
220                // lang
221                if (preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
222                        $item, $match))
223                        $data['lang'] = trim($match[3]);
224                else if ($lang = trim(extraire_attribut($item, 'xml:lang')))
225                        $data['lang'] = $lang;
226                else
227                        $data['lang'] = trim($langue_du_site);
228
229                // source et url_source  (pas trouve d'exemple en ligne !!)
230                # <source url="http://www.truc.net/music/uatsap.mp3" length="19917" />
231                # <source url="http://www.truc.net/rss">Site source</source>
232                if (preg_match(',(<source[^>]*>)(([^<>]+)</source>)?,i',
233                $item, $match)) {
234                        $data['source'] = trim($match[3]);
235                        $data['url_source'] = str_replace('&amp;', '&',
236                                trim(extraire_attribut($match[1], 'url')));
237                }
238
239                // tags
240                # a partir de "<dc:subject>", (del.icio.us)
241                # ou <media:category> (flickr)
242                # ou <itunes:category> (apple)
243                # on cree nos tags microformat <a rel="directory" href="url">titre</a>
244                # http://microformats.org/wiki/rel-directory-fr
245                $tags = array();
246                if (preg_match_all(
247                ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*>'
248                .'(.*?)</\1>,ims',
249                $item, $matches, PREG_SET_ORDER))
250                        $tags = ajouter_tags($matches, $item); # array()
251                elseif (preg_match_all(
252                ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*/>'
253                .',ims',
254                $item, $matches, PREG_SET_ORDER))
255                        $tags = ajouter_tags($matches, $item); # array()
256                // Pieces jointes :
257                // chercher <enclosure> au format RSS et les passer en microformat
258                // ou des microformats relEnclosure,
259                // ou encore les media:content
260                if (!afficher_enclosures(join(', ', $tags))) {
261                        // on prend toutes les pièces jointes possibles, et on essaie de les rendre uniques.
262                        $enclosures = array();
263                        # rss 2
264                        if (preg_match_all(',<enclosure[[:space:]][^<>]+>,i',
265                                $item, $matches, PREG_PATTERN_ORDER)) {
266                                        $enclosures += array_map('enclosure2microformat', $matches[0]);
267                        }
268                        # atom
269                        if (preg_match_all(',<link\b[^<>]+rel=["\']?enclosure["\']?[^<>]+>,i', 
270                                $item, $matches, PREG_PATTERN_ORDER)) {
271                                        $enclosures += array_map('enclosure2microformat', $matches[0]);
272                        }
273                        # media rss
274                        if (preg_match_all(',<media:content\b[^<>]+>,i', 
275                                $item, $matches, PREG_PATTERN_ORDER)) {
276                                        $enclosures += array_map('enclosure2microformat', $matches[0]);
277                        }
278                        $data['enclosures'] = join(', ', array_unique($enclosures));
279                        unset($enclosures);
280                }
281                $data['item'] = $item;
282
283                // Nettoyer les donnees et remettre les CDATA en place
284                cdata_echappe_retour($data, $echappe_cdata);
285                cdata_echappe_retour($tags, $echappe_cdata);
286
287                // passer l'url en absolue
288                $data['url'] = url_absolue(filtrer_entites($data['url']), $url_syndic);
289
290                // si on demande un dereferencement de l'URL, il faut verifier que ce n'est pas une redirection
291                if (_SYNDICATION_DEREFERENCER_URL){
292                        $target = $data['url'];
293                        include_spip("inc/distant");
294                        for ($i = 0; $i<10; $i++){
295                                // on fait un GET et pas un HEAD car les vieux SPIP ne repondent pas la redirection avec un HEAD (honte) sur un article virtuel
296                                $res = recuperer_lapage($target, false, "GET", 4096);
297                                if (!$res) break; // c'est pas bon signe car on a pas trouve l'URL...
298                                if (is_array($res))     break; // on a trouve la page, donc on a l'URL finale
299                                $target = $res; // c'est une redirection, on la suit pour voir ou elle mene
300                        }
301                        // ici $target est l'URL finale de la page
302                        $data['url'] = $target;
303                }
304
305                // Trouver les microformats (ecrase les <category> et <dc:subject>)
306                if (preg_match_all(
307                ',<a[[:space:]]([^>]+[[:space:]])?rel=[^>]+>.*</a>,Uims',
308                $data['item'], $regs, PREG_PATTERN_ORDER)) {
309                        $tags = $regs[0];
310                }
311                // Cas particulier : tags Connotea sous la forme <a class="postedtag">
312                if (preg_match_all(
313                ',<a[[:space:]][^>]+ class="postedtag"[^>]*>.*</a>,Uims',
314                $data['item'], $regs, PREG_PATTERN_ORDER))
315                        $tags = preg_replace(', class="postedtag",i',
316                        ' rel="tag"', $regs[0]);
317
318                $data['tags'] = $tags;
319                // enlever le html des titre pour etre homogene avec les autres objets spip
320                $data['titre'] = textebrut($data['titre']);
321
322                $articles[] = $data;
323        }
324
325        return $articles;
326}
327
328
329/**
330 * Strtotime même avec le format W3C !
331 *
332 * Car hélàs, strtotime ne le reconnait pas tout seul !
333 * @link http://www.w3.org/TR/NOTE-datetime Format datetime du W3C
334 *
335 * @param string $la_date
336 *     Date à parser
337 * @return int
338 *     Timestamp
339**/
340function my_strtotime($la_date, $lang=null) {
341        // format complet
342        if (preg_match(
343        ',^(\d+-\d+-\d+[T ]\d+:\d+(:\d+)?)(\.\d+)?'
344        .'(Z|([-+]\d{2}):\d+)?$,',
345        $la_date, $match)) {
346                $match = array_pad($match, 6, null);
347                $la_date = str_replace("T", " ", $match[1])." GMT";
348                return strtotime($la_date) - intval($match[5]) * 3600;
349        }
350
351        // YYYY
352        if (preg_match(',^\d{4}$,', $la_date, $match))
353                return strtotime($match[0]."-01-01");
354
355        // YYYY-MM
356        if (preg_match(',^\d{4}-\d{2}$,', $la_date, $match))
357                return strtotime($match[0]."-01");
358
359        // YYYY-MM-DD hh:mm:ss
360        if (preg_match(',^\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}\b,', $la_date, $match))
361                return strtotime($match[0]);
362
363        // utiliser strtotime en dernier ressort
364        // en nettoyant le jour qui prefixe parfois la date, suivi d'une virgule
365        // et les UT qui sont en fait des UTC
366        $la_date_c = preg_replace("/^\w+,\s*/ms","",$la_date);
367        $la_date_c = preg_replace("/UT\s*$/ms","UTC",$la_date_c);
368        if ($s=strtotime($la_date)
369          OR $s=strtotime($la_date_c))
370                return $s;
371
372        // essayons de voir si le nom du mois est dans la langue du flux et remplacons le
373        // par la version anglaise avant de faire strtotime
374        if ($lang){
375                // "fr-fr"
376                list($lang) = explode("-", $lang);
377                static $months = null;
378                if (!isset($months[$lang])){
379                        $prev_lang = $GLOBALS['spip_lang'];
380                        changer_langue($lang);
381                        foreach(range(1,12) as $m){
382                                $s = _T("date_mois_$m");
383                                $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
384                                $s = _T("date_mois_".$m."_abbr");
385                                $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
386                                $months[$lang][trim($s,".")] = date("M",strtotime("2013-$m-01"));
387                        }
388                        changer_langue($prev_lang);
389                }
390                spip_log($la_date_c,"dbgs");
391                foreach($months[$lang] as $loc=>$en){
392                        if (stripos($la_date_c,$loc)!==false){
393                                $s=str_ireplace($loc,$en,$la_date_c);
394                                if ($s=strtotime($s))
395                                        return $s;
396                        }
397                }
398        }
399
400        // erreur
401        spip_log("Impossible de lire le format de date '$la_date'");
402        return false;
403}
404
405// A partir d'un <dc:subject> ou autre essayer de recuperer
406// le mot et son url ; on cree <a href="url" rel="tag">mot</a>
407// http://code.spip.net/@creer_tag
408function creer_tag($mot,$type,$url) {
409        if (!strlen($mot = trim($mot))) return '';
410        $mot = "<a rel=\"tag\">$mot</a>";
411        if ($url)
412                $mot = inserer_attribut($mot, 'href', $url);
413        if ($type)
414                $mot = inserer_attribut($mot, 'rel', $type);
415        return $mot;
416}
417
418
419// http://code.spip.net/@ajouter_tags
420function ajouter_tags($matches, $item) {
421        include_spip('inc/filtres');
422        $tags = array();
423        foreach ($matches as $match) {
424                $type = ($match[3] == 'category' OR $match[3] == 'directory')
425                        ? 'directory':'tag';
426                $mot = supprimer_tags($match[0]);
427                if (!strlen($mot)
428                AND !strlen($mot = extraire_attribut($match[0], 'label')))
429                        break;
430                // rechercher un url
431                if ($url = extraire_attribut($match[0], 'domain')) {
432                        // category@domain est la racine d'une url qui se prolonge
433                        // avec le contenu text du tag <category> ; mais dans SPIP < 2.0
434                        // on donnait category@domain = #URL_RUBRIQUE, et
435                        // text = #TITRE_RUBRIQUE ; d'ou l'heuristique suivante sur le slash
436                        if (substr($url, -1) == '/')
437                                $url .= rawurlencode($mot);
438                }
439                else if ($url = extraire_attribut($match[0], 'resource')
440                OR $url = extraire_attribut($match[0], 'url')
441                )
442                        {}
443
444                ## cas particuliers
445                else if (extraire_attribut($match[0], 'scheme') == 'urn:flickr:tags') {
446                        foreach(explode(' ', $mot) as $petit)
447                                if ($t = creer_tag($petit, $type,
448                                'http://www.flickr.com/photos/tags/'.rawurlencode($petit).'/'))
449                                        $tags[] = $t;
450                        $mot = '';
451                }
452                else if (
453                        // cas atom1, a faire apres flickr
454                        $term = extraire_attribut($match[0], 'term')
455                ) {
456                        if ($scheme = extraire_attribut($match[0], 'scheme'))
457                                $url = suivre_lien($scheme,$term);
458                        else
459                                $url = $term;
460                }
461                else {
462                        # type delicious.com
463                        foreach(explode(' ', $mot) as $petit)
464                                if (preg_match(',<rdf\b[^>]*\bresource=["\']([^>]*/'
465                                .preg_quote(rawurlencode($petit),',').')["\'],i',
466                                $item, $m)) {
467                                        $mot = '';
468                                        if ($t = creer_tag($petit, $type, $m[1]))
469                                                $tags[] = $t;
470                                }
471                }
472
473                if ($t = creer_tag($mot, $type, $url))
474                        $tags[] = $t;
475        }
476        return $tags;
477}
478
479
480// Lit contenu des blocs [[CDATA]] dans un flux
481// http://code.spip.net/@cdata_echappe_retour
482function cdata_echappe(&$rss, &$echappe_cdata) {
483        $echappe_cdata = array();
484        if (preg_match_all(',<!\[CDATA\[(.*)]]>,Uims', $rss,
485        $regs, PREG_SET_ORDER)) {
486                foreach ($regs as $n => $reg) {
487                        if (preg_match(',[<>],', $reg[1])) {
488                                $echappe_cdata[$n] = $reg[1];
489                                $rss = str_replace($reg[0], "@@@SPIP_CDATA$n@@@", $rss);
490                        } else
491                                $rss = str_replace($reg[0], $reg[1], $rss);
492                }
493        }
494}
495
496// Retablit le contenu des blocs [[CDATA]] dans une chaine ou un tableau
497// http://code.spip.net/@cdata_echappe_retour
498function cdata_echappe_retour(&$x, &$echappe_cdata) {
499        if (is_string($x)) {
500                if (strpos($x, '@@@SPIP_CDATA') !== false
501                OR strpos($x, '&lt;') !== false) {
502                        $x = filtrer_entites($x);
503                        foreach ($echappe_cdata as $n => $e)
504                                $x = str_replace("@@@SPIP_CDATA$n@@@", $e, $x);
505                }
506        }
507
508        else if (is_array($x)) {
509                foreach($x as $k => &$v)
510                        cdata_echappe_retour($v, $echappe_cdata);
511        }
512}
513?>
Note: See TracBrowser for help on using the repository browser.