source: spip-zone/_plugins_/syndic_etendue/trunk/genie/syndic.php

Last change on this file was 109937, checked in by cedric@…, 17 months ago

renseigner raw_methode dans le pipeline post_syndication si jamais on utilise la valeur par defaut car non fournie pour chaque item

File size: 11.9 KB
Line 
1<?php
2
3/***************************************************************************\
4 *  SPIP, Systeme de publication pour l'internet                           *
5 *                                                                         *
6 *  Copyright (c) 2001-2018                                                *
7 *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
8 *                                                                         *
9 *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
10 *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
11\***************************************************************************/
12
13/**
14 * Gestion des actualisation des sites syndiqués
15 *
16 * @package SPIP\Sites\Genie
17 **/
18
19if (!defined("_ECRIRE_INC_VERSION")) {
20        return;
21}
22
23## valeurs modifiables dans mes_options
24if (!defined('_PERIODE_SYNDICATION')) {
25        /**
26         * Période de syndication (en minutes)
27         *
28         * Attention il est très mal vu de prendre une periode < 20 minutes
29         */
30        define('_PERIODE_SYNDICATION', 2 * 60);
31}
32if (!defined('_PERIODE_SYNDICATION_SUSPENDUE')) {
33        /**
34         * Durée d'une suspension de syndication si un site ne répond pas (en minutes)
35         */
36        define('_PERIODE_SYNDICATION_SUSPENDUE', 24 * 60);
37}
38
39
40/**
41 * Cron de mise à jour des sites syndiqués
42 *
43 * @param int $t Date de dernier passage
44 * @return int
45 **/
46function genie_syndic_dist($t) {
47        return executer_une_syndication();
48}
49
50
51/**
52 * Effectuer la syndication d'un unique site
53 *
54 * Choisit le site le plus proche à mettre à jour
55 *
56 * @return
57 *     retourne 0 si aucun a faire ou echec lors de la tentative
58 **/
59function executer_une_syndication() {
60
61        // On va tenter un site 'sus' ou 'off' de plus de 24h, et le passer en 'off'
62        // s'il echoue
63        $where = sql_in("syndication", array('sus', 'off')) . "
64        AND statut<>'refuse'
65        AND NOT(" . sql_date_proche('date_syndic', (0 - _PERIODE_SYNDICATION_SUSPENDUE), "MINUTE") . ')';
66        $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", "statut<>" . sql_quote("refuse") . " AND " . $where, '',
67                "date_syndic", "1");
68        if ($id_syndic) {
69                // inserer la tache dans la file, avec controle d'unicite
70                job_queue_add('syndic_a_jour', 'syndic_a_jour', array($id_syndic), 'genie/syndic', true);
71        }
72
73        // Et un site 'oui' de plus de 2 heures, qui passe en 'sus' s'il echoue
74        $where = "syndication='oui'
75        AND statut<>'refuse'
76        AND NOT(" . sql_date_proche('date_syndic', (0 - _PERIODE_SYNDICATION), "MINUTE") . ')';
77        $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", "statut<>" . sql_quote("refuse") . " AND " . $where, '',
78                "date_syndic", "1");
79
80        if ($id_syndic) {
81                // inserer la tache dans la file, avec controle d'unicite
82                job_queue_add('syndic_a_jour', 'syndic_a_jour', array($id_syndic), 'genie/syndic', true);
83        }
84
85        return 0;
86}
87
88
89/**
90 * Mettre à jour le site
91 *
92 * Attention, cette fonction ne doit pas etre appellee simultanement
93 * sur un meme site: un verrouillage a du etre pose en amont.
94 * => elle doit toujours etre appelee par job_queue_add
95 *
96 * @param int $now_id_syndic
97 *     Identifiant du site à mettre à jour
98 * @return bool|string
99 */
100function syndic_a_jour($now_id_syndic) {
101        include_spip('inc/texte');
102        $call = debug_backtrace();
103        if ($call[1]['function'] !== 'queue_start_job') {
104                spip_log("syndic_a_jour doit etre appelee par JobQueue Cf. http://trac.rezo.net/trac/spip/changeset/10294",
105                        _LOG_ERREUR);
106        }
107
108        $site = sql_fetsel("*", "spip_syndic", "id_syndic=" . intval($now_id_syndic));
109
110        if (!$site) {
111                return;
112        }
113
114        $url_syndic = $site['url_syndic'];
115        $url_site = $site['url_site'];
116
117        if ($site['moderation'] == 'oui') {
118                $statut_article = 'dispo';
119        }  // a valider
120        else {
121                $statut_article = 'publie';
122        }  // en ligne sans validation
123
124        // determiner le statut a poser en cas d'echec : sus par defaut
125        // off si le site est deja off, ou sus depuis trop longtemps
126        $statut = 'sus';
127        if (
128                $site['statut'] == 'off'
129                or ($site['statut'] == 'sus' and time() - strtotime($site['date_syndic']) > _PERIODE_SYNDICATION_SUSPENDUE * 60)
130        ) {
131                $statut = 'off';
132        }
133
134        sql_updateq('spip_syndic', array('syndication' => $statut, 'date_syndic' => date('Y-m-d H:i:s')),
135                "id_syndic=" . intval($now_id_syndic));
136
137        $methode_syndication = 'atomrss';
138        if (preg_match(',^(\w+:)\w+://,', $url_syndic, $m)) {
139                $methode_syndication = rtrim($m[1], ':');
140                $url_syndic = substr($url_syndic, strlen($m[1]));
141        }
142
143
144        if (!$syndic = charger_fonction($methode_syndication, 'syndic', true)) {
145                spip_log("methode syndication $methode_syndication inconnue pour $url_syndic", 'sites' . _LOG_ERREUR);
146                return _T('sites:erreur_methode_syndication_inconnue', array('methode' => $methode_syndication));
147        }
148        $items = $syndic($url_syndic);
149
150        // Renvoyer l'erreur le cas echeant
151        if (!is_array($items)) {
152                return $items;
153        }
154
155        // Les enregistrer dans la base
156
157        $faits = array();
158        foreach ($items as $item) {
159                inserer_article_syndique($item, $now_id_syndic, $statut_article, $url_site, $url_syndic, $site['resume'], $faits, $methode_syndication);
160        }
161
162        // moderation automatique des liens qui sont sortis du feed
163        if (count($faits) > 0) {
164                $not_faits = sql_in("id_syndic_article", $faits, 'NOT');
165                if ($site['miroir'] == 'oui') {
166                        sql_update('spip_syndic_articles', array('statut' => "'off'", 'maj' => 'maj'),
167                                "id_syndic=".intval($now_id_syndic). "AND $not_faits");
168                }
169                // suppression apres 2 mois des liens qui sont sortis du feed
170                if ($site['oubli'] == 'oui') {
171
172                        sql_delete('spip_syndic_articles', 'id_syndic='.intval($now_id_syndic) . ' AND NOT(' . sql_date_proche('maj', -2,
173                                        'MONTH') . ') AND NOT(' . sql_date_proche('date', -2, 'MONTH') . ") AND $not_faits");
174                }
175        }
176
177        // Noter que la syndication est OK
178        sql_updateq("spip_syndic", array("syndication" => 'oui'), "id_syndic=" . intval($now_id_syndic));
179
180        return false; # c'est bon
181}
182
183
184/**
185 * Insère un article syndiqué
186 *
187 * Vérifie que l'article n'a pas déjà été inséré par
188 * un autre item du même feed qui aurait le meme link.
189 *
190 * @pipeline_appel pre_insertion
191 * @pipeline_appel post_insertion
192 * @pipeline_appel post_syndication
193 *
194 * @param array $data
195 * @param int $now_id_syndic
196 * @param string $statut
197 * @param string $url_site
198 * @param string $url_syndic
199 * @param string $resume
200 * @param array $faits
201 * @param string $methode_syndication
202 * @return bool
203 *     true si l'article est nouveau, false sinon.
204 **/
205function inserer_article_syndique($data, $now_id_syndic, $statut, $url_site, $url_syndic, $resume, &$faits, $methode_syndication = '') {
206        // Creer le lien s'il est nouveau - cle=(id_syndic,url)
207        $le_lien = $data['url'];
208
209        /**
210         * URL unique de syndication
211         *
212         * Si true, un lien déjà syndiqué arrivant par une autre source est ignoré
213         * par defaut `false`, chaque source a sa liste de liens, éventuellement les mêmes
214         *
215         * @var bool
216         */
217        if (!defined('_SYNDICATION_URL_UNIQUE')) {
218                define('_SYNDICATION_URL_UNIQUE', false);
219        }
220
221        /**
222         * Actualiser les contenus syndiqués
223         *
224         * Si false, on ne met pas à jour un lien déjà syndiqué avec ses nouvelles
225         * données ; par defaut `true` : on met a jour si le contenu a changé
226         *
227         * Attention si on modifie à la main un article syndiqué, les modifs sont
228         * écrasées lors de la syndication suivante
229         *
230         * @var bool
231         **/
232        if (!defined('_SYNDICATION_CORRECTION')) {
233                define('_SYNDICATION_CORRECTION', true);
234        }
235
236        // est-ce un nouvel article ?
237        $ajout = false;
238
239        // Chercher les liens de meme cle
240        // S'il y a plusieurs liens qui repondent, il faut choisir le plus proche
241        // (ie meme titre et pas deja fait), le mettre a jour et ignorer les autres
242        $n = 0;
243        $s = sql_select("id_syndic_article,titre,id_syndic,statut", "spip_syndic_articles",
244                "url=" . sql_quote($le_lien)
245                . (_SYNDICATION_URL_UNIQUE
246                        ? ''
247                        : " AND id_syndic=$now_id_syndic")
248                . " AND " . sql_in('id_syndic_article', $faits, 'NOT'), "", "maj DESC");
249        while ($a = sql_fetch($s)) {
250                $id = $a['id_syndic_article'];
251                $id_syndic = $a['id_syndic'];
252                if ($a['titre'] == $data['titre']) {
253                        $id_syndic_article = $id;
254                        break;
255                }
256                $n++;
257        }
258        // S'il y en avait qu'un, le prendre quel que soit le titre
259        if ($n == 1) {
260                $id_syndic_article = $id;
261        } // Si l'article n'existe pas, on le cree
262        elseif (!isset($id_syndic_article)) {
263                $champs = array(
264                        'id_syndic' => $now_id_syndic,
265                        'url' => $le_lien,
266                        'date' => date("Y-m-d H:i:s", $data['date'] ? $data['date'] : $data['lastbuilddate']),
267                        'statut' => $statut
268                );
269                // Envoyer aux plugins
270                $champs = pipeline('pre_insertion',
271                        array(
272                                'args' => array(
273                                        'table' => 'spip_syndic_articles',
274                                ),
275                                'data' => $champs
276                        )
277                );
278                $ajout = $id_syndic_article = sql_insertq('spip_syndic_articles', $champs);
279                if (!$ajout) {
280                        return;
281                }
282
283                pipeline('post_insertion',
284                        array(
285                                'args' => array(
286                                        'table' => 'spip_syndic_articles',
287                                        'id_objet' => $id_syndic_article
288                                ),
289                                'data' => $champs
290                        )
291                );
292        }
293        $faits[] = $id_syndic_article;
294
295
296        // Si le lien n'est pas nouveau, plusieurs options :
297        if (!$ajout) {
298                // 1. Lien existant : on corrige ou pas ?
299                if (!_SYNDICATION_CORRECTION) {
300                        return;
301                }
302                // 2. Le lien existait deja, lie a un autre spip_syndic
303                if (_SYNDICATION_URL_UNIQUE and $id_syndic != $now_id_syndic) {
304                        return;
305                }
306        }
307
308        // Descriptif, en mode resume ou mode 'full text'
309        // on prend en priorite data['descriptif'] si on est en mode resume,
310        // et data['content'] si on est en mode "full syndication"
311        if ($resume != 'non') {
312                // mode "resume"
313                $desc = (isset($data['descriptif']) and strlen($data['descriptif'])) ? $data['descriptif']
314                        : (isset($data['content']) ? $data['content'] : '');
315                $desc = couper(trim_more(textebrut($desc)), 300);
316        } else {
317                // mode "full syndication"
318                // choisir le contenu pertinent
319                // & refaire les liens relatifs
320                $desc = strlen($data['content']) ?
321                        $data['content'] : $data['descriptif'];
322                $desc = liens_absolus($desc, $url_syndic);
323        }
324
325        // tags & enclosures (preparer spip_syndic_articles.tags)
326        $tags = ($data['enclosures'] ? $data['enclosures'] : '');
327        # eviter les doublons (cle = url+titre) et passer d'un tableau a une chaine
328        if ($data['tags']) {
329                $vus = array();
330                foreach ($data['tags'] as $tag) {
331                        $cle = supprimer_tags($tag) . extraire_attribut($tag, 'href');
332                        $vus[$cle] = $tag;
333                }
334                $tags .= ($tags ? ', ' : '') . join(', ', $vus);
335        }
336
337        // Mise a jour du contenu (titre,auteurs,description,date?,source...)
338        $vals = array(
339                'titre' => $data['titre'],
340                'lesauteurs' => $data['lesauteurs'],
341                'descriptif' => $desc,
342                'lang' => substr($data['lang'], 0, 10),
343                'source' => (isset($data['source']) ? substr($data['source'], 0, 255) : ''),
344                'url_source' => (isset($data['url_source']) ? substr($data['url_source'], 0, 255) : ''),
345                'tags' => $tags
346        );
347
348        // donnees brutes completes si fournies par la methode de syndication
349        if (isset($data['raw_data'])) {
350                $vals['raw_data'] = $data['raw_data'];
351                if (isset($data['raw_format'])) {
352                        $vals['raw_format'] = $data['raw_format'];
353                }
354                if (!isset($data['raw_methode'])) {
355                        $data['raw_methode'] = $methode_syndication;
356                }
357                $vals['raw_methode'] = $data['raw_methode'];
358        }
359
360        // Mettre a jour la date si lastbuilddate
361        if (isset($data['lastbuilddate']) and $data['lastbuilddate']) {
362                $vals['date'] = date("Y-m-d H:i:s", $data['lastbuilddate']);
363        }
364
365        include_spip('inc/modifier');
366        objet_modifier_champs('syndic_article',$id_syndic_article,array('data'=>$vals,'action'=>'syndiquer'),$vals);
367
368        // Point d'entree post_syndication
369        pipeline('post_syndication',
370                array(
371                        'args' => array(
372                                'table' => 'spip_syndic_articles',
373                                'id_objet' => $id_syndic_article,
374                                'url' => $le_lien,
375                                'id_syndic' => $now_id_syndic,
376                                'ajout' => $ajout,
377                        ),
378                        'data' => $data
379                )
380        );
381
382        return $ajout;
383}
384
385/**
386 * Nettoyer les contenus de flux qui utilisent des espaces insécables en début
387 * pour faire un retrait.
388 *
389 * Peut être sous la forme de l'entité `&nbsp;` ou en utf8 `\xc2\xa0`
390 *
391 * @param  string $texte
392 * @return string
393 */
394function trim_more($texte) {
395        $texte = trim($texte);
396        // chr(194)chr(160)
397        $texte = preg_replace(",^(\s|(&nbsp;)|(\xc2\xa0))+,ums", "", $texte);
398
399        return $texte;
400}
Note: See TracBrowser for help on using the repository browser.