source: spip-zone/_plugins_/convertisseur/trunk/spip-cli/ConvertisseurExporter.php @ 110977

Last change on this file since 110977 was 110977, checked in by booz@…, 19 months ago

bien nommer les spip-cli

File size: 11.2 KB
Line 
1<?php
2
3/***
4
5Exporter la table spip_articles en format txt
6
7Lancer la commande spip-cli : spip export -d `repertoire destination`
8
9Les fichiers txts sont placés dans le repertoire `repertoire destination` sur le disque dur.
10
11Si un repertoire git est trouvé dans /dest alors on prend le repertoire. todo
12
13Voir aussi fichiersImporter.
14
15*/
16
17use Symfony\Component\Console\Command\Command;
18use Symfony\Component\Console\Input\InputArgument;
19use Symfony\Component\Console\Input\InputInterface;
20use Symfony\Component\Console\Input\InputOption;
21use Symfony\Component\Console\Output\OutputInterface;
22use Symfony\Component\Console\Helper\ProgressBar;
23
24class ConvertisseurExporter extends Command {
25        protected function configure() {
26                $this
27                        ->setName('convertisseur:exporter')
28                        ->setDescription('Exporter la table spip_articles (ou autre) au format SPIP txt.')
29                        ->setAliases(array(
30                                'export'
31                        ))
32                        ->addOption(
33                                'source',
34                                's',
35                                InputOption::VALUE_OPTIONAL,
36                                'Table à exporter',
37                                'spip_articles'
38                        )
39                        ->addOption(
40                                'dest',
41                                'd',
42                                InputOption::VALUE_OPTIONAL,
43                                'Répertoire où exporter au format texte',
44                                'spip_articles'
45                        )
46                        ->addOption(
47                                'branche',
48                                'b',
49                                InputOption::VALUE_OPTIONAL,
50                                'branche à exporter (id_secteur ou id_rubrique)',
51                                '0'
52                        )
53                        ->addOption(
54                                'statuts',
55                                't',
56                                InputOption::VALUE_OPTIONAL,
57                                'statuts des articles a exporter (séparé par une virgule)',
58                                'prop,prepa,publie'
59                        )
60                        ->addOption(
61                                'modif',
62                                'm',
63                                InputOption::VALUE_OPTIONAL,
64                                'date_modif après laquelle exporter',
65                                ''
66                        )
67                ;
68        }
69       
70        protected function execute(InputInterface $input, OutputInterface $output) {
71                global $spip_racine;
72                global $spip_loaded;
73                global $spip_version_branche ;
74               
75                include_spip("iterateur/data");
76               
77                $source = $input->getOption('source') ;
78                $dest = $input->getOption('dest') ;
79                $branche = $input->getOption('branche') ;
80                $date_modif = $input->getOption('modif') ;
81                $statuts = explode(',', $input->getOption('statuts'));
82                foreach($statuts as $s)
83                        $statuts_exportes[]= _q($s);
84               
85                // Secteur ou rubrique à exporter.
86                if(!$branche OR !intval($branche)){
87                        $output->writeln("<error>Préciser l'id du secteur ou de la rubrique à exporter. spip export -b 123 </error>");
88                        exit();
89                }
90               
91                // demande t'on un secteur ou une rubrique ?
92                $parent = sql_getfetsel("id_parent", "spip_rubriques", "id_rubrique=$branche");
93               
94                if($parent == 0)
95                        $critere_export = "where id_secteur=" . intval($branche) ;
96                else{
97                        // y'a t'il des sous rubriques ?
98                        $sous_rubriques = sql_allfetsel("id_rubrique", "spip_rubriques", "id_parent=$branche");
99                        if($sous_rubriques AND sizeof($sous_rubriques) > 0){
100                                foreach($sous_rubriques as $k => $v)
101                                        $ex[] = _q($v['id_rubrique']) ;
102                                $critere_export = "where id_rubrique in (" . implode(",", $ex) . ")" ;
103                        }
104                        else
105                                $critere_export = "where id_rubrique=" . intval($branche) ;
106                }
107               
108                if($date_modif)
109                        $critere_date_modif = "and date_modif > '$date_modif'" ;
110               
111                $critere_statut = "and statut in(". implode(",", $statuts_exportes) .")" ;
112               
113                // Répertoire dest, ou arrivent les fichiers txt.
114                if(!is_dir($dest)){
115                        $output->writeln("<error>Préciser le répertoire où exporter les fichiers de $source au format txt. spip export -d `repertoire` </error>");
116                        exit();
117                }
118               
119                if ($spip_loaded) {
120                        chdir($spip_racine);
121                       
122                        if (!function_exists('passthru')){
123                                $output->writeln("<error>Votre installation de PHP doit pouvoir exécuter des commandes externes avec la fonction passthru().</error>");
124                        }
125                        // Si c'est bon on continue
126                        else{
127                                // chopper les articles en sql.
128                                $query = sql_query("select * from spip_articles $critere_export $critere_date_modif $critere_statut order by date_redac asc"); 
129                               
130                                if(sql_count($query) > 0){
131                                        // start and displays the progress bar
132                                        $progress = new ProgressBar($output, sql_count($query));
133                                        $progress->setBarWidth(100);
134                                        $progress->setRedrawFrequency(1);
135                                        $progress->setMessage(" Export de `spip_articles` branche $branche en cours dans $dest ... ", 'message');
136                                        $progress->start();
137                                       
138                                        while($f = sql_fetch($query)){
139                                               
140                                                $id_article = $f['id_article'] ;
141                                                $id_rubrique = $f['id_rubrique'] ;
142                                               
143                                                // Exporter les champs spip_articles
144                                                $fichier = "" ;
145                                                $ins_auteurs = array();
146                                                $ins_mc = array();
147                                                $ins_doc = array();
148                                                $progress->setMessage('', 'motscles');
149                                                $progress->setMessage('', 'docs');
150                                                $progress->setMessage('', 'auteurs');
151                                               
152                                                // mettre les champs dans un fichier texte balisé avec des <ins class="champ">.
153                                                foreach($f as $k => $v){
154                                                        if($k == "texte" or $v == "" or $v == "0" or $v == "non" or $v == "0000-00-00 00:00:00")
155                                                                continue ;
156                                                        $fichier .= "<ins class='$k'>" . trim($v) ."</ins>\n" ;
157                                                }
158                                                $fichier .= "\n\n" . $f['texte'] . "\n\n" ;
159                                               
160                                                // Ajouter des métadonnées (hierarchie, auteurs, mots-clés...)
161                                               
162                                                // hierarchie
163                                                $hierarchie = array();
164                                                include_spip("inc/rubriques");
165                                                $ariane = preg_replace("/^0,/","", calcul_hierarchie_in($id_rubrique));
166                                               
167                                                $ariane = sql_allfetsel("titre","spip_rubriques","id_rubrique in($ariane)");
168                                                foreach($ariane as $a)
169                                                        $hierarchie[] = str_replace("/","",$a['titre']) ; // on ne veut pas de / car creer_rubrique_nommee pourrait se tromper à l'import.
170                                               
171                                                $hierarchie = implode("@@", $hierarchie);
172                                               
173                                                $rubrique = sql_fetsel("texte,descriptif", "spip_rubriques", "id_rubrique=$id_rubrique");
174                                               
175                                                if($texte_rubrique = $rubrique['texte'])
176                                                        $texte_rubrique = "<ins class='texte_rubrique'>$texte_rubrique</ins>\n" ;
177                                               
178                                                if($descriptif_rubrique = $rubrique['descriptif'])
179                                                        $descriptif_rubrique = "<ins class='descriptif_rubrique'>$descriptif_rubrique</ins>\n" ;
180                                               
181                                                // auteurs spip 3
182                                                if($spip_version_branche > "3")
183                                                        $auteurs = sql_allfetsel("a.nom, a.bio", "spip_auteurs_liens al, spip_auteurs a", "al.id_objet=$id_article and al.objet='article' and al.id_auteur=a.id_auteur");
184                                                else // spip 2
185                                                        $auteurs = sql_allfetsel("a.nom, a.bio", "spip_auteurs_articles aa, spip_auteurs a", "aa.id_article=$id_article and aa.id_auteur=a.id_auteur");
186                                               
187                                                foreach($auteurs as $a)
188                                                        if($a['nom'])
189                                                                $ins_auteurs[] = $a ;
190                                               
191                                                $auteurs = "" ;
192                                                foreach($ins_auteurs as $k => $a){
193                                                        if($k == 0)
194                                                                $sep = "" ;
195                                                        else
196                                                                $sep = "@@" ;
197                                                        $bio = ($a['bio'] != "") ? "::" . $a['bio'] : "" ;
198                                                        $auteurs .= $sep . $a['nom'] . $bio ;
199                                                }
200                                               
201                                                $auteurs_m = substr($auteurs, 0, 100) ;
202                                                $progress->setMessage($auteurs_m, 'auteurs');
203                                               
204                                                // mots-clés
205                                                if($spip_version_branche > "3")
206                                                        $motscles = sql_allfetsel("*", "spip_mots_liens ml, spip_mots m", "ml.id_objet=$id_article and ml.objet='article' and ml.id_mot=m.id_mot");
207                                                else // spip 2
208                                                        $motscles = sql_allfetsel("*", "spip_mots_articles ma, spip_mots m", "ma.id_article=$id_article and ma.id_mot=m.id_mot");
209                                               
210                                                foreach($motscles as $mc){
211                                                        if($mc['titre'])
212                                                                $ins_mc[] = $mc['type'] . "::" . $mc['titre'] ;
213                                                }
214                                                if(is_array($ins_mc)){
215                                                        $motscles = join("@@", $ins_mc) ;
216                                                        $motscles_m = substr($motscles, 0, 100) ;
217                                                        $progress->setMessage($motscles_m, 'motscles');
218                                                }
219                                               
220                                                // documents joints
221                                                $documents = sql_allfetsel("*", "spip_documents d, spip_documents_liens dl", "dl.id_objet=$id_article and dl.objet='article' and dl.id_document=d.id_document");
222                                                foreach($documents as $doc)
223                                                                $ins_doc[] = json_encode($doc) ;
224                                                if(is_array($ins_doc)){
225                                                        $documents = join("@@", $ins_doc) ;
226                                                        $docs_m = substr($documents, 0, 100) ;
227                                                        $progress->setMessage($docs_m, 'docs');
228                                                }
229                                               
230                                                // Ajouter les métadonnées
231                                                if($auteurs)
232                                                        $fichier = "<ins class='auteurs'>$auteurs</ins>\n" . $fichier ;
233                                                if($motscles)
234                                                        $fichier = "<ins class='mots_cles'>$motscles</ins>\n" . $fichier ;
235                                                if($documents)
236                                                        $fichier = "<ins class='documents'>$documents</ins>\n" . $fichier ;
237                                                if($hierarchie){
238                                                        $fichier = "<ins class='hierarchie'>$hierarchie</ins>\n" .
239                                                        $descriptif_rubrique .
240                                                        $texte_rubrique .
241                                                        $fichier ;
242                                                }
243                                               
244                                                // Créer un fichier txt
245                                                $date = ($f['date_redac'] != "0000-00-00 00:00:00")? $f['date_redac'] : $f['date'] ;
246                                                preg_match("/^(\d\d\d\d)-(\d\d)/", $date, $m);
247                                                $annee = $m[1] ;
248                                                $mois = $m[2] ;
249                                               
250                                                include_spip("inc/charsets");
251                                                $nom_fichier = translitteration($f['titre']) ;
252                                                $nom_fichier = preg_replace("/[^a-zA-Z0-9]/i", "-", $nom_fichier);
253                                                $nom_fichier = preg_replace("/-{2,}/i", "-", $nom_fichier);
254                                                $nom_fichier = preg_replace("/^-/i", "", $nom_fichier);
255                                                $nom_fichier = preg_replace("/-$/i", "", $nom_fichier);
256                                               
257                                                $nom_fichier = "$dest/$annee/$annee-$mois/$annee-$mois"."_$nom_fichier.txt" ;
258                                               
259                                                // Créer les répertoires
260                                                if(!is_dir("$dest/$annee"))
261                                                        mkdir("$dest/$annee");
262                                                if(!is_dir("$dest/$annee/$annee-$mois"))
263                                                        mkdir("$dest/$annee/$annee-$mois");     
264                                               
265                                                if(ecrire_fichier("$nom_fichier", $fichier)){
266                                                        // Si tout s'est bien passé, on avance la barre
267                                                        $nom_fichier_m = substr($nom_fichier, 0, 100) ;
268                                                        $progress->setMessage($nom_fichier_m, 'filename');
269                                                        $progress->setFormat("<fg=white;bg=blue>%message%</>\n" . '%current%/%max% [%bar%] %percent:3s%% %elapsed:6s%/%estimated:-6s% %memory:6s%' . "\n %auteurs% %motscles% \n %filename% \n\n");
270                                                        $progress->advance();
271                                               
272                                                }
273                                                else{
274                                                        $output->writeln("<error>échec de l'export de $nom_fichier</error>");
275                                                        exit ;
276                                                }
277                                        }
278                                       
279                                        // ensure that the progress bar is at 100%
280                                        $progress->finish();
281                                       
282                                }else{
283                                        $output->writeln("<error>Rien à exporter dans la branche $branche depuis $date_modif</error>");
284                                }
285                        }
286                        $output->writeln("\n");
287                }
288                else{
289                        $output->writeln('<error>Vous n’êtes pas dans une installation de SPIP. Impossible de convertir le texte.</error>');
290                }
291        }
292}
293
294
295// compat spip 2
296if($spip_version_branche < 3){
297        function calcul_hierarchie_in($id, $tout = true) {
298               
299                static $b = array();
300               
301                // normaliser $id qui a pu arriver comme un array, comme un entier, ou comme une chaine NN,NN,NN
302                if (!is_array($id)) {
303                        $id = explode(',', $id);
304                }
305                $id = join(',', array_map('intval', $id));
306                if (isset($b[$id])) {
307                        // Notre branche commence par la rubrique de depart si $tout=true
308                        return $tout ? (strlen($b[$id]) ? $b[$id] . ",$id" : $id) : $b[$id];
309                }
310               
311                $hier = "";
312               
313                // On ajoute une generation (les filles de la generation precedente)
314                // jusqu'a epuisement, en se protegeant des references circulaires
315               
316                $ids_nouveaux_parents = $id;
317                $maxiter = 10000;
318                while ($maxiter-- and $parents = sql_allfetsel(
319                        'id_parent',
320                        'spip_rubriques',
321                        sql_in('id_rubrique', $ids_nouveaux_parents) . " AND " . sql_in('id_parent', $hier, 'NOT')
322                )) {
323                        $ids_nouveaux_parents = join(',', array_map('reset', $parents));
324                        $hier = $ids_nouveaux_parents . (strlen($hier) ? ',' . $hier : '');
325                }
326               
327                # securite pour ne pas plomber la conso memoire sur les sites prolifiques
328               
329                if (strlen($hier) < 10000) {
330                        $b[$id] = $hier;
331                }
332                // Notre branche commence par la rubrique de depart si $tout=true
333                $hier = $tout ? (strlen($hier) ? "$hier,$id" : $id) : $hier;
334                return $hier;
335        }
336}
Note: See TracBrowser for help on using the repository browser.