Changeset 49180 in spip-zone

Timestamp:

Jun 29, 2011, 7:51:36 PM (10 years ago)

Author:

magegahell@…

Message:

Modification de l'extracteur de PDF et DOC (base sur catdoc)
Ajout des extracteurs PPT, XLS (base sur catdoc)
Ajout des extracteurs ODT, DOCX, PPTX, XSLX a l'aide de fonctions/classes PHP (necessite PHP > 5.2 pouvant traiter les archives)
Ajout d'un formulaire de configuration de l'extraction des documents (permet de se passer des define).
Ajout d'une fonction pour reinitialiser l'indexation dans la base de donnees.

Location:

_plugins_/fulltext

Files:

• exec/fulltext.php (modified) (4 diffs)
• extract/doc.php (modified) (2 diffs)
• extract/docx.php (added)
• extract/odt.php (added)
• extract/pdf.php (modified) (1 diff)
• extract/ppt.php (added)
• extract/pptx.php (added)
• extract/xls.php (added)
• extract/xlsx.php (added)
• formulaires (added)
• formulaires/configurer_document_fulltext.html (added)
• formulaires/configurer_document_fulltext.php (added)
• genie/fulltext_index_document.php (modified) (2 diffs)
• inc/fulltext_exec.php (modified) (1 diff)
• lang/fulltext_fr.php (modified) (7 diffs)
• lib (added)
• lib/fonctions_zip.php (added)
• lib/simplepptx.class.php (added)
• lib/simplexlsx.class.php (added)
• plugin.xml (modified) (3 diffs)
• prive/exec (added)
• prive/exec/fulltext_document.html (added)

_plugins_/fulltext/exec/fulltext.php

@@ -24 +24 @@
 
         echo propre(_T('fulltext:liste_tables_connues')." [->http://www.spip-contrib.net/Fulltext].");
+        
+        // lien vers le panneau de configuration de l'indexation des documents
+        $url = generer_url_ecrire('fulltext_document');
+        echo propre(_T('fulltext:configurer_egalement_doc'))."<a href='$url'>"._T('fulltext:configuration_indexation_document')."</a>";
 
         echo debut_droite("", true);
@@ -70 +74 @@
                                 echo Fulltext_regenerer_index($table);
                         
-                        // Reinitialiser les documents
+                        // Reinitialiser les documents en erreurs
                         if (_request('reinitialise') == $table OR _request('reinitialise') == 'tous')
                                 echo Fulltext_reinitialiser_document();
+                        // Reinitialiser tous les documents     
+                        if (_request('reinitialise') == 'document_tout')
+                                echo Fulltext_reinitialiser_totalement_document();
                                 
                         // Recuperation des index deja existant
@@ -123 +130 @@
         }
 
+        // lien vers le panneau de configuration de l'indexation des documents
+        $url = generer_url_ecrire('fulltext_document');
+        echo "<p><b><a href='$url'>"._T('fulltext:configuration_indexation_document')."</a></b></p>\n";
+        
         $url = generer_url_ecrire(_request('exec'), 'regenerer=tous');
         echo "<p><b><a href='$url'>"._T('fulltext:regenerer_tous')."</a></b></p>\n";
@@ -128 +139 @@
         $url = generer_url_ecrire(_request('exec'), 'reinitialise=document');
         echo "<p><b><a href='$url'>"._T('fulltext:reinitialise_index_doc')."</a></b></p>\n";
-        
+
+        $url = generer_url_ecrire(_request('exec'), 'reinitialise=document_tout');
+        echo "<p><b><a href='$url'>"._T('fulltext:reinitialise_totalement_doc')."</a></b></p>\n";       
         // charset site
         $charset = strtolower(str_replace('-','',$GLOBALS['meta']['charset']));

_plugins_/fulltext/extract/doc.php

@@ -9 +9 @@
 // voulu ; dans le cas contraire le document sera lu comme s'il etait
 // dans le charset iso-8859-1
-
+// Extracteurs basee sur la librairie catdoc (a definir dans _FULLTEXT_DOC_EXE dans mes_options.php ou via le panneau de configuration) : http://www.wagner.pp.ru/~vitus/software/catdoc/  (version Windows : http://blog.brush.co.nz/2009/09/catdoc-windows/ )
+// Exemple pour utilisation en local sous Windows : define("_FULLTEXT_DOC_EXE","C:\catdoc\catdoc.exe");
+// Exemple pour utilisation sous Linux : define("_FULLTEXT_DOC_EXE","/usr/local/bin/catdoc");
+// Exemple d'option pour extraction de .doc au format Windows vers format iso-8859-1  : define("_FULLTEXT_DOC_CMD_OPTIONS","-s cp1252 -d 8859-1 ");
+// Les anciens developpements pour les autres librairies (metamail, wvText, antiword) ont ete conservee.
 // http://doc.spip.org/@extracteur_doc
-function extracteur_doc($fichier, &$charset) {
+function extracteur_doc($fichier, &$charset, $bin, $opt = '') {
 
         $charset = 'iso-8859-1';
+        if ((defined('_FULLTEXT_DOC_EXE'))||($bin)) {
+                $exe = $bin ? $bin : _FULLTEXT_DOC_EXE;
+        } else {
+                // TODO : essayer de trouver tout seul l'executable
+                spip_log('Erreur extraction DOC : Il faut spécifier _FULLTEXT_DOC_EXE dans mes_options.php ou dans le panneau de configuration');
+                return false;
+        }
+        if ((defined('_FULLTEXT_DOC_CMD_OPTIONS') && '' != _FULLTEXT_DOC_CMD_OPTIONS)||($opt)) {
+                $options = $opt ? ' '.$opt.' ' : ' '._FULLTEXT_DOC_CMD_OPTIONS.' ';
+        } else {
+                $options = ' ';
+        }
 
+        spip_log('Extraction DOC avec '.$exe, 'extract');
+        $cmd = $exe.$options.$fichier;
+        $sortie = exec($cmd, $output, $return_var); 
+        if($return_var != 0){
+                //Erreur
+                spip_log('Erreur extraction '.$fichier.' (code '.$return_var.') : '.$erreur, 'extract');
+                return false;
+        }else{
+                //Go
+                spip_log('Fichier DOC '.$fichier.' a ete extrait avec '.$options,'extract');
+                foreach($output as $out){
+                        $texte .= $out."\n"; 
+                }
+                return $texte;
+        }
+        
+        //Anciens developpements pour autres binaires que catdoc. Antiword devrait fonctionner avec le code ci-dessus egalement.
+        #metamail
         @exec('metamail -d -q -b -c application/msword '.escapeshellarg($fichier), $r, $e);
         if (!$e) return @join(' ', $r);
@@ -31 +65 @@
         if (!$e) return @join(' ', $r);
 
-        # catdoc
-        # http://www.45.free.net/~vitus/ice/catdoc/
-        @exec('catdoc '.escapeshellarg($fichier), $r, $e);
-        if (!$e) return @join(' ', $r);
-
+  
+  
 }
 ?>

_plugins_/fulltext/extract/pdf.php

@@ -11 +11 @@
 
 // http://doc.spip.org/@extracteur_pdf
-function extracteur_pdf($fichier, &$charset) {
+function extracteur_pdf($fichier, &$charset, $bin, $opt = '') {
   $charset = 'iso-8859-1';
         
   $texte = '';
   $output = array();
-  if (defined('_FULLTEXT_PDF_EXE')) {
-    $exe = _FULLTEXT_PDF_EXE;
+  if((defined('_FULLTEXT_PDF_EXE'))||($bin)) {
+    $exe = $bin ? $bin : _FULLTEXT_PDF_EXE;
   } else {
         // TODO : essayer de trouver tout seul l'exécutable
-        spip_log('Erreur extraction PDF : Il faut spécifier _FULLTEXT_PDF_EXE dans mes_options.php');
+        spip_log('Erreur extraction PDF : Il faut specifier _FULLTEXT_PDF_EXE dans mes_options.php ou utiliser le panneau de configuration');
         return false;
   }
-  if (defined(_FULLTEXT_PDF_CMD_OPTIONS) && '' != _FULLTEXT_PDF_CMD_OPTIONS) {
-        $options = ' '._FULLTEXT_PDF_CMD_OPTIONS.' ';
+  if ((defined('_FULLTEXT_PDF_CMD_OPTIONS') && '' != _FULLTEXT_PDF_CMD_OPTIONS)||($opt)) {
+        $options = $opt ? ' '.$opt.' ' : ' '._FULLTEXT_PDF_CMD_OPTIONS.' ';
   } else {
         $options = ' ';
   }
-        spip_log('Extraction PDF avec '.$exe, 'extract');
   $cmd = $exe.$options.$fichier;
+  spip_log('Extraction PDF avec '.$cmd, 'extract');
   $sortie = exec($cmd, $output, $return_var);
   if ($return_var != 0) {
     if ($return_var == 3) {
-      $erreur = "Le contenu de ce fichier PDF est protégé.";
+      $erreur = "Le contenu de ce fichier PDF est protege.";
     }
     spip_log('Erreur extraction '.$fichier.' (code '.$return_var.') : '.$erreur, 'extract');

_plugins_/fulltext/genie/fulltext_index_document.php

@@ -1 +1 @@
 <?php
 function genie_fulltext_index_document_dist($t) {
-        // Ne retenir que les 50 premiers ko
-        @define('_FULLTEXT_TAILLE',50000);
+        //Recuperation de la configuration
+        $fulltext = sql_fetsel('valeur', 'spip_meta', 'nom = "fulltext"');
+        $fulltext = unserialize($fulltext['valeur']);
+        // Ne retenir que les 50 000 premiers caracteres (ou la valeur choisie)
+        $taille_index = $fulltext['taille_index'] ? $fulltext['taille_index'] : @define('_FULLTEXT_TAILLE',50000);
 
         $nb_docs = 5;
@@ -9 +12 @@
                         $extension = $row['extension'];
                         $doc = $row['fichier'];
-                spip_log('Indexation de '.$doc, 'extract');
-                        global $extracteur;
-                        if (include_spip('extract/'.$extension)
-                                AND function_exists($lire = $extracteur[$extension])) {
-                                include_spip('inc/distant');
-                                include_spip('inc/documents');
-                                if (!$fichier = copie_locale(get_spip_doc($row['fichier']), 'test')) {
-                                        spip_log('Pas de copie locale de '.$row['fichier'], 'extract');
-                                        return;
+                        //On indexe seulement si c'est autorise
+                        if(($fulltext[$extension.'_index'] == 'on')||(defined('_FULLTEXT_'.strtoupper($extension).'_EXE'))){
+                        spip_log('Indexation de '.$doc, 'extract');
+                                global $extracteur;
+                                if (include_spip('extract/'.$extension)
+                                        AND function_exists($lire = $extracteur[$extension])) {
+                                        include_spip('inc/distant');
+                                        include_spip('inc/documents');
+                                        //Le fichier existe-t-il/est-il accessible ?
+                                        if (!$fichier = copie_locale(get_spip_doc($row['fichier']), 'test')) {
+                                                //Le fichier n'est pas accessible, on log mais on poursuit pour les autres
+                                                spip_log('Pas de copie locale de '.$row['fichier'], 'extract');
+                                                //Et on met le statut en erreur
+                                                sql_updateq("spip_documents", array('extrait' => 'err'), "id_document=".intval($row['id_document']));
+                                        }else{
+                                                //Le fichier existe, on indexe
+                                                // par defaut, on pense que l'extracteur va retourner ce charset
+                                                $charset = 'iso-8859-1';
+                                                // lire le contenu
+                                                $contenu = $lire(_DIR_RACINE.$fichier, $charset, $fulltext[$extension.'_bin'], $fulltext[$extension.'_opt']);
+                                                if (!$contenu) {
+                                                        spip_log('Echec de l\'extraction de '.$fichier, 'extract');
+                                                        sql_updateq("spip_documents", array('contenu' => '', 'extrait' => 'err'), "id_document=".intval($row['id_document']));
+                                                } else {
+                                                        $contenu = substr($contenu, 0, $taille_index);
+                                                        // importer le charset
+                                                        include_spip('inc/charsets');
+                                                        $contenu = importer_charset($contenu, $charset);
+                                                        sql_updateq("spip_documents", array('contenu' => $contenu, 'extrait' => 'oui'), "id_document=".intval($row['id_document']));
+                                                }
+                                        }
                                 }
-                                // par defaut, on pense que l'extracteur va retourner ce charset
-                                $charset = 'iso-8859-1';
-                                // lire le contenu
-                                $contenu = $lire(_DIR_RACINE.$fichier, $charset);
-                                if (!$contenu) {
-                                        spip_log('Echec de l\'extraction de '.$fichier, 'extract');
-                                        sql_updateq("spip_documents", array('contenu' => '', 'extrait' => 'err'), "id_document=".intval($row['id_document']));
-                                } else {
-                                        $contenu = substr($contenu, 0, _FULLTEXT_TAILLE);
-                                        // importer le charset
-                                        include_spip('inc/charsets');
-                                        $contenu = importer_charset($contenu, $charset);
-                                        sql_updateq("spip_documents", array('contenu' => $contenu, 'extrait' => 'oui'), "id_document=".intval($row['id_document']));
+                                else {
+                                        // inutile de parcourir un par un tous les docs avec la meme extension !
+                                        sql_updateq('spip_documents', array('contenu' => '', 'extrait' => 'err'),"extrait = 'non' AND extension=".sql_quote($extension));
+                                        spip_log("Impossible d'indexer tous les .$extension", 'extract');
                                 }
-                        }
-                        else {
-                                // inutile de parcourir un par un tous les docs avec la meme extension !
+                        }else{                  
+                                // si pas autoriser inutile de parcourir un par un tous les docs avec la meme extension !
                                 sql_updateq('spip_documents', array('contenu' => '', 'extrait' => 'err'),"extrait = 'non' AND extension=".sql_quote($extension));
-                                spip_log("Impossible d'indexer tous les .$extension", 'extract');
+                                spip_log("Interdiction d'indexer tous les .$extension", 'extract');
                         }
                 }

_plugins_/fulltext/inc/fulltext_exec.php

@@ -90 +90 @@
 }
 
+function Fulltext_reinitialiser_totalement_document() {
+  sql_updateq("spip_documents", array('contenu' => '', 'extrait' => 'non'));
+  return "<p><strong>"._T('fulltext:index_reinitialise_totalement')."</strong></p>";
+}
+
 function Fulltext_creer_tous($tables = false) {
         if(!$tables) { // Si les tables ne sont pas donnee, on va les chercher

_plugins_/fulltext/lang/fulltext_fr.php

@@ -8 +8 @@
         // A
         'accents_pas_pris' => 'Les accents ne sont pas pris en compte (« déjà » ou « deja », retourneront à l\'identique « déjà », « dejà », « déja »...)',
+        'activer_indexation' => 'Activer l\'indexation des',
         'asie' => 'asie',
         'asterisque_terminale' => 'ne retournera rien: l\'astérisque * doit être terminale',
@@ -14 +15 @@
         // C
         'casse_indifferente' => 'La casse (minuscule/majuscule) des mots recherchés est indifférente.',
+        'configurer_egalement_doc' => 'Vous pouvez également configurer l\'indexation des documents :',
+        'configuration_indexation_document' => 'Configuration de l\'indexation des documents',
         'convertir_myisam' => 'Convertir en MyISAM',
         'convertir_toutes' => 'Convertir toutes les tables en MyISAM',
@@ -26 +29 @@
         'enfantillage' => 'enfantillage',
         'enfants' => 'enfants',
+        'erreur_doc_bin' => 'Vous devez renseigner le binaire à utiliser pour extraire les .doc',
+        'erreur_pdf_bin' => 'Vous devez renseigner le binaire à utiliser pour extraire les .pdf',
+        'erreur_ppt_bin' => 'Vous devez renseigner le binaire à utiliser pour extraire les .ppt',
+        'erreur_taille_index' => 'Il faut au moins indexer un caractère.',
+        'erreur_xls_bin' => 'Vous devez renseigner le binaire à utiliser pour extraire les .xls',
         'et' => 'ET',
         'etranger' => 'étranger',
@@ -34 +42 @@
         'fonctionnement_recherche' => 'Fonctionnement du moteur de recherche de ce site',
         'fulltext_cree' => 'FULLTEXT créé',
-
+        'fulltext_documentation' => 'Pour plus d\'information sur la configuration, consultez la documentation en ligne :',
+        
+        //G
+        'general' => 'Général',
+        
         // I
         'il_faut_myisam' => 'il faut MyISAM',
@@ -40 +52 @@
         'index_regenere' => 'index de la table régénérés',
         'index_reinitialise' => 'Les documents en erreur ont été réinitialisés',
+        'index_reinitialise_totalement' => 'Les document ont tous été réinitialisés',
         'index_supprime' => 'index supprimé',
+        'infos_fulltext_document' => 'Vous pourrez ici choisir quels type dedocuments sont indexés par Fulltext et configurer les binaires utilisés et leurs options.',
+        'indiquer_chemin_bin' => 'Indiquer le chemin vers le binaire traitant l\'indexation des', 
+        'indiquer_options_bin' => 'Indiquer les options pour l\'indexation des',
+        
 
         // L
@@ -47 +64 @@
         // M
         'mais_pas' => 'mais PAS',
-
+        'message_ok_configuration' => 'Enregistrement de vos préférences terminée',
+        'message_ok_update_configuration' => 'Mise à jour de vos préférences terminée',
+        
+        //N
+        'necessite_version_php' => '(nécessite PHP 5.2 au minimum, ainsi que l\'option -enable-zip)',
+        'nombre_caracteres' => 'Nombre de caractères indexés (depuis le debut du document).',
+        
         // O
         'ou_bien' => 'ou bien',
-
+        // Q
+        'que_des_exemples' => 'NB : les adresses de binaires et options proposées ici ab initio ne sont que des exemples.',
         // P
         'pas_index' => 'Pas d\'index FULLTEXT',
@@ -58 +82 @@
         'regenerer_tous' => 'Régénérer tous les index FULLTEXT',
         'reinitialise_index_doc' => 'Réinitialiser l\'indexation des documents en erreur',
+        'reinitialise_totalement_doc' => 'Réinitialiser l\'indexation de tous les documents',
         'reserve_webmestres' => 'Page réservée aux webmestres',
         'retourne' => 'Retourne les textes qui contiennent',
+        'retour_configuration_fulltext' => 'Retour à la configuration de Fulltext',
 
         // S

_plugins_/fulltext/plugin.xml

@@ -3 +3 @@
         Fulltext
         </nom>
-        <auteur>Fil</auteur>
-        <version>0.6.1</version>
+        <auteur>Fil, Gael Chareyre</auteur>
+        <version>0.6.2</version>
         <version_base>0.2</version_base>
         <etat>
@@ -13 +13 @@
 Indexation FULLTEXT du contenu pour acc&#233;l&#233;rer le moteur de recherche
 -* exploite le mode FULLTEXT SEARCH IN BOOLEAN MODE de MySQL, cf. [->http://dev.mysql.com/doc/refman/5.0/fr/fulltext-boolean.html]
-Pour un fonctionnement optimal, il faut installer des programmes compl&eacute;mentaires et param&eacute;trer leur utilisation dans <code>mes_options.php</code> :
+Pour un fonctionnement optimal, il faut installer des programmes compl&eacute;mentaires et param&eacute;trer leur utilisation dans <code>mes_options.php</code> ou via le panneau de configuration :
+-** Tous les types de documents doivent avoir une constante de type <code>_FULLTEXT_EXT_EXE</code> de d&eacute;finie (ou EXT est l'extension du document) ou l'&eacute;quivalent dans le panneau de configuration.
+-** L'indexation de document est inactive par d&eacute;faut (aucune constantes de d&eacute;finies).
 -* Pour les {{PDF}} :
 -** Installer [Xpdf->http://www.foolabs.com/xpdf/]
@@ -19 +21 @@
 -*** Sur Mac OS X via [MacPorts->http://xpdf.darwinports.com/] ou avec cette [version compilée->http://users.phg-online.de/tk/MOSXS/xpdf-tools-3.dmg],
 -*** Sur d'[autres OS->http://www.foolabs.com/xpdf/download.html]
--** Définir ces constantes :
+-** D&eacute;finir ces constantes (ou utiliser le panneau de configuration):
 -*** <code>_FULLTEXT_PDF_EXE</code> (par exemple <code>/usr/bin/pdftotext</code>) : Chemin vers l'ex&eacute;cutable <code>pdftotext</code> de [Xdpf->http://www.foolabs.com/xpdf/] afin de transformer les fichiers PDF en texte brut
 -*** <code>_FULLTEXT_PDF_CMD_OPTIONS</code> (par exemple <code>-enc UTF-8</code>) : Options d'appel de l'ex&eacute;cutable
 -*<code>_FULLTEXT_TAILLE</code> : Taille maximum conserv&eacute;e pour la version texte des fichiers (50000 par d&eacute;faut)
+-* Pour les {{DOC, PPT, XLS}} :
+-** Installer [Catdoc->http://www.wagner.pp.ru/~vitus/software/catdoc/]
+-*** Sur [Ubuntu/Linux->http://www.wagner.pp.ru/~vitus/software/catdoc/],
+-*** Sur [Windows->http://blog.brush.co.nz/2009/09/catdoc-windows/]
+-** D&eacute;finir les constantes correspondantes (ou utiliser le panneau de configuration) de la meme mani&egrave;re que pour les PDF.
+-* Pour les {{ODT, DOCX, PPTX, XLSX}} :
+-** Utilise des fonctions et des classes PHP (n&eacute;cessite PHP 5.2 au minimum, ainsi que l'option -enable-zip).
         </description>
         <lien>http://www.spip-contrib.net/Fulltext</lien> <!-- URI de documentation -->