Changeset 75218 in spip-zone for _plugins_/ocr

Timestamp:

Sep 2, 2013, 1:15:34 PM (8 years ago)

Author:

lesage.sylvain@…

Message:

Stocker les pages d'un PDF sous forme de JSON, au lieu de les concatener

Si un PDF est lié à des images PNG par le plugin doc2img, remplir le
champ ocr du PDF dans le format JSON suivant:
{"1":"texte page 1","3":texte page 3"}
Le texte est en UTF8 dans la base de données, pour permettre l'indexation
des mots.
Dans le cas des documents normaux, ocr contient directement le texte, pas de
format JSON.

Location:

_plugins_/ocr/trunk

Files:

• inc/ocr_analyser.php (modified) (1 diff)
• ocr_administrations.php (modified) (1 diff)
• ocr_options.php (added)
• paquet.xml (modified) (1 diff)

_plugins_/ocr/trunk/inc/ocr_analyser.php

@@ -64 +64 @@
                         } else {
                                 // On teste si le document est une image générée par doc2img (mode='doc2img' + présente dans spip_documents_liens, liée avec un objet 'document')
-                                $id_document_original = sql_getfetsel("L2.id_objet AS id_document_original","spip_documents as L1 LEFT JOIN spip_documents_liens as L2 ON L1.id_document=L2.id_document","L2.id_document=".intval($id_document).' AND L2.objet="document" AND L1.mode="doc2img"');
-                                if ($id_document_original) {
+                                $resultat_sql = sql_fetsel("L1.page, L2.id_objet AS id_document_original","spip_documents as L1 LEFT JOIN spip_documents_liens as L2 ON L1.id_document=L2.id_document","L2.id_document=".intval($id_document).' AND L2.objet="document" AND L1.mode="doc2img"');
+                                if ($resultat_sql) {
+                                        $page = $resultat_sql['page'];
+                                        $id_document_original = $resultat_sql['id_document_original'];
                                         // Si oui, on colle le texte dans le champ "ocr" du document original (on ne teste pas s'il y a plusieurs documents, ça ne devrait pas)
-                                        spip_log('Modification du champ "ocr" du document id_document='.$id_document_original.' - c\'est le document original qui avait été converti par doc2img' , 'ocr');
+                                        // Dans ce cas, le champ "ocr" est un tableau JSON des pages du document
+                                        spip_log('Modification du champ "ocr" du document '.$id_document_original.' (page '.$page.') - c\'est le document original qui avait été converti par doc2img' , 'ocr');
                                         $ocr_original = sql_getfetsel("ocr","spip_documents","id_document=".intval($id_document_original));
-                                        sql_updateq("spip_documents", array('ocr' => $ocr_original.' '.$texte), "id_document=".intval($id_document_original));
-                                        // Indique que l'image doc2img a été analysée
+                                        // Décoder le JSON ou initialiser
+                                        $ocr_array = $ocr_original ? json_decode($ocr_original, true) : array();
+                                        // Ajouter la page
+                                        $ocr_array[$page] = $texte;
+                                        // Coder le JSON
+                                        include_spip('ocr_options');
+                                        $ocr_json = json_encode_utf8($ocr_array);
+                                        // Insérer dans la base
+                                        sql_updateq("spip_documents", array('ocr' => $ocr_json), "id_document=".intval($id_document_original));
+                                        // Indiquer que l'image doc2img a été analysée
                                         sql_updateq("spip_documents", array('ocr_analyse' => 'oui'), "id_document=".intval($id_document));
                                 } else {
                                         // sinon, on modifie le champ "ocr" de l'image
-                                        spip_log('Modification du champ "ocr" du document id_document='.$id_document, 'ocr');
+                                        spip_log('Modification du champ "ocr" du document '.$id_document, 'ocr');
                                         sql_updateq("spip_documents", array('ocr' => $texte, 'ocr_analyse' => 'oui'), "id_document=".intval($id_document));
                                 }

_plugins_/ocr/trunk/ocr_administrations.php

@@ -46 +46 @@
                 array('ocr_reinitialiser_totalement_document'),
         );
-        ecrire_config('palette/palette_public','');
+
+        // Forcer l'analyse de tous les documents (changement de format du contenu du champ "ocr")
+        $maj['0.5'] = array(
+                array('ocr_reinitialiser_totalement_document'),
+        );
         
         include_spip('base/upgrade');

_plugins_/ocr/trunk/paquet.xml

@@ -2 +2 @@
         prefix="ocr"
         categorie="multimedia"
-        version="0.2.0"
+        version="0.2.1"
         etat="test"
         compatibilite="[3.0.11;]"
         logo="prive/themes/spip/images/ocr-64.png"
         documentation="http://contrib.spip.net/ocr"
-        schema="0.4" 
+        schema="0.5" 
 >
         <!--