Changeset 93505 in spip-zone

Timestamp:

Dec 10, 2015, 9:19:11 AM (5 years ago)

Author:

rastapopoulos@…

Message:

Ajout du découpage du dictionnaire dans plein de dossiers, rangés dans IMG/indexer_autoxomplete (copie de M-fil)

File:

• _plugins_/indexer/trunk/spip-cli/SphinxGenererAutocomplete.php (modified) (3 diffs)

_plugins_/indexer/trunk/spip-cli/SphinxGenererAutocomplete.php

@@ -40 +40 @@
                 // On se fait un dossier temporaire pour enregistrer le dictionnaire complet
                 $dossier_tmp = sous_repertoire(_DIR_TMP . 'sphinx/');
+                $dict_tmp = $dossier_tmp . $index . '.dict.txt';
+                
+                // On se fait un dossier final
+                $dossier_autocomplete = sous_repertoire(_DIR_IMG . 'indexer_autocomplete');
                 
                 $sphinxql = new \Sphinx\SphinxQL\SphinxQL(SPHINX_SERVER_HOST, SPHINX_SERVER_PORT);
@@ -49 +53 @@
                 if ($spis = glob($dossier_data . $index . '.*.spi') and $spi = $spis[0]) {
                         if (function_exists('passthru')) {
-                                passthru("indextool --dumpdict $spi > {$dossier_tmp}{$index}.dict.txt");
+                                passthru("indextool --dumpdict {$spi} > {$dict_tmp}");
+                                
+                                // Si on a bien le dictionnaire voulu à la fin
+                                if (file_exists($dict_tmp)) {
+                                        $output->writeln("<info>Dictionnaire correctement créé dans {$dict_tmp}</info>");
+                                        
+                                        $this->analyser_dictionnaire(
+                                                $dossier_autocomplete,
+                                                $dict_tmp,
+                                                find_in_path('autocomplete/exceptions.txt')
+                                        );
+                                }
                         }
                         else {
@@ -59 +74 @@
                 }
         }
+        
+        protected function analyser_dictionnaire($rep, $dict, $exceptions) {
+                include_spip('inc/charsets');
+                $ab = '';
+                
+                $exceptions = array_map('trim', file($exceptions));
+                
+                foreach(file($dict) as $k => $l) {
+                        list($keyword,$docs,$hits,$offset) = explode(',', $l);
+                        
+                        // Quand le tableau mots-fréquences commence, on démarre
+                        if ($keyword === 'keyword' and $docs === 'docs') {
+                                $start = true;
+                        }
+                        
+                        if ($start AND ord($l) != 2) {
+                                if (!in_array($keyword, $exceptions)) {
+                                        $_ab = strtolower(translitteration(mb_substr($keyword, 0, 2)));
+                                        if ($_ab !== $ab) {
+                                                $this->save($ab, $mots, $rep);
+                                                $ab = $_ab;
+                                                $mots = [];
+                                        }
+                                        // conserver les mots ayant un nombre suffisant d'occurrences
+                                        if ($hits >= 3) {
+                                                $mots[$keyword] = $hits;
+                                        }
+                                }
+                        }
+                }
+                
+                $this->save($ab, $mots, $rep);
+        }
+        
+        // enregistrer la liste ab - triée par hits décroissants
+        protected function save($ab, $mots, $rep) {
+                if (empty($mots)) return;
+                if (!preg_match(',[a-z][a-z],S', $ab)) return;
+                
+                arsort($mots);
+                $dump = join("\n", array_keys($mots));
+                $a = mb_substr($ab, 0,1);
+                if (!is_dir($rep.'/'.$a)) mkdir ($rep.'/'.$a);
+                $res = ($fp = fopen($rep.'/'.$a.'/'.$ab.'.txt', 'w'))
+                && fwrite ($fp, $dump)
+                && fclose ($fp);
+                spip_log("autocomplete dict $ab " . count($mots) . " ($res)");
+                return $res;
+        }
 }