Changeset 115318 in spip-zone

Timestamp:

May 10, 2019, 5:11:46 PM (2 years ago)

Author:

jluc@…

Message:

La release de cachelab se rapproche

• nouveau parametrage : LOG_CACHELAB_TOOMANY_DEL pour loger quand un ciblage invalide un grand nombre de caches
• chrono systématique des temps de ciblages (un define et une option en moins)
• allégement des stats renvoyées : plus de décompte des aliens, des no_data et des not_array
• renommage en cachelab_appliquer (comme cachelab_cibler)
• renommage des defines : LOG_CACHELAB_SLOW, LOG_BALISECACHE_FILTRES, LOG_BALISECACHE_DUREES_DYNAMIQUES

Location:

_plugins_

Files:

• cachelab/trunk/cachelab_fonctions.php (modified) (1 diff)
• cachelab/trunk/inc/cachelab.php (modified) (7 diffs)
• cachelab/trunk/inc/cachelab_invalideur.php (modified) (6 diffs)
• cachelab/trunk/paquet.xml (modified) (1 diff)
• xray/trunk/cachelab_diag.php (modified) (3 diffs)
• xray/trunk/paquet.xml (modified) (2 diffs)
• xray/trunk/plugin.xml (modified) (2 diffs)

_plugins_/cachelab/trunk/cachelab_fonctions.php

@@ -3 +3 @@
 
 include_spip('public/cachelab_balises');
+
+// mémo des defines :
+
+// loger tous les temps des ciblages
+if (!defined('LOG_CACHELAB_CHRONO'))
+        define('LOG_CACHELAB_CHRONO', false);
+
+// Seuil minimal des temps de ciblage à loger dans cachelab_slow (en ms)
+if (!defined('LOG_CACHELAB_SLOW'))
+        define('LOG_CACHELAB_SLOW', 70);
+
+// Seuil minimal du nombre de caches invalidés en un seul ciblage pour le loger dans cachelab_toomany_del
+if (!defined('LOG_CACHELAB_TOOMANY_DEL'))
+        define('LOG_CACHELAB_TOOMANY_DEL',100);
+
+if (!defined('LOG_BALISECACHE_FILTRES'))
+        define('LOG_BALISECACHE_FILTRES', 'oui');
+
+if (!defined('LOG_BALISECACHE_DUREES_DYNAMIQUES'))
+        define('LOG_BALISECACHE_DUREES_DYNAMIQUES', false);
+
+define ('_CACHELAB_FONCTIONS', true);

_plugins_/cachelab/trunk/inc/cachelab.php

@@ -17 +17 @@
  * @return bool : indique si l'action a pu être appliquée ou non
  */
-function cachelab_applique ($action, $cle, $data=null, $options='', &$return=null) {
+function cachelab_appliquer ($action, $cle, $data=null, $options='', &$return=null) {
 global $Memoization;
         if (!isset($Memoization) or !$Memoization) {
-                spip_log("cachelab_applique ($action, $cle...) : Memoization n'est pas activé", 'cachelab_erreur');
+                spip_log("cachelab_appliquer ($action, $cle...) : Memoization n'est pas activé", 'cachelab_erreur');
                 return false;
         }
@@ -33 +33 @@
                 $del = $Memoization->del($joliecle);
                 if (!$del) {
-                        spip_log ("Échec 'del' $joliecle", 'cachelab');
+                        spip_log ("Échec 'del' $joliecle", 'cachelab_erreur');
                         return false;
                 };
@@ -64 +64 @@
 
         default :
-                $f = 'cachelab_applique_'.$action;
+                $f = 'cachelab_appliquer_'.$action;
                 if (function_exists($f))
                         return $f($action, $cle, $data, $options, $return);
@@ -81 +81 @@
  * @uses apcu_cache_info() et donc nécessite que Memoization soit activé avec APC ou APCu
  *
- * @param $action   : l'action à appliquer
+ * @param string $action   : l'action à appliquer
  * @param array $conditions : les conditions définissant la cible
  * @param array $options    : options de l'action et/ou des conditions
@@ -136 +136 @@
         // pas de listes par défaut
         $do_lists = ($action == 'list') or (isset ($options['list']) and $options['list']);
-        // pas de chrono par défaut sauf si CACHELAB_CHRONO
-        $do_chrono = (isset ($options['chrono']) ? $options['chrono'] : (defined('CACHELAB_CHRONO') and CACHELAB_CHRONO)); 
-        if ($do_chrono) {
-                include_spip ('lib/microtime.inc');
-                microtime_do ('begin');
-        }
+        include_spip ('lib/microtime.inc');
+        microtime_do ('begin');
 
         // retours
         $stats=array();
-        $stats['nb_alien']=$stats['nb_candidats']=$stats['nb_clean']=$stats['nb_no_data']=$stats['nb_not_array']=$stats['nb_cible']=0;
-        $stats['l_no_data'] = $stats['l_not_array'] = $stats['l_cible'] = array();
+        $stats['nb_alien']=$stats['nb_candidats']=$stats['nb_clean']=$stats['nb_cible']=0;
+        $stats['l_cible'] = array();
 
         // On y va
@@ -233 +229 @@
                         global $Memoization;
                         $data = $Memoization->get(substr($cle, $len_prefix));
-                        if (!$data) {
-                                $stats['nb_no_data']++;
-                                continue;
-                        }
-                        if (!is_array($data)) {
-                                spip_log ("clé=$cle : data n'est pas un tableau : ".print_r($data,1), 'cachelab');
-                                $stats['nb_not_array']++;
-                                if ($do_lists)
-                                        $stats['l_not_array'][] = $cle;
+                        if (!$data or !is_array($data)) {
+                                spip_log ("clé=$cle : data est vide ou n'est pas un tableau : ".print_r($data,1), 'cachelab_erreur');
                                 continue;
                         };
@@ -262 +251 @@
                         $stats['l_cible'][] = $cle;
 
-                cachelab_applique ($action, $cle, $data, $options, $return);
+                cachelab_appliquer ($action, $cle, $data, $options, $return);
 
                 if ($return 
                         and (($action=='get') 
                                 or (substr($action,0,4)=='get_')))
-                        return $return;
-        }
-
-        if ($do_chrono) {
-                $stats['chrono'] = microtime_do ('end', 'ms');
-                spip_log ("cachelab_cibler ($action, session=$session, objet $cle_objet=$id_objet, chemin=$chemin) : {$stats['nb_cible']} caches ciblés (sur {$stats['nb_candidats']}) en {$stats['chrono']} ms", 'cachelab');
-        }
+                        return $return; // TODO chrono aussi dans ce cas
+        }
+
+        $stats['chrono'] = microtime_do ('end', 'ms');
+        $msg = "cachelab_cibler($action) en {$stats['chrono']} ms ({$stats['nb_cible']} caches sur {$stats['nb_candidats']})"
+                ."\n".print_r($conditions, 1);
+        if (count($options))
+                $msg .= "\n".print_r($options, 1);
+        if (defined ('LOG_CACHELAB_CHRONO') and LOG_CACHELAB_CHRONO)
+                spip_log ($msg, 'cachelab_chrono.'._LOG_INFO);
+        if (defined ('LOG_CACHELAB_SLOW') and ($stats['chrono']  > LOG_CACHELAB_SLOW))
+                spip_log ($msg, 'cachelab_slow.'._LOG_INFO_IMPORTANTE);
+        if (($action=='del') and defined ('LOG_CACHELAB_TOOMANY_DEL') and ($stats['nb_cible']  > LOG_CACHELAB_TOOMANY_DEL))
+                spip_log ($msg, 'cachelab_toomany_del.'._LOG_INFO_IMPORTANTE);
 
         if ($return)

_plugins_/cachelab/trunk/inc/cachelab_invalideur.php

@@ -75 +75 @@
         }
         else 
-                spip_log ("invalidation évitée : $cond", "cachelab_not");
+                spip_log ("invalidation totale évitée : $cond", "cachelab_effondrement_evite");
 }
 
@@ -131 +131 @@
                         $duree = $f($page['contexte'][$arg],$page);
                         if (!is_null($duree)) {
-                                if (!defined('LOG_CACHELAB_DUREES_DYNAMIQUES') or LOG_CACHELAB_DUREES_DYNAMIQUES)
-                                        spip_log ("#CACHE $f (arg={$page['contexte'][$arg]}) renvoie : $duree s", "cachelab");
+                                if (!defined('LOG_BALISECACHE_DUREES_DYNAMIQUES') or LOG_CACHELAB_DUREES_DYNAMIQUES)
+                                        spip_log ("#CACHE $f (arg={$page['contexte'][$arg]}) renvoie : $duree s", 'balisecache_duree_dynamique');
 
                                 if ($var_cache)
@@ -140 +140 @@
                                 $page['entetes']['X-Spip-Cache']=$duree;
 
-                                // On garde un souvenir
+                                // Commenté : on garde un souvenir
                                 // unset ($page['entetes']['X-Spip-Methode-Duree-Cache']);
 
+                                // Dans le core, creer_cache appelle maj_invalideurs *aprés* d'avoir écrit le cache,
+                                // mais l'inverse semble pas possible selon cerdic pour cas d'écritures concurentes
+                                //
                                 // Comme memoization, on ajoute une heure "histoire de pouvoir tourner
                                 // sur le cache quand la base de donnees est plantée (à tester)"
-                                // TODO CORE ? changer creer_cache pour qu'il appelle maj_invalideurs *avant* d'avoir écrit le cache
                                 $Memoization->set($fichier, $page, 3600+$duree);
                         }
@@ -155 +157 @@
         // Exemple : <INCLURE{fond=mes_scores,duree-cache=#GET{duree_sicestmoi_oupas}}/>
         if (isset($page['contexte']['duree-cache'])) {
-                if (!defined('LOG_CACHELAB_DUREES_DYNAMIQUES') or LOG_CACHELAB_DUREES_DYNAMIQUES)
-                        spip_log ("Pour $fichier, contexte[duree-cache]={$page['contexte']['duree-cache']}", "cachelab");
+                if (!defined('LOG_BALISECACHE_DUREES_DYNAMIQUES') or LOG_CACHELAB_DUREES_DYNAMIQUES)
+                        spip_log ("Pour $fichier, contexte[duree-cache]={$page['contexte']['duree-cache']}", 'balisecache_duree_dynamique');
 
                 if ($var_cache)
@@ -167 +169 @@
                 = intval($page['contexte']['duree-cache']);
 
+                // (idem : creer_cache appelle maj_invalideurs *aprés* d'avoir écrit le cache)
+                //
                 // Comme memoization, on ajoute une heure "histoire de pouvoir tourner
                 // sur le cache quand la base de donnees est plantée (à tester)"
-                // TODO CORE ? changer creer_cache pour qu'il appelle maj_invalideurs *avant* d'avoir écrit le cache
                 $Memoization->set($fichier, $page, 3600+$duree);
         }
@@ -178 +181 @@
                 list ($f, $arg) = split_first_arg($f);
                 if (function_exists($f)) {
-                        if (!defined('LOG_CACHELAB_FILTRES') or LOG_CACHELAB_FILTRES)
-                                spip_log ("#CACHE appelle le filtre $f ($arg)", "cachelab");
+                        if (!defined('LOG_BALISECACHE_FILTRES') or LOG_CACHELAB_FILTRES)
+                                spip_log ("#CACHE appelle le filtre $f ($arg)", 'balisecache_filtres');
                         $toset = $f($page, $arg);
                         // Le filtre renvoie un booléen qui indique s'il faut mémoizer le cache
                         if ($toset)
-                                $Memoization->set($fichier, $page, $cache['entete']['X-Spip-Cache']);
+                                $Memoization->set($fichier, $page, $page['entete']['X-Spip-Cache']);
                 }
                 else 

_plugins_/cachelab/trunk/paquet.xml

@@ -2 +2 @@
         prefix="cachelab"
         categorie="outil"
-        version="0.12.1"
+        version="0.99.0"
         etat="dev"
-        compatibilite="[3.0.0;3.2.*]"
+        compatibilite="[3.0.0;3.3.*]"
         logo="images/cachelab-32.png"
         documentation="https://contrib.spip.net/5033"

_plugins_/xray/trunk/cachelab_diag.php

@@ -62 +62 @@
 
 $conditions = array('session'=>$session, 'chemin'=>$chemin, 'cle_objet'=>$cle_objet, 'id_objet'=>$id_objet, 'contexte'=>$contexte);
-$options = array('chrono'=>true, 'list'=>true, 'methode_chemin'=>$cachelab_methode_chemin);
+$options = array('list'=>true, 'methode_chemin'=>$cachelab_methode_chemin);
 
 echo "<pre>"
@@ -81 +81 @@
 $l_cible = $stats['l_cible'];
 unset($stats['l_cible']);
-$l_not_array = $stats['l_not_array'];
-unset($stats['l_not_array']);
-$l_no_data = $stats['l_no_data'];
-unset($stats['l_no_data']);
 
 echo   "<h3>Bilan du filtrage</h3><br>
@@ -94 +90 @@
                 $joliecle
         </a>";
-}
-
-if (count($l_not_array)) {
-        echo "<h3>Erreurs d'accés (pas un tableau)</h3>
-                <ul>";
-        foreach ($l_not_array as $cle)
-                echo "<li>".xray_lien_cache($cle)."</li>";
-        echo "</ul>";
 }
 

_plugins_/xray/trunk/paquet.xml

@@ -2 +2 @@
         prefix="xray"
         categorie="outil"
-        version="0.23.1"
+        version="0.23.2"
         etat="test"
-        compatibilite="[2.1.0;3.2.*]"
+        compatibilite="[2.1.0;3.3.*]"
         logo="images/xray-32.png"
         documentation="https://contrib.spip.net/4946"
@@ -22 +22 @@
         <necessite nom="memoization"/>
         <utilise nom="macrosession" />
-        <utilise nom='cachelab'  compatibilite="[0.6.0;["  />
+        <utilise nom='cachelab'  compatibilite="[0.99.0;["  />
 </paquet>

_plugins_/xray/trunk/plugin.xml

@@ -9 +9 @@
         <licence>GPL</licence>
         <licence>PHP</licence>
-        <version>0.23.1</version>
+        <version>0.23.2</version>
         <etat>test</etat>
         <description>
@@ -22 +22 @@
                 <url>xray</url> 
         </bouton>
-        <necessite id="SPIP" version="[2.1.0;3.2.99]" />
+        <necessite id="SPIP" version="[2.1.0;3.3.99]" />
         <necessite id="memoization" />
         <utilise id="macrosession" />