LCOV - code coverage report
Current view: top level - backends/glass - glass_inverter.h (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core 954b5873a738 Lines: 79 79 100.0 %
Date: 2019-06-30 05:20:33 Functions: 20 20 100.0 %
Branches: 41 70 58.6 %

           Branch data     Line data    Source code
       1                 :            : /** @file glass_inverter.h
       2                 :            :  * @brief Inverter class which "inverts the file".
       3                 :            :  */
       4                 :            : /* Copyright (C) 2009,2010,2013,2014 Olly Betts
       5                 :            :  *
       6                 :            :  * This program is free software; you can redistribute it and/or modify
       7                 :            :  * it under the terms of the GNU General Public License as published by
       8                 :            :  * the Free Software Foundation; either version 2 of the License, or
       9                 :            :  * (at your option) any later version.
      10                 :            :  *
      11                 :            :  * This program is distributed in the hope that it will be useful,
      12                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            :  * GNU General Public License for more details.
      15                 :            :  *
      16                 :            :  * You should have received a copy of the GNU General Public License
      17                 :            :  * along with this program; if not, write to the Free Software
      18                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
      19                 :            :  */
      20                 :            : 
      21                 :            : #ifndef XAPIAN_INCLUDED_GLASS_INVERTER_H
      22                 :            : #define XAPIAN_INCLUDED_GLASS_INVERTER_H
      23                 :            : 
      24                 :            : #include "xapian/types.h"
      25                 :            : 
      26                 :            : #include "api/smallvector.h"
      27                 :            : 
      28                 :            : #include <map>
      29                 :            : #include <string>
      30                 :            : #include <vector>
      31                 :            : 
      32                 :            : #include "omassert.h"
      33                 :            : #include "str.h"
      34                 :            : #include "xapian/error.h"
      35                 :            : 
      36                 :            : class GlassPostListTable;
      37                 :            : class GlassPositionListTable;
      38                 :            : 
      39                 :            : namespace Xapian {
      40                 :            : class TermIterator;
      41                 :            : }
      42                 :            : 
      43                 :            : /** Magic wdf value used for a deleted posting. */
      44                 :            : const Xapian::termcount DELETED_POSTING = Xapian::termcount(-1);
      45                 :            : 
      46                 :            : /** Class which "inverts the file". */
      47 [ +  - ][ +  - ]:       4608 : class Inverter {
      48                 :            :     friend class GlassPostListTable;
      49                 :            : 
      50                 :            :     /// Class for storing the changes in frequencies for a term.
      51                 :    3415120 :     class PostingChanges {
      52                 :            :         friend class GlassPostListTable;
      53                 :            : 
      54                 :            :         /// Change in term frequency,
      55                 :            :         Xapian::termcount_diff tf_delta;
      56                 :            : 
      57                 :            :         /// Change in collection frequency.
      58                 :            :         Xapian::termcount_diff cf_delta;
      59                 :            : 
      60                 :            :         /// Changes to this term's postlist.
      61                 :            :         std::map<Xapian::docid, Xapian::termcount> pl_changes;
      62                 :            : 
      63                 :            :       public:
      64                 :            :         /// Constructor for an added posting.
      65                 :     341306 :         PostingChanges(Xapian::docid did, Xapian::termcount wdf)
      66                 :     341306 :             : tf_delta(1), cf_delta(Xapian::termcount_diff(wdf))
      67                 :            :         {
      68 [ +  - ][ +  - ]:     341306 :             pl_changes.insert(std::make_pair(did, wdf));
      69                 :     341306 :         }
      70                 :            : 
      71                 :            :         /// Constructor for a removed posting.
      72                 :        174 :         PostingChanges(Xapian::docid did, Xapian::termcount wdf, bool)
      73                 :        174 :             : tf_delta(-1), cf_delta(-Xapian::termcount_diff(wdf))
      74                 :            :         {
      75 [ +  - ][ +  - ]:        174 :             pl_changes.insert(std::make_pair(did, DELETED_POSTING));
      76                 :        174 :         }
      77                 :            : 
      78                 :            :         /// Constructor for an updated posting.
      79                 :         32 :         PostingChanges(Xapian::docid did, Xapian::termcount old_wdf,
      80                 :            :                        Xapian::termcount new_wdf)
      81                 :         32 :             : tf_delta(0), cf_delta(Xapian::termcount_diff(new_wdf - old_wdf))
      82                 :            :         {
      83 [ +  - ][ +  - ]:         32 :             pl_changes.insert(std::make_pair(did, new_wdf));
      84                 :         32 :         }
      85                 :            : 
      86                 :            :         /// Add a posting.
      87                 :    1694286 :         void add_posting(Xapian::docid did, Xapian::termcount wdf) {
      88                 :    1694286 :             ++tf_delta;
      89                 :    1694286 :             cf_delta += wdf;
      90                 :            :             // Add did to term's postlist
      91                 :    1694286 :             pl_changes[did] = wdf;
      92                 :    1694286 :         }
      93                 :            : 
      94                 :            :         /// Remove a posting.
      95                 :      28247 :         void remove_posting(Xapian::docid did, Xapian::termcount wdf) {
      96                 :      28247 :             --tf_delta;
      97                 :      28247 :             cf_delta -= wdf;
      98                 :            :             // Remove did from term's postlist.
      99                 :      28247 :             pl_changes[did] = DELETED_POSTING;
     100                 :      28247 :         }
     101                 :            : 
     102                 :            :         /// Update a posting.
     103                 :         12 :         void update_posting(Xapian::docid did, Xapian::termcount old_wdf,
     104                 :            :                             Xapian::termcount new_wdf) {
     105                 :         12 :             cf_delta += new_wdf - old_wdf;
     106                 :         12 :             pl_changes[did] = new_wdf;
     107                 :         12 :         }
     108                 :            : 
     109                 :            :         /// Get the term frequency delta.
     110                 :     683862 :         Xapian::termcount_diff get_tfdelta() const { return tf_delta; }
     111                 :            : 
     112                 :            :         /// Get the collection frequency delta.
     113                 :     683484 :         Xapian::termcount_diff get_cfdelta() const { return cf_delta; }
     114                 :            :     };
     115                 :            : 
     116                 :            :     /// Buffered changes to postlists.
     117                 :            :     std::map<std::string, PostingChanges> postlist_changes;
     118                 :            : 
     119                 :            :     /// Buffered changes to positional data.
     120                 :            :     std::map<std::string, std::map<Xapian::docid, std::string>> pos_changes;
     121                 :            : 
     122                 :            :     void store_positions(const GlassPositionListTable & position_table,
     123                 :            :                          Xapian::docid did,
     124                 :            :                          const std::string & tname,
     125                 :            :                          const Xapian::VecCOW<Xapian::termpos> & posvec,
     126                 :            :                          bool modifying);
     127                 :            : 
     128                 :            :     void set_positionlist(Xapian::docid did,
     129                 :            :                           const std::string & term,
     130                 :            :                           const std::string & s);
     131                 :            : 
     132                 :            :   public:
     133                 :            :     /// Buffered changes to document lengths.
     134                 :            :     std::map<Xapian::docid, Xapian::termcount> doclen_changes;
     135                 :            : 
     136                 :            :   public:
     137                 :    2035592 :     void add_posting(Xapian::docid did, const std::string & term,
     138                 :            :                      Xapian::doccount wdf) {
     139                 :    2035592 :         std::map<std::string, PostingChanges>::iterator i;
     140         [ +  - ]:    2035592 :         i = postlist_changes.find(term);
     141         [ +  + ]:    2035592 :         if (i == postlist_changes.end()) {
     142                 :            :             postlist_changes.insert(
     143 [ +  - ][ +  - ]:     341306 :                 std::make_pair(term, PostingChanges(did, wdf)));
                 [ +  - ]
     144                 :            :         } else {
     145         [ +  - ]:    1694286 :             i->second.add_posting(did, wdf);
     146                 :            :         }
     147                 :    2035592 :     }
     148                 :            : 
     149                 :      28421 :     void remove_posting(Xapian::docid did, const std::string & term,
     150                 :            :                         Xapian::doccount wdf) {
     151                 :      28421 :         std::map<std::string, PostingChanges>::iterator i;
     152         [ +  - ]:      28421 :         i = postlist_changes.find(term);
     153         [ +  + ]:      28421 :         if (i == postlist_changes.end()) {
     154                 :            :             postlist_changes.insert(
     155 [ +  - ][ +  - ]:        174 :                 std::make_pair(term, PostingChanges(did, wdf, false)));
                 [ +  - ]
     156                 :            :         } else {
     157         [ +  - ]:      28247 :             i->second.remove_posting(did, wdf);
     158                 :            :         }
     159                 :      28421 :     }
     160                 :            : 
     161                 :         44 :     void update_posting(Xapian::docid did, const std::string & term,
     162                 :            :                         Xapian::termcount old_wdf,
     163                 :            :                         Xapian::termcount new_wdf) {
     164                 :         44 :         std::map<std::string, PostingChanges>::iterator i;
     165         [ +  - ]:         44 :         i = postlist_changes.find(term);
     166         [ +  + ]:         44 :         if (i == postlist_changes.end()) {
     167                 :            :             postlist_changes.insert(
     168 [ +  - ][ +  - ]:         32 :                 std::make_pair(term, PostingChanges(did, old_wdf, new_wdf)));
                 [ +  - ]
     169                 :            :         } else {
     170         [ +  - ]:         12 :             i->second.update_posting(did, old_wdf, new_wdf);
     171                 :            :         }
     172                 :         44 :     }
     173                 :            : 
     174                 :            :     void set_positionlist(const GlassPositionListTable & position_table,
     175                 :            :                           Xapian::docid did,
     176                 :            :                           const std::string & tname,
     177                 :            :                           const Xapian::TermIterator & term,
     178                 :            :                           bool modifying = false);
     179                 :            : 
     180                 :            :     void delete_positionlist(Xapian::docid did,
     181                 :            :                              const std::string & term);
     182                 :            : 
     183                 :            :     bool get_positionlist(Xapian::docid did,
     184                 :            :                           const std::string & term,
     185                 :            :                           std::string & s) const;
     186                 :            : 
     187                 :            :     bool has_positions(const GlassPositionListTable & position_table) const;
     188                 :            : 
     189                 :        251 :     void clear() {
     190                 :        251 :         doclen_changes.clear();
     191                 :        251 :         postlist_changes.clear();
     192                 :        251 :         pos_changes.clear();
     193                 :        251 :     }
     194                 :            : 
     195                 :     240044 :     void set_doclength(Xapian::docid did, Xapian::termcount doclen, bool add) {
     196                 :            :         if (add) {
     197                 :            :             Assert(doclen_changes.find(did) == doclen_changes.end() || doclen_changes[did] == DELETED_POSTING);
     198                 :            :         }
     199                 :     120022 :         doclen_changes[did] = doclen;
     200                 :     120022 :     }
     201                 :            : 
     202                 :      12922 :     void delete_doclength(Xapian::docid did) {
     203                 :            :         Assert(doclen_changes.find(did) == doclen_changes.end() || doclen_changes[did] != DELETED_POSTING);
     204                 :      12922 :         doclen_changes[did] = DELETED_POSTING;
     205                 :      12922 :     }
     206                 :            : 
     207                 :     199310 :     bool get_doclength(Xapian::docid did, Xapian::termcount & doclen) const {
     208                 :     199310 :         std::map<Xapian::docid, Xapian::termcount>::const_iterator i;
     209         [ +  - ]:     199310 :         i = doclen_changes.find(did);
     210         [ +  + ]:     199310 :         if (i == doclen_changes.end())
     211                 :     115056 :             return false;
     212         [ +  + ]:      84254 :         if (rare(i->second == DELETED_POSTING))
     213 [ +  - ][ +  - ]:          8 :             throw Xapian::DocNotFoundError("Document not found: " + str(did));
         [ +  - ][ +  - ]
     214                 :      84246 :         doclen = i->second;
     215                 :     199302 :         return true;
     216                 :            :     }
     217                 :            : 
     218                 :            :     /// Flush document length changes.
     219                 :            :     void flush_doclengths(GlassPostListTable & table);
     220                 :            : 
     221                 :            :     /// Flush postlist changes for @a term.
     222                 :            :     void flush_post_list(GlassPostListTable & table, const std::string & term);
     223                 :            : 
     224                 :            :     /// Flush postlist changes for all terms.
     225                 :            :     void flush_all_post_lists(GlassPostListTable & table);
     226                 :            : 
     227                 :            :     /// Flush postlist changes for all terms which start with @a pfx.
     228                 :            :     void flush_post_lists(GlassPostListTable & table, const std::string & pfx);
     229                 :            : 
     230                 :            :     /// Flush all postlist table changes.
     231                 :            :     void flush(GlassPostListTable & table);
     232                 :            : 
     233                 :            :     /// Flush position changes.
     234                 :            :     void flush_pos_lists(GlassPositionListTable & table);
     235                 :            : 
     236                 :       3728 :     bool get_deltas(const std::string & term,
     237                 :            :                     Xapian::termcount_diff & tf_delta,
     238                 :            :                     Xapian::termcount_diff & cf_delta) const {
     239                 :       3728 :         std::map<std::string, PostingChanges>::const_iterator i;
     240         [ +  - ]:       3728 :         i = postlist_changes.find(term);
     241         [ +  + ]:       3728 :         if (i == postlist_changes.end()) {
     242                 :       3304 :             return false;
     243                 :            :         }
     244                 :        424 :         tf_delta = i->second.get_tfdelta();
     245                 :        424 :         cf_delta = i->second.get_cfdelta();
     246                 :       3728 :         return true;
     247                 :            :     }
     248                 :            : };
     249                 :            : 
     250                 :            : #endif // XAPIAN_INCLUDED_GLASS_INVERTER_H

Generated by: LCOV version 1.11