LCOV - code coverage report
Current view: top level - backends/honey - honey_inverter.h (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core 954b5873a738 Lines: 0 1 0.0 %
Date: 2019-06-30 05:20:33 Functions: 0 1 0.0 %
Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /** @file honey_inverter.h
       2                 :            :  * @brief HoneyInverter class which "inverts the file".
       3                 :            :  */
       4                 :            : /* Copyright (C) 2009,2010,2013,2014 Olly Betts
       5                 :            :  *
       6                 :            :  * This program is free software; you can redistribute it and/or modify
       7                 :            :  * it under the terms of the GNU General Public License as published by
       8                 :            :  * the Free Software Foundation; either version 2 of the License, or
       9                 :            :  * (at your option) any later version.
      10                 :            :  *
      11                 :            :  * This program is distributed in the hope that it will be useful,
      12                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            :  * GNU General Public License for more details.
      15                 :            :  *
      16                 :            :  * You should have received a copy of the GNU General Public License
      17                 :            :  * along with this program; if not, write to the Free Software
      18                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
      19                 :            :  */
      20                 :            : 
      21                 :            : #ifndef XAPIAN_INCLUDED_HONEY_INVERTER_H
      22                 :            : #define XAPIAN_INCLUDED_HONEY_INVERTER_H
      23                 :            : 
      24                 :            : #include "xapian/types.h"
      25                 :            : 
      26                 :            : #include "api/smallvector.h"
      27                 :            : 
      28                 :            : #include <map>
      29                 :            : #include <string>
      30                 :            : #include <vector>
      31                 :            : 
      32                 :            : #include "omassert.h"
      33                 :            : #include "str.h"
      34                 :            : #include "xapian/error.h"
      35                 :            : 
      36                 :            : class HoneyPostListTable;
      37                 :            : class HoneyPositionTable;
      38                 :            : 
      39                 :            : namespace Xapian {
      40                 :            : class TermIterator;
      41                 :            : }
      42                 :            : 
      43                 :            : /** Class which "inverts the file". */
      44                 :            : class HoneyInverter {
      45                 :            :     friend class HoneyPostListTable;
      46                 :            : 
      47                 :            :     /** Magic wdf value used for a deleted posting. */
      48                 :            :     static const Xapian::termcount DELETED_POSTING = Xapian::termcount(-1);
      49                 :            : 
      50                 :            :     /// Class for storing the changes in frequencies for a term.
      51                 :          0 :     class PostingChanges {
      52                 :            :         friend class HoneyPostListTable;
      53                 :            : 
      54                 :            :         /// Change in term frequency,
      55                 :            :         Xapian::termcount_diff tf_delta;
      56                 :            : 
      57                 :            :         /// Change in collection frequency.
      58                 :            :         Xapian::termcount_diff cf_delta;
      59                 :            : 
      60                 :            :         /// Changes to this term's postlist.
      61                 :            :         std::map<Xapian::docid, Xapian::termcount> pl_changes;
      62                 :            : 
      63                 :            :       public:
      64                 :            :         /// Constructor for an added posting.
      65                 :            :         PostingChanges(Xapian::docid did, Xapian::termcount wdf)
      66                 :            :             : tf_delta(1), cf_delta(Xapian::termcount_diff(wdf))
      67                 :            :         {
      68                 :            :             pl_changes.insert(std::make_pair(did, wdf));
      69                 :            :         }
      70                 :            : 
      71                 :            :         /// Constructor for a removed posting.
      72                 :            :         PostingChanges(Xapian::docid did, Xapian::termcount wdf, bool)
      73                 :            :             : tf_delta(-1), cf_delta(-Xapian::termcount_diff(wdf))
      74                 :            :         {
      75                 :            :             pl_changes.insert(std::make_pair(did, DELETED_POSTING));
      76                 :            :         }
      77                 :            : 
      78                 :            :         /// Constructor for an updated posting.
      79                 :            :         PostingChanges(Xapian::docid did, Xapian::termcount old_wdf,
      80                 :            :                        Xapian::termcount new_wdf)
      81                 :            :             : tf_delta(0), cf_delta(Xapian::termcount_diff(new_wdf - old_wdf))
      82                 :            :         {
      83                 :            :             pl_changes.insert(std::make_pair(did, new_wdf));
      84                 :            :         }
      85                 :            : 
      86                 :            :         /// Add a posting.
      87                 :            :         void add_posting(Xapian::docid did, Xapian::termcount wdf) {
      88                 :            :             ++tf_delta;
      89                 :            :             cf_delta += wdf;
      90                 :            :             // Add did to term's postlist
      91                 :            :             pl_changes[did] = wdf;
      92                 :            :         }
      93                 :            : 
      94                 :            :         /// Remove a posting.
      95                 :            :         void remove_posting(Xapian::docid did, Xapian::termcount wdf) {
      96                 :            :             --tf_delta;
      97                 :            :             cf_delta -= wdf;
      98                 :            :             // Remove did from term's postlist.
      99                 :            :             pl_changes[did] = DELETED_POSTING;
     100                 :            :         }
     101                 :            : 
     102                 :            :         /// Update a posting.
     103                 :            :         void update_posting(Xapian::docid did, Xapian::termcount old_wdf,
     104                 :            :                             Xapian::termcount new_wdf) {
     105                 :            :             cf_delta += new_wdf - old_wdf;
     106                 :            :             pl_changes[did] = new_wdf;
     107                 :            :         }
     108                 :            : 
     109                 :            :         /// Get the term frequency delta.
     110                 :            :         Xapian::termcount_diff get_tfdelta() const { return tf_delta; }
     111                 :            : 
     112                 :            :         /// Get the collection frequency delta.
     113                 :            :         Xapian::termcount_diff get_cfdelta() const { return cf_delta; }
     114                 :            :     };
     115                 :            : 
     116                 :            :     /// Buffered changes to postlists.
     117                 :            :     std::map<std::string, PostingChanges> postlist_changes;
     118                 :            : 
     119                 :            :     /// Buffered changes to positional data.
     120                 :            :     std::map<std::string, std::map<Xapian::docid, std::string>> pos_changes;
     121                 :            : 
     122                 :            :     void store_positions(const HoneyPositionTable & position_table,
     123                 :            :                          Xapian::docid did,
     124                 :            :                          const std::string & tname,
     125                 :            :                          const Xapian::VecCOW<Xapian::termpos> & posvec,
     126                 :            :                          bool modifying);
     127                 :            : 
     128                 :            :     void set_positionlist(Xapian::docid did,
     129                 :            :                           const std::string & term,
     130                 :            :                           const std::string & s);
     131                 :            : 
     132                 :            :   public:
     133                 :            :     /// Buffered changes to document lengths.
     134                 :            :     std::map<Xapian::docid, Xapian::termcount> doclen_changes;
     135                 :            : 
     136                 :            :   public:
     137                 :            :     void add_posting(Xapian::docid did, const std::string & term,
     138                 :            :                      Xapian::doccount wdf) {
     139                 :            :         std::map<std::string, PostingChanges>::iterator i;
     140                 :            :         i = postlist_changes.find(term);
     141                 :            :         if (i == postlist_changes.end()) {
     142                 :            :             postlist_changes.insert(
     143                 :            :                 std::make_pair(term, PostingChanges(did, wdf)));
     144                 :            :         } else {
     145                 :            :             i->second.add_posting(did, wdf);
     146                 :            :         }
     147                 :            :     }
     148                 :            : 
     149                 :            :     void remove_posting(Xapian::docid did, const std::string & term,
     150                 :            :                         Xapian::doccount wdf) {
     151                 :            :         std::map<std::string, PostingChanges>::iterator i;
     152                 :            :         i = postlist_changes.find(term);
     153                 :            :         if (i == postlist_changes.end()) {
     154                 :            :             postlist_changes.insert(
     155                 :            :                 std::make_pair(term, PostingChanges(did, wdf, false)));
     156                 :            :         } else {
     157                 :            :             i->second.remove_posting(did, wdf);
     158                 :            :         }
     159                 :            :     }
     160                 :            : 
     161                 :            :     void update_posting(Xapian::docid did, const std::string & term,
     162                 :            :                         Xapian::termcount old_wdf,
     163                 :            :                         Xapian::termcount new_wdf) {
     164                 :            :         std::map<std::string, PostingChanges>::iterator i;
     165                 :            :         i = postlist_changes.find(term);
     166                 :            :         if (i == postlist_changes.end()) {
     167                 :            :             postlist_changes.insert(
     168                 :            :                 std::make_pair(term, PostingChanges(did, old_wdf, new_wdf)));
     169                 :            :         } else {
     170                 :            :             i->second.update_posting(did, old_wdf, new_wdf);
     171                 :            :         }
     172                 :            :     }
     173                 :            : 
     174                 :            :     void set_positionlist(const HoneyPositionTable & position_table,
     175                 :            :                           Xapian::docid did,
     176                 :            :                           const std::string & tname,
     177                 :            :                           const Xapian::TermIterator & term,
     178                 :            :                           bool modifying = false);
     179                 :            : 
     180                 :            :     void delete_positionlist(Xapian::docid did,
     181                 :            :                              const std::string & term);
     182                 :            : 
     183                 :            :     bool get_positionlist(Xapian::docid did,
     184                 :            :                           const std::string & term,
     185                 :            :                           std::string & s) const;
     186                 :            : 
     187                 :            :     bool has_positions(const HoneyPositionTable & position_table) const;
     188                 :            : 
     189                 :            :     void clear() {
     190                 :            :         doclen_changes.clear();
     191                 :            :         postlist_changes.clear();
     192                 :            :         pos_changes.clear();
     193                 :            :     }
     194                 :            : 
     195                 :            :     void set_doclength(Xapian::docid did, Xapian::termcount doclen, bool add) {
     196                 :            :         if (add) {
     197                 :            :             Assert(doclen_changes.find(did) == doclen_changes.end() ||
     198                 :            :                    doclen_changes[did] == DELETED_POSTING);
     199                 :            :         }
     200                 :            :         doclen_changes[did] = doclen;
     201                 :            :     }
     202                 :            : 
     203                 :            :     void delete_doclength(Xapian::docid did) {
     204                 :            :         Assert(doclen_changes.find(did) == doclen_changes.end() ||
     205                 :            :                doclen_changes[did] != DELETED_POSTING);
     206                 :            :         doclen_changes[did] = DELETED_POSTING;
     207                 :            :     }
     208                 :            : 
     209                 :            :     bool get_doclength(Xapian::docid did, Xapian::termcount & doclen) const {
     210                 :            :         std::map<Xapian::docid, Xapian::termcount>::const_iterator i;
     211                 :            :         i = doclen_changes.find(did);
     212                 :            :         if (i == doclen_changes.end())
     213                 :            :             return false;
     214                 :            :         if (rare(i->second == DELETED_POSTING))
     215                 :            :             throw Xapian::DocNotFoundError("Document not found: " + str(did));
     216                 :            :         doclen = i->second;
     217                 :            :         return true;
     218                 :            :     }
     219                 :            : 
     220                 :            :     /// Flush document length changes.
     221                 :            :     void flush_doclengths(HoneyPostListTable & table);
     222                 :            : 
     223                 :            :     /// Flush postlist changes for @a term.
     224                 :            :     void flush_post_list(HoneyPostListTable & table, const std::string & term);
     225                 :            : 
     226                 :            :     /// Flush postlist changes for all terms.
     227                 :            :     void flush_all_post_lists(HoneyPostListTable & table);
     228                 :            : 
     229                 :            :     /// Flush postlist changes for all terms which start with @a pfx.
     230                 :            :     void flush_post_lists(HoneyPostListTable & table, const std::string & pfx);
     231                 :            : 
     232                 :            :     /// Flush all postlist table changes.
     233                 :            :     void flush(HoneyPostListTable & table);
     234                 :            : 
     235                 :            :     /// Flush position changes.
     236                 :            :     void flush_pos_lists(HoneyPositionTable & table);
     237                 :            : 
     238                 :            :     bool get_deltas(const std::string & term,
     239                 :            :                     Xapian::termcount_diff & tf_delta,
     240                 :            :                     Xapian::termcount_diff & cf_delta) const {
     241                 :            :         std::map<std::string, PostingChanges>::const_iterator i;
     242                 :            :         i = postlist_changes.find(term);
     243                 :            :         if (i == postlist_changes.end()) {
     244                 :            :             return false;
     245                 :            :         }
     246                 :            :         tf_delta = i->second.get_tfdelta();
     247                 :            :         cf_delta = i->second.get_cfdelta();
     248                 :            :         return true;
     249                 :            :     }
     250                 :            : };
     251                 :            : 
     252                 :            : #endif // XAPIAN_INCLUDED_HONEY_INVERTER_H

Generated by: LCOV version 1.11