LCOV - code coverage report
Current view: top level - backends/glass - glass_spelling.h (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core 954b5873a738 Lines: 28 28 100.0 %
Date: 2019-06-30 05:20:33 Functions: 13 13 100.0 %
Branches: 15 24 62.5 %

           Branch data     Line data    Source code
       1                 :            : /** @file glass_spelling.h
       2                 :            :  * @brief Spelling correction data for a glass database.
       3                 :            :  */
       4                 :            : /* Copyright (C) 2007,2008,2009,2010,2011,2014,2015,2016,2017 Olly Betts
       5                 :            :  *
       6                 :            :  * This program is free software; you can redistribute it and/or modify
       7                 :            :  * it under the terms of the GNU General Public License as published by
       8                 :            :  * the Free Software Foundation; either version 2 of the License, or
       9                 :            :  * (at your option) any later version.
      10                 :            :  *
      11                 :            :  * This program is distributed in the hope that it will be useful,
      12                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            :  * GNU General Public License for more details.
      15                 :            :  *
      16                 :            :  * You should have received a copy of the GNU General Public License
      17                 :            :  * along with this program; if not, write to the Free Software
      18                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
      19                 :            :  */
      20                 :            : 
      21                 :            : #ifndef XAPIAN_INCLUDED_GLASS_SPELLING_H
      22                 :            : #define XAPIAN_INCLUDED_GLASS_SPELLING_H
      23                 :            : 
      24                 :            : #include <xapian/types.h>
      25                 :            : 
      26                 :            : #include "glass_lazytable.h"
      27                 :            : #include "api/termlist.h"
      28                 :            : 
      29                 :            : #include <map>
      30                 :            : #include <set>
      31                 :            : #include <string>
      32                 :            : #include <cstring> // For memcpy() and memcmp().
      33                 :            : 
      34                 :            : namespace Glass {
      35                 :            : 
      36                 :            : class RootInfo;
      37                 :            : 
      38                 :            : struct fragment {
      39                 :            :     char data[4];
      40                 :            : 
      41                 :            :     // Default constructor.
      42                 :        254 :     fragment() { }
      43                 :            : 
      44                 :            :     // Allow implicit conversion.
      45                 :            :     explicit fragment(char data_[4]) { std::memcpy(data, data_, 4); }
      46                 :            : 
      47                 :       4608 :     char & operator[] (unsigned i) { return data[i]; }
      48                 :            :     const char & operator[] (unsigned i) const { return data[i]; }
      49                 :            : 
      50                 :       1522 :     operator std::string() const {
      51 [ +  + ][ +  - ]:       1522 :         return std::string(data, data[0] == 'M' ? 4 : 3);
      52                 :            :     }
      53                 :            : 
      54                 :       3371 :     bool operator<(const fragment &b) const {
      55                 :       3371 :         return std::memcmp(data, b.data, 4) < 0;
      56                 :            :     }
      57                 :            : };
      58                 :            : 
      59                 :            : }
      60                 :            : 
      61                 :            : using Glass::RootInfo;
      62                 :            : 
      63                 :       8256 : class GlassSpellingTable : public GlassLazyTable {
      64                 :            :     void toggle_word(const std::string & word);
      65                 :            :     void toggle_fragment(Glass::fragment frag, const std::string & word);
      66                 :            : 
      67                 :            :     std::map<std::string, Xapian::termcount> wordfreq_changes;
      68                 :            : 
      69                 :            :     /** Changes to make to the termlists.
      70                 :            :      *
      71                 :            :      *  This list is essentially xor-ed with the list on disk, so an entry
      72                 :            :      *  here either means a new entry needs to be added on disk, or an
      73                 :            :      *  existing entry on disk needs to be removed.  We do it this way so
      74                 :            :      *  we don't need to store an additional add/remove flag for every
      75                 :            :      *  word.
      76                 :            :      */
      77                 :            :     std::map<Glass::fragment, std::set<std::string>> termlist_deltas;
      78                 :            : 
      79                 :            :     /** Used to track an upper bound on wordfreq. */
      80                 :            :     Xapian::termcount wordfreq_upper_bound = 0;
      81                 :            : 
      82                 :            :   public:
      83                 :            :     /** Create a new GlassSpellingTable object.
      84                 :            :      *
      85                 :            :      *  This method does not create or open the table on disk - you
      86                 :            :      *  must call the create() or open() methods respectively!
      87                 :            :      *
      88                 :            :      *  @param dbdir            The directory the glass database is stored in.
      89                 :            :      *  @param readonly         true if we're opening read-only, else false.
      90                 :            :      */
      91                 :       3819 :     GlassSpellingTable(const std::string & dbdir, bool readonly)
      92 [ +  - ][ +  - ]:       3819 :         : GlassLazyTable("spelling", dbdir + "/spelling.", readonly) { }
                 [ +  - ]
      93                 :            : 
      94                 :        309 :     GlassSpellingTable(int fd, off_t offset_, bool readonly)
      95 [ +  - ][ +  - ]:        309 :         : GlassLazyTable("spelling", fd, offset_, readonly) { }
      96                 :            : 
      97                 :            :     /** Merge in batched-up changes.
      98                 :            :      *
      99                 :            :      *  @return Updated upperbound on the word frequency.
     100                 :            :      */
     101                 :            :     void merge_changes();
     102                 :            : 
     103                 :            :     void add_word(const std::string & word, Xapian::termcount freqinc);
     104                 :            :     Xapian::termcount remove_word(const std::string & word,
     105                 :            :                                   Xapian::termcount freqdec);
     106                 :            : 
     107                 :            :     TermList * open_termlist(const std::string & word);
     108                 :            : 
     109                 :            :     Xapian::doccount get_word_frequency(const std::string & word) const;
     110                 :            : 
     111                 :       3412 :     void set_wordfreq_upper_bound(Xapian::termcount ub) {
     112                 :       3412 :         wordfreq_upper_bound = ub;
     113                 :       3412 :     }
     114                 :            : 
     115                 :            :     /** Override methods of GlassTable.
     116                 :            :      *
     117                 :            :      *  NB: these aren't virtual, but we always call them on the subclass in
     118                 :            :      *  cases where it matters.
     119                 :            :      *  @{
     120                 :            :      */
     121                 :            : 
     122                 :       4159 :     bool is_modified() const {
     123 [ +  + ][ +  + ]:       4159 :         return !wordfreq_changes.empty() || GlassTable::is_modified();
     124                 :            :     }
     125                 :            : 
     126                 :            :     /** Returns updated wordfreq upper bound. */
     127                 :       9125 :     Xapian::termcount flush_db() {
     128                 :       9125 :         merge_changes();
     129                 :       9125 :         GlassTable::flush_db();
     130                 :       9125 :         return wordfreq_upper_bound;
     131                 :            :     }
     132                 :            : 
     133                 :        251 :     void cancel(const RootInfo & root_info, glass_revision_number_t rev) {
     134                 :            :         // Discard batched-up changes.
     135                 :        251 :         wordfreq_changes.clear();
     136                 :        251 :         termlist_deltas.clear();
     137                 :            : 
     138                 :        251 :         GlassTable::cancel(root_info, rev);
     139                 :        251 :     }
     140                 :            : 
     141                 :            :     // @}
     142                 :            : };
     143                 :            : 
     144                 :            : /** The list of words containing a particular trigram. */
     145         [ -  + ]:       1908 : class GlassSpellingTermList : public TermList {
     146                 :            :     /// The encoded data.
     147                 :            :     std::string data;
     148                 :            : 
     149                 :            :     /// Position in the data.
     150                 :            :     unsigned p;
     151                 :            : 
     152                 :            :     /// The current term.
     153                 :            :     std::string current_term;
     154                 :            : 
     155                 :            :     /// Copying is not allowed.
     156                 :            :     GlassSpellingTermList(const GlassSpellingTermList &);
     157                 :            : 
     158                 :            :     /// Assignment is not allowed.
     159                 :            :     void operator=(const GlassSpellingTermList &);
     160                 :            : 
     161                 :            :   public:
     162                 :            :     /// Constructor.
     163                 :        477 :     explicit GlassSpellingTermList(const std::string & data_)
     164 [ +  - ][ +  - ]:        477 :         : data(data_), p(0) { }
     165                 :            : 
     166                 :            :     Xapian::termcount get_approx_size() const;
     167                 :            : 
     168                 :            :     std::string get_termname() const;
     169                 :            : 
     170                 :            :     Xapian::termcount get_wdf() const;
     171                 :            : 
     172                 :            :     Xapian::doccount get_termfreq() const;
     173                 :            : 
     174                 :            :     Xapian::termcount get_collection_freq() const;
     175                 :            : 
     176                 :            :     TermList * next();
     177                 :            : 
     178                 :            :     TermList * skip_to(const std::string & term);
     179                 :            : 
     180                 :            :     bool at_end() const;
     181                 :            : 
     182                 :            :     Xapian::termcount positionlist_count() const;
     183                 :            : 
     184                 :            :     PositionList* positionlist_begin() const;
     185                 :            : };
     186                 :            : 
     187                 :            : #endif // XAPIAN_INCLUDED_GLASS_SPELLING_H

Generated by: LCOV version 1.11