LCOV - code coverage report
Current view: top level - backends/glass - glass_termlist.cc (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core c2b6f1024d3a Lines: 63 74 85.1 %
Date: 2019-05-16 09:13:18 Functions: 13 13 100.0 %
Branches: 35 70 50.0 %

           Branch data     Line data    Source code
       1                 :            : /** @file glass_termlist.cc
       2                 :            :  * @brief Termlists in a glass database
       3                 :            :  */
       4                 :            : /* Copyright 1999,2000,2001 BrightStation PLC
       5                 :            :  * Copyright 2002 Ananova Ltd
       6                 :            :  * Copyright 2002,2003,2004,2006,2007,2008,2009,2010,2014,2019 Olly Betts
       7                 :            :  *
       8                 :            :  * This program is free software; you can redistribute it and/or
       9                 :            :  * modify it under the terms of the GNU General Public License as
      10                 :            :  * published by the Free Software Foundation; either version 2 of the
      11                 :            :  * License, or (at your option) any later version.
      12                 :            :  *
      13                 :            :  * This program is distributed in the hope that it will be useful,
      14                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      15                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      16                 :            :  * GNU General Public License for more details.
      17                 :            :  *
      18                 :            :  * You should have received a copy of the GNU General Public License
      19                 :            :  * along with this program; if not, write to the Free Software
      20                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301
      21                 :            :  * USA
      22                 :            :  */
      23                 :            : 
      24                 :            : #include <config.h>
      25                 :            : #include "glass_termlist.h"
      26                 :            : 
      27                 :            : #include "xapian/error.h"
      28                 :            : 
      29                 :            : #include "expand/expandweight.h"
      30                 :            : #include "glass_positionlist.h"
      31                 :            : #include "debuglog.h"
      32                 :            : #include "omassert.h"
      33                 :            : #include "pack.h"
      34                 :            : #include "str.h"
      35                 :            : 
      36                 :            : using namespace std;
      37                 :            : using Xapian::Internal::intrusive_ptr;
      38                 :            : 
      39                 :     134086 : GlassTermList::GlassTermList(intrusive_ptr<const GlassDatabase> db_,
      40                 :            :                              Xapian::docid did_,
      41                 :            :                              bool throw_if_not_present)
      42 [ +  - ][ +  - ]:     158164 :         : db(db_), did(did_), current_wdf(0), current_termfreq(0)
      43                 :            : {
      44                 :            :     LOGCALL_CTOR(DB, "GlassTermList", db_ | did_ | throw_if_not_present);
      45                 :            : 
      46         [ +  + ]:     268156 :     if (!db->termlist_table.get_exact_entry(GlassTermListTable::make_key(did),
      47   [ +  -  +  + ]:     268172 :                                             data)) {
      48         [ +  + ]:      24083 :         if (!throw_if_not_present) {
      49                 :         21 :             pos = NULL;
      50                 :         21 :             return;
      51                 :            :         }
      52 [ +  - ][ +  - ]:      24062 :         throw Xapian::DocNotFoundError("No termlist for document " + str(did));
         [ +  - ][ +  - ]
      53                 :            :     }
      54                 :            : 
      55                 :     109987 :     pos = data.data();
      56                 :     109987 :     end = pos + data.size();
      57                 :            : 
      58         [ +  + ]:     109987 :     if (pos == end) {
      59                 :      12141 :         doclen = 0;
      60                 :      12141 :         termlist_size = 0;
      61                 :      12141 :         return;
      62                 :            :     }
      63                 :            : 
      64                 :            :     // Read doclen
      65         [ -  + ]:      97846 :     if (!unpack_uint(&pos, end, &doclen)) {
      66                 :            :         const char *msg;
      67         [ #  # ]:          0 :         if (pos == 0) {
      68                 :          0 :             msg = "Too little data for doclen in termlist";
      69                 :            :         } else {
      70                 :          0 :             msg = "Overflowed value for doclen in termlist";
      71                 :            :         }
      72 [ #  # ][ #  # ]:          0 :         throw Xapian::DatabaseCorruptError(msg);
                 [ #  # ]
      73                 :            :     }
      74                 :            : 
      75                 :            :     // Read termlist_size
      76         [ -  + ]:      97846 :     if (!unpack_uint(&pos, end, &termlist_size)) {
      77                 :            :         const char *msg;
      78         [ #  # ]:          0 :         if (pos == 0) {
      79                 :          0 :             msg = "Too little data for list size in termlist";
      80                 :            :         } else {
      81                 :          0 :             msg = "Overflowed value for list size in termlist";
      82                 :            :         }
      83 [ #  # ][ #  # ]:     110008 :         throw Xapian::DatabaseCorruptError(msg);
                 [ #  # ]
      84                 :            :     }
      85                 :            : }
      86                 :            : 
      87                 :            : Xapian::termcount
      88                 :      25202 : GlassTermList::get_doclength() const
      89                 :            : {
      90                 :            :     LOGCALL(DB, Xapian::termcount, "GlassTermList::get_doclength", NO_ARGS);
      91                 :      25202 :     RETURN(doclen);
      92                 :            : }
      93                 :            : 
      94                 :            : Xapian::termcount
      95                 :      21749 : GlassTermList::get_unique_terms() const
      96                 :            : {
      97                 :            :     LOGCALL(DB, Xapian::termcount, "GlassTermList::get_unique_terms", NO_ARGS);
      98                 :            :     // get_unique_terms() really ought to only count terms with wdf > 0, but
      99                 :            :     // that's expensive to calculate on demand, so for now let's just ensure
     100                 :            :     // unique_terms <= doclen.
     101                 :      21749 :     RETURN(min(termlist_size, doclen));
     102                 :            : }
     103                 :            : 
     104                 :            : Xapian::termcount
     105                 :      21362 : GlassTermList::get_approx_size() const
     106                 :            : {
     107                 :            :     LOGCALL(DB, Xapian::termcount, "GlassTermList::get_approx_size", NO_ARGS);
     108                 :      21362 :     RETURN(termlist_size);
     109                 :            : }
     110                 :            : 
     111                 :            : void
     112                 :       4012 : GlassTermList::accumulate_stats(Xapian::Internal::ExpandStats & stats) const
     113                 :            : {
     114                 :            :     LOGCALL_VOID(DB, "GlassTermList::accumulate_stats", stats);
     115                 :            :     Assert(!at_end());
     116                 :       4012 :     stats.accumulate(current_wdf, doclen, get_termfreq(), db->get_doccount());
     117                 :       4012 : }
     118                 :            : 
     119                 :            : string
     120                 :     165991 : GlassTermList::get_termname() const
     121                 :            : {
     122                 :            :     LOGCALL(DB, string, "GlassTermList::get_termname", NO_ARGS);
     123                 :     165991 :     RETURN(current_term);
     124                 :            : }
     125                 :            : 
     126                 :            : Xapian::termcount
     127                 :     132571 : GlassTermList::get_wdf() const
     128                 :            : {
     129                 :            :     LOGCALL(DB, Xapian::termcount, "GlassTermList::get_wdf", NO_ARGS);
     130                 :     132571 :     RETURN(current_wdf);
     131                 :            : }
     132                 :            : 
     133                 :            : Xapian::doccount
     134                 :      57705 : GlassTermList::get_termfreq() const
     135                 :            : {
     136                 :            :     LOGCALL(DB, Xapian::doccount, "GlassTermList::get_termfreq", NO_ARGS);
     137         [ +  + ]:      57705 :     if (current_termfreq == 0)
     138                 :      57703 :         db->get_freqs(current_term, &current_termfreq, NULL);
     139                 :      57701 :     RETURN(current_termfreq);
     140                 :            : }
     141                 :            : 
     142                 :            : TermList *
     143                 :     159598 : GlassTermList::next()
     144                 :            : {
     145                 :            :     LOGCALL(DB, TermList *, "GlassTermList::next", NO_ARGS);
     146                 :            :     Assert(!at_end());
     147         [ +  + ]:     159598 :     if (pos == end) {
     148                 :      67631 :         pos = NULL;
     149                 :      67631 :         RETURN(NULL);
     150                 :            :     }
     151                 :            : 
     152                 :            :     // Reset to 0 to indicate that the termfreq needs to be read.
     153                 :      91967 :     current_termfreq = 0;
     154                 :            : 
     155                 :      91967 :     bool wdf_in_reuse = false;
     156         [ +  + ]:      91967 :     if (!current_term.empty()) {
     157                 :            :         // Find out how much of the previous term to reuse.
     158                 :      36249 :         size_t len = static_cast<unsigned char>(*pos++);
     159         [ +  + ]:      36249 :         if (len > current_term.size()) {
     160                 :            :             // The wdf is also stored in the "reuse" byte.
     161                 :      36231 :             wdf_in_reuse = true;
     162                 :      36231 :             size_t divisor = current_term.size() + 1;
     163                 :      36231 :             current_wdf = len / divisor - 1;
     164                 :      36231 :             len %= divisor;
     165                 :            :         }
     166                 :      36249 :         current_term.resize(len);
     167                 :            :     }
     168                 :            : 
     169                 :            :     // Append the new tail to form the next term.
     170                 :      91967 :     size_t append_len = static_cast<unsigned char>(*pos++);
     171                 :      91967 :     current_term.append(pos, append_len);
     172                 :      91967 :     pos += append_len;
     173                 :            : 
     174                 :            :     // Read the wdf if it wasn't packed into the reuse byte.
     175 [ +  + ][ -  + ]:      91967 :     if (!wdf_in_reuse && !unpack_uint(&pos, end, &current_wdf)) {
                 [ -  + ]
     176                 :            :         const char *msg;
     177         [ #  # ]:          0 :         if (pos == 0) {
     178                 :          0 :             msg = "Too little data for wdf in termlist";
     179                 :            :         } else {
     180                 :          0 :             msg = "Overflowed value for wdf in termlist";
     181                 :            :         }
     182 [ #  # ][ #  # ]:          0 :         throw Xapian::DatabaseCorruptError(msg);
                 [ #  # ]
     183                 :            :     }
     184                 :            : 
     185                 :     159598 :     RETURN(NULL);
     186                 :            : }
     187                 :            : 
     188                 :            : TermList *
     189                 :        374 : GlassTermList::skip_to(const string & term)
     190                 :            : {
     191                 :            :     LOGCALL(API, TermList *, "GlassTermList::skip_to", term);
     192 [ +  + ][ +  + ]:       2426 :     while (pos != NULL && current_term < term) {
                 [ +  + ]
     193                 :       2052 :         (void)GlassTermList::next();
     194                 :            :     }
     195                 :        374 :     RETURN(NULL);
     196                 :            : }
     197                 :            : 
     198                 :            : bool
     199                 :     171311 : GlassTermList::at_end() const
     200                 :            : {
     201                 :            :     LOGCALL(DB, bool, "GlassTermList::at_end", NO_ARGS);
     202                 :     171311 :     RETURN(pos == NULL);
     203                 :            : }
     204                 :            : 
     205                 :            : Xapian::termcount
     206                 :      24491 : GlassTermList::positionlist_count() const
     207                 :            : {
     208                 :            :     LOGCALL(DB, Xapian::termcount, "GlassTermList::positionlist_count", NO_ARGS);
     209                 :      24491 :     RETURN(db->positionlist_count(did, current_term));
     210                 :            : }
     211                 :            : 
     212                 :            : PositionList*
     213                 :      49015 : GlassTermList::positionlist_begin() const
     214                 :            : {
     215                 :            :     LOGCALL(DB, PositionList*, "GlassTermList::positionlist_begin", NO_ARGS);
     216                 :      49015 :     RETURN(db->open_position_list(did, current_term));
     217                 :            : }
     218                 :            : 
     219                 :            : #ifdef DISABLE_GPL_LIBXAPIAN
     220                 :            : # error GPL source we cannot relicense included in libxapian
     221                 :            : #endif

Generated by: LCOV version 1.11