LCOV - code coverage report
Current view: top level - backends/glass - glass_inverter.cc (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core 7028d852e609 Lines: 112 117 95.7 %
Date: 2019-02-17 14:59:59 Functions: 12 12 100.0 %
Branches: 95 150 63.3 %

           Branch data     Line data    Source code
       1                 :            : /** @file glass_inverter.cc
       2                 :            :  * @brief Inverter class which "inverts the file".
       3                 :            :  */
       4                 :            : /* Copyright (C) 2009,2013 Olly Betts
       5                 :            :  *
       6                 :            :  * This program is free software; you can redistribute it and/or modify
       7                 :            :  * it under the terms of the GNU General Public License as published by
       8                 :            :  * the Free Software Foundation; either version 2 of the License, or
       9                 :            :  * (at your option) any later version.
      10                 :            :  *
      11                 :            :  * This program is distributed in the hope that it will be useful,
      12                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            :  * GNU General Public License for more details.
      15                 :            :  *
      16                 :            :  * You should have received a copy of the GNU General Public License
      17                 :            :  * along with this program; if not, write to the Free Software
      18                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
      19                 :            :  */
      20                 :            : 
      21                 :            : #include <config.h>
      22                 :            : 
      23                 :            : #include "glass_inverter.h"
      24                 :            : 
      25                 :            : #include "glass_postlist.h"
      26                 :            : #include "glass_positionlist.h"
      27                 :            : 
      28                 :            : #include "api/termlist.h"
      29                 :            : 
      30                 :            : #include <map>
      31                 :            : #include <string>
      32                 :            : 
      33                 :            : using namespace std;
      34                 :            : 
      35                 :            : void
      36                 :    1772238 : Inverter::store_positions(const GlassPositionListTable & position_table,
      37                 :            :                           Xapian::docid did,
      38                 :            :                           const string & tname,
      39                 :            :                           const Xapian::VecCOW<Xapian::termpos> & posvec,
      40                 :            :                           bool modifying)
      41                 :            : {
      42         [ +  - ]:    1772238 :     string s;
      43         [ +  - ]:    1772238 :     position_table.pack(s, posvec);
      44         [ +  + ]:    1772238 :     if (modifying) {
      45         [ +  - ]:         56 :         auto i = pos_changes.find(tname);
      46         [ +  + ]:         56 :         if (i != pos_changes.end()) {
      47                 :         32 :             map<Xapian::docid, string> & m = i->second;
      48         [ +  - ]:         32 :             auto j = m.find(did);
      49         [ +  - ]:         32 :             if (j != m.end()) {
      50                 :            :                 // Update existing entry.
      51         [ +  - ]:         32 :                 swap(j->second, s);
      52                 :         32 :                 return;
      53                 :            :             }
      54                 :            :         }
      55         [ +  - ]:         24 :         const string & key = position_table.make_key(did, tname);
      56 [ +  - ][ -  + ]:         48 :         string old_tag;
      57 [ +  - ][ +  - ]:         24 :         if (position_table.get_exact_entry(key, old_tag) && s == old_tag) {
         [ +  - ][ +  - ]
      58                 :            :             // Identical to existing entry on disk.
      59         [ -  + ]:         24 :             return;
      60                 :         56 :         }
      61                 :            :     }
      62 [ +  - ][ +  + ]:    1772238 :     set_positionlist(did, tname, s);
      63                 :            : }
      64                 :            : 
      65                 :            : void
      66                 :    1980716 : Inverter::set_positionlist(const GlassPositionListTable & position_table,
      67                 :            :                            Xapian::docid did,
      68                 :            :                            const string & tname,
      69                 :            :                            const Xapian::TermIterator & term,
      70                 :            :                            bool modifying)
      71                 :            : {
      72                 :    1980716 :     auto ptr = term.internal->get_vec_termpos();
      73         [ +  + ]:    1980716 :     if (ptr) {
      74         [ +  + ]:    1980714 :         if (!ptr->empty()) {
      75                 :    1772236 :             store_positions(position_table, did, tname, *ptr, modifying);
      76                 :    1772236 :             return;
      77                 :            :         }
      78                 :            :     } else {
      79         [ +  - ]:          2 :         Xapian::PositionIterator pos = term.positionlist_begin();
      80         [ +  - ]:          2 :         if (pos != term.positionlist_end()) {
      81                 :          2 :             Xapian::VecCOW<Xapian::termpos> posvec;
      82 [ +  - ][ +  - ]:          2 :             posvec.reserve(term.positionlist_count());
      83         [ +  + ]:          4 :             while (pos != term.positionlist_end()) {
      84 [ +  - ][ +  - ]:          2 :                 posvec.push_back(*pos);
      85         [ +  - ]:          2 :                 ++pos;
      86                 :            :             }
      87         [ +  - ]:          2 :             store_positions(position_table, did, tname, posvec, modifying);
      88         [ -  + ]:          2 :             return;
      89                 :          2 :         }
      90                 :            :     }
      91                 :            :     // If we get here, the new position list was empty.
      92         [ +  + ]:     208478 :     if (modifying)
      93                 :    1980716 :         delete_positionlist(did, tname);
      94                 :            : }
      95                 :            : 
      96                 :            : void
      97                 :    1801099 : Inverter::set_positionlist(Xapian::docid did,
      98                 :            :                            const string & term,
      99                 :            :                            const string & s)
     100                 :            : {
     101         [ +  - ]:    3602198 :     pos_changes.insert(make_pair(term, map<Xapian::docid, string>()))
     102 [ +  - ][ +  - ]:    1801099 :         .first->second[did] = s;
                 [ +  - ]
     103                 :    1801099 : }
     104                 :            : 
     105                 :            : void
     106                 :      28917 : Inverter::delete_positionlist(Xapian::docid did,
     107                 :            :                               const string & term)
     108                 :            : {
     109         [ +  - ]:      28917 :     set_positionlist(did, term, string());
     110                 :      28917 : }
     111                 :            : 
     112                 :            : bool
     113                 :       1432 : Inverter::get_positionlist(Xapian::docid did,
     114                 :            :                            const string & term,
     115                 :            :                            string & s) const
     116                 :            : {
     117         [ +  - ]:       1432 :     auto i = pos_changes.find(term);
     118         [ +  + ]:       1432 :     if (i == pos_changes.end())
     119                 :        470 :         return false;
     120                 :        962 :     const map<Xapian::docid, string> & m = i->second;
     121         [ +  - ]:        962 :     auto j = m.find(did);
     122         [ -  + ]:        962 :     if (j == m.end())
     123                 :          0 :         return false;
     124         [ +  - ]:        962 :     s = j->second;
     125                 :       1432 :     return true;
     126                 :            : }
     127                 :            : 
     128                 :            : bool
     129                 :      13940 : Inverter::has_positions(const GlassPositionListTable & position_table) const
     130                 :            : {
     131         [ +  + ]:      13940 :     if (pos_changes.empty())
     132                 :      13808 :         return !position_table.empty();
     133                 :            : 
     134                 :            :     // FIXME: Can we cheaply keep track of some things to make this more
     135                 :            :     // efficient?  E.g. how many sets and deletes we had in total perhaps.
     136                 :        132 :     glass_tablesize_t changes = 0;
     137 [ +  - ][ +  + ]:       1731 :     for (auto i : pos_changes) {
     138                 :       1644 :         const map<Xapian::docid, string>& m = i.second;
     139 [ +  - ][ +  + ]:       4376 :         for (auto j : m) {
                 [ +  + ]
     140                 :       2732 :             const string & s = j.second;
     141         [ +  + ]:       2732 :             if (!s.empty())
     142                 :         45 :                 return true;
     143         [ +  + ]:       2732 :             ++changes;
     144                 :       2687 :         }
     145                 :       1599 :     }
     146                 :            : 
     147                 :            :     // We have positions unless all the existing entries are removed.
     148                 :      13940 :     return changes != position_table.get_entry_count();
     149                 :            : }
     150                 :            : 
     151                 :            : void
     152                 :       9046 : Inverter::flush_doclengths(GlassPostListTable & table)
     153                 :            : {
     154                 :       9046 :     table.merge_doclen_changes(doclen_changes);
     155                 :       9046 :     doclen_changes.clear();
     156                 :       9046 : }
     157                 :            : 
     158                 :            : void
     159                 :        909 : Inverter::flush_post_list(GlassPostListTable & table, const string & term)
     160                 :            : {
     161                 :        909 :     map<string, PostingChanges>::iterator i;
     162         [ +  - ]:        909 :     i = postlist_changes.find(term);
     163         [ +  + ]:       1009 :     if (i == postlist_changes.end()) return;
     164                 :            : 
     165                 :            :     // Flush buffered changes for just this term's postlist.
     166         [ +  - ]:        100 :     table.merge_changes(term, i->second);
     167         [ +  - ]:        100 :     postlist_changes.erase(i);
     168                 :            : }
     169                 :            : 
     170                 :            : void
     171                 :       9068 : Inverter::flush_all_post_lists(GlassPostListTable & table)
     172                 :            : {
     173                 :       9068 :     map<string, PostingChanges>::const_iterator i;
     174         [ +  + ]:     342534 :     for (i = postlist_changes.begin(); i != postlist_changes.end(); ++i) {
     175         [ +  + ]:     333476 :         table.merge_changes(i->first, i->second);
     176                 :            :     }
     177                 :       9058 :     postlist_changes.clear();
     178                 :       9058 : }
     179                 :            : 
     180                 :            : void
     181                 :        124 : Inverter::flush_post_lists(GlassPostListTable & table, const string & pfx)
     182                 :            : {
     183         [ +  + ]:        124 :     if (pfx.empty())
     184         [ +  - ]:        124 :         return flush_all_post_lists(table);
     185                 :            : 
     186                 :         56 :     map<string, PostingChanges>::iterator i, begin, end;
     187         [ +  - ]:         56 :     begin = postlist_changes.lower_bound(pfx);
     188         [ +  - ]:         56 :     string pfxinc = pfx;
     189                 :            :     while (true) {
     190 [ +  - ][ +  - ]:         56 :         if (pfxinc.back() != '\xff') {
     191         [ +  - ]:         56 :             ++pfxinc.back();
     192         [ +  - ]:         56 :             end = postlist_changes.lower_bound(pfxinc);
     193                 :         56 :             break;
     194                 :            :         }
     195         [ #  # ]:          0 :         pfxinc.resize(pfxinc.size() - 1);
     196         [ #  # ]:          0 :         if (pfxinc.empty()) {
     197                 :          0 :             end = postlist_changes.end();
     198                 :          0 :             break;
     199                 :            :         }
     200                 :            :     }
     201                 :            : 
     202         [ +  + ]:         84 :     for (i = begin; i != end; ++i) {
     203         [ +  - ]:         28 :         table.merge_changes(i->first, i->second);
     204                 :            :     }
     205                 :            : 
     206                 :            :     // Erase all the entries in one go, as that's:
     207                 :            :     //  O(log(postlist_changes.size()) + O(number of elements removed)
     208         [ +  - ]:         56 :     postlist_changes.erase(begin, end);
     209                 :            : }
     210                 :            : 
     211                 :            : void
     212                 :       9000 : Inverter::flush(GlassPostListTable & table)
     213                 :            : {
     214                 :       9000 :     flush_doclengths(table);
     215                 :       9000 :     flush_all_post_lists(table);
     216                 :       8990 : }
     217                 :            : 
     218                 :            : void
     219                 :       8990 : Inverter::flush_pos_lists(GlassPositionListTable & table)
     220                 :            : {
     221 [ +  - ][ +  + ]:     171986 :     for (auto i : pos_changes) {
     222                 :     162996 :         const string & term = i.first;
     223                 :     162996 :         const map<Xapian::docid, string> & m = i.second;
     224 [ +  - ][ +  + ]:    1963758 :         for (auto j : m) {
     225                 :    1800762 :             Xapian::docid did = j.first;
     226                 :    1800762 :             const string & s = j.second;
     227         [ +  + ]:    1800762 :             if (!s.empty())
     228         [ +  - ]:    1772087 :                 table.set_positionlist(did, term, s);
     229                 :            :             else
     230         [ +  - ]:      28675 :                 table.delete_positionlist(did, term);
     231                 :    1800762 :         }
     232                 :     162996 :     }
     233                 :       8990 :     pos_changes.clear();
     234                 :       8990 : }

Generated by: LCOV version 1.11