LCOV - code coverage report
Current view: top level - backends/inmemory - inmemory_database.h (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core 954b5873a738 Lines: 32 32 100.0 %
Date: 2019-06-30 05:20:33 Functions: 24 25 96.0 %
Branches: 8 14 57.1 %

           Branch data     Line data    Source code
       1                 :            : /** @file inmemory_database.h
       2                 :            :  * @brief C++ class definition for inmemory database access
       3                 :            :  */
       4                 :            : /* Copyright 1999,2000,2001 BrightStation PLC
       5                 :            :  * Copyright 2002 Ananova Ltd
       6                 :            :  * Copyright 2002,2003,2004,2005,2006,2007,2008,2009,2010,2011,2014,2015 Olly Betts
       7                 :            :  * Copyright 2006,2009 Lemur Consulting Ltd
       8                 :            :  *
       9                 :            :  * This program is free software; you can redistribute it and/or
      10                 :            :  * modify it under the terms of the GNU General Public License as
      11                 :            :  * published by the Free Software Foundation; either version 2 of the
      12                 :            :  * License, or (at your option) any later version.
      13                 :            :  *
      14                 :            :  * This program is distributed in the hope that it will be useful,
      15                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      16                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      17                 :            :  * GNU General Public License for more details.
      18                 :            :  *
      19                 :            :  * You should have received a copy of the GNU General Public License
      20                 :            :  * along with this program; if not, write to the Free Software
      21                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301
      22                 :            :  * USA
      23                 :            :  */
      24                 :            : 
      25                 :            : #ifndef XAPIAN_INCLUDED_INMEMORY_DATABASE_H
      26                 :            : #define XAPIAN_INCLUDED_INMEMORY_DATABASE_H
      27                 :            : 
      28                 :            : #include "api/leafpostlist.h"
      29                 :            : #include "api/smallvector.h"
      30                 :            : #include "api/termlist.h"
      31                 :            : #include "backends/backends.h"
      32                 :            : #include "backends/databaseinternal.h"
      33                 :            : #include "backends/valuestats.h"
      34                 :            : #include <map>
      35                 :            : #include <vector>
      36                 :            : #include <algorithm>
      37                 :            : #include <xapian/document.h>
      38                 :            : #include "inmemory_positionlist.h"
      39                 :            : #include "internaltypes.h"
      40                 :            : #include "omassert.h"
      41                 :            : 
      42                 :            : using namespace std;
      43                 :            : 
      44                 :            : // Class representing a posting (a term/doc pair, and
      45                 :            : // all the relevant positional information, is a single posting)
      46                 :   15397950 : class InMemoryPosting {
      47                 :            :   public:
      48                 :            :     Xapian::docid did;
      49                 :            :     bool valid;
      50                 :            :     Xapian::VecCOW<Xapian::termpos> positions; // Sorted vector of positions
      51                 :            :     Xapian::termcount wdf;
      52                 :            : 
      53                 :            :     // Merge two postings (same term/doc pair, new positional info)
      54                 :     391446 :     void merge(const InMemoryPosting & post) {
      55                 :            :         Assert(did == post.did);
      56                 :            : 
      57                 :     391446 :         positions.reserve(positions.size() + post.positions.size());
      58         [ +  + ]:     782892 :         for (auto&& pos : post.positions) {
      59                 :     391446 :             positions.push_back(pos);
      60                 :            :         }
      61                 :            :         inplace_merge(positions.begin(),
      62                 :     391446 :                       positions.begin() + post.positions.size(),
      63                 :     782892 :                       positions.end());
      64                 :     391446 :     }
      65                 :            : };
      66                 :            : 
      67                 :   16348236 : class InMemoryTermEntry {
      68                 :            :   public:
      69                 :            :     string tname;
      70                 :            :     Xapian::VecCOW<Xapian::termpos> positions; // Sorted vector of positions
      71                 :            :     Xapian::termcount wdf;
      72                 :            : 
      73                 :            :     // Merge two postings (same term/doc pair, new positional info)
      74                 :     391446 :     void merge(const InMemoryTermEntry & post) {
      75                 :            :         Assert(tname == post.tname);
      76                 :            : 
      77                 :     391446 :         positions.reserve(positions.size() + post.positions.size());
      78         [ +  + ]:     782892 :         for (auto&& pos : post.positions) {
      79                 :     391446 :             positions.push_back(pos);
      80                 :            :         }
      81                 :            :         inplace_merge(positions.begin(),
      82                 :     391446 :                       positions.begin() + post.positions.size(),
      83                 :     782892 :                       positions.end());
      84                 :     391446 :     }
      85                 :            : };
      86                 :            : 
      87                 :            : // Compare by document ID
      88                 :            : class InMemoryPostingLessThan {
      89                 :            :   public:
      90                 :    7275947 :     int operator() (const InMemoryPosting &p1,
      91                 :            :                     const InMemoryPosting &p2) const
      92                 :            :     {
      93                 :    7275947 :         return p1.did < p2.did;
      94                 :            :     }
      95                 :            : };
      96                 :            : 
      97                 :            : // Compare by termname
      98                 :            : class InMemoryTermEntryLessThan {
      99                 :            :   public:
     100                 :    7651409 :     int operator() (const InMemoryTermEntry&p1,
     101                 :            :                     const InMemoryTermEntry&p2) const
     102                 :            :     {
     103                 :    7651409 :         return p1.tname < p2.tname;
     104                 :            :     }
     105                 :            : };
     106                 :            : 
     107                 :            : // Class representing a term and the documents indexing it
     108                 :     301120 : class InMemoryTerm {
     109                 :            :   public:
     110                 :            :     // Sorted list of documents indexing this term.
     111                 :            :     vector<InMemoryPosting> docs;
     112                 :            : 
     113                 :            :     Xapian::termcount term_freq;
     114                 :            :     Xapian::termcount collection_freq;
     115                 :            : 
     116                 :     298112 :     InMemoryTerm() : term_freq(0), collection_freq(0) {}
     117                 :            : 
     118                 :            :     void add_posting(InMemoryPosting&& post);
     119                 :            : };
     120                 :            : 
     121                 :            : /// Class representing a document and the terms indexing it.
     122                 :     749340 : class InMemoryDoc {
     123                 :            :   public:
     124                 :            :     bool is_valid;
     125                 :            :     // Sorted list of terms indexing this document.
     126                 :            :     vector<InMemoryTermEntry> terms;
     127                 :            : 
     128                 :            :     /* Initialise invalid by default, so that resizing the termlist array
     129                 :            :      * doesn't create valid documents. */
     130                 :      63634 :     InMemoryDoc() : is_valid(false) {}
     131                 :            : 
     132                 :            :     // Initialise specifying validity.
     133                 :     100670 :     explicit InMemoryDoc(bool is_valid_) : is_valid(is_valid_) {}
     134                 :            : 
     135                 :            :     void add_posting(InMemoryTermEntry&& post);
     136                 :            : };
     137                 :            : 
     138                 :            : class InMemoryDatabase;
     139                 :            : 
     140                 :            : /** A PostList in an inmemory database.
     141                 :            :  */
     142         [ -  + ]:     206056 : class InMemoryPostList : public LeafPostList {
     143                 :            :     friend class InMemoryDatabase;
     144                 :            : 
     145                 :            :   private:
     146                 :            :     vector<InMemoryPosting>::const_iterator pos;
     147                 :            :     vector<InMemoryPosting>::const_iterator end;
     148                 :            :     Xapian::doccount termfreq;
     149                 :            :     bool started;
     150                 :            : 
     151                 :            :     /** List of positions of the current term.
     152                 :            :      *  This list is populated when read_position_list() is called.
     153                 :            :      */
     154                 :            :     InMemoryPositionList mypositions;
     155                 :            : 
     156                 :            :     Xapian::Internal::intrusive_ptr<const InMemoryDatabase> db;
     157                 :            : 
     158                 :            :     InMemoryPostList(Xapian::Internal::intrusive_ptr<const InMemoryDatabase> db,
     159                 :            :                      const InMemoryTerm & imterm, const std::string & term_);
     160                 :            :   public:
     161                 :            :     Xapian::doccount get_termfreq() const;
     162                 :            : 
     163                 :            :     Xapian::docid get_docid() const;     // Gets current docid
     164                 :            :     Xapian::termcount get_wdf() const;     // Within Document Frequency
     165                 :            :     PositionList * read_position_list();
     166                 :            :     PositionList * open_position_list() const;
     167                 :            : 
     168                 :            :     PostList *next(double w_min); // Moves to next docid
     169                 :            : 
     170                 :            :     // Moves to next docid >= specified docid
     171                 :            :     PostList *skip_to(Xapian::docid did, double w_min);
     172                 :            : 
     173                 :            :     // True if we're off the end of the list.
     174                 :            :     bool at_end() const;
     175                 :            : 
     176                 :            :     string get_description() const;
     177                 :            : };
     178                 :            : 
     179                 :            : /** A PostList over all docs in an inmemory database.
     180                 :            :  */
     181         [ -  + ]:        264 : class InMemoryAllDocsPostList : public LeafPostList {
     182                 :            :     friend class InMemoryDatabase;
     183                 :            : 
     184                 :            :   private:
     185                 :            :     Xapian::docid did;
     186                 :            : 
     187                 :            :     Xapian::Internal::intrusive_ptr<const InMemoryDatabase> db;
     188                 :            : 
     189                 :            :     InMemoryAllDocsPostList(Xapian::Internal::intrusive_ptr<const InMemoryDatabase> db);
     190                 :            : 
     191                 :            :   public:
     192                 :            :     Xapian::doccount get_termfreq() const;
     193                 :            : 
     194                 :            :     Xapian::docid get_docid() const;     // Gets current docid
     195                 :            :     Xapian::termcount get_doclength() const; // Length of current document
     196                 :            :     // number of terms in current document
     197                 :            :     Xapian::termcount get_unique_terms() const;
     198                 :            :     Xapian::termcount get_wdf() const;       // Within Document Frequency
     199                 :            :     PositionList * read_position_list();
     200                 :            :     PositionList * open_position_list() const;
     201                 :            : 
     202                 :            :     PostList *next(double w_min);      // Moves to next docid
     203                 :            : 
     204                 :            :     // Moves to next docid >= specified docid
     205                 :            :     PostList *skip_to(Xapian::docid did, double w_min);
     206                 :            : 
     207                 :            :     // True if we're off the end of the list
     208                 :            :     bool at_end() const;
     209                 :            : 
     210                 :            :     string get_description() const;
     211                 :            : };
     212                 :            : 
     213                 :            : // Term List
     214         [ -  + ]:       2076 : class InMemoryTermList : public TermList {
     215                 :            :     friend class InMemoryDatabase;
     216                 :            : 
     217                 :            :   private:
     218                 :            :     vector<InMemoryTermEntry>::const_iterator pos;
     219                 :            :     vector<InMemoryTermEntry>::const_iterator end;
     220                 :            :     Xapian::termcount terms;
     221                 :            :     bool started;
     222                 :            : 
     223                 :            :     Xapian::Internal::intrusive_ptr<const InMemoryDatabase> db;
     224                 :            :     Xapian::docid did;
     225                 :            :     Xapian::termcount document_length;
     226                 :            : 
     227                 :            :     InMemoryTermList(Xapian::Internal::intrusive_ptr<const InMemoryDatabase> db,
     228                 :            :                      Xapian::docid did,
     229                 :            :                      const InMemoryDoc & doc,
     230                 :            :                      Xapian::termcount len);
     231                 :            : 
     232                 :            :   public:
     233                 :            :     Xapian::termcount get_approx_size() const;
     234                 :            : 
     235                 :            :     /// Collate weighting information for the current term.
     236                 :            :     void accumulate_stats(Xapian::Internal::ExpandStats & stats) const;
     237                 :            : 
     238                 :            :     string get_termname() const;
     239                 :            :     // Number of occurrences of term in current doc
     240                 :            :     Xapian::termcount get_wdf() const;
     241                 :            :     Xapian::doccount get_termfreq() const;  // Number of docs indexed by term
     242                 :            :     TermList * next();
     243                 :            :     TermList * skip_to(const std::string & term);
     244                 :            :     bool at_end() const;
     245                 :            :     Xapian::termcount positionlist_count() const;
     246                 :            :     PositionList* positionlist_begin() const;
     247                 :            : };
     248                 :            : 
     249                 :            : class InMemoryDocument;
     250                 :            : 
     251                 :            : /** A database held entirely in memory.
     252                 :            :  *
     253                 :            :  *  This is a prototype database, mainly used for debugging and testing.
     254                 :            :  */
     255                 :            : class InMemoryDatabase : public Xapian::Database::Internal {
     256                 :            :     friend class InMemoryAllDocsPostList;
     257                 :            :     friend class InMemoryDocument;
     258                 :            : 
     259                 :            :     map<string, InMemoryTerm> postlists;
     260                 :            :     vector<InMemoryDoc> termlists;
     261                 :            :     vector<std::string> doclists;
     262                 :            :     vector<std::map<Xapian::valueno, string>> valuelists;
     263                 :            :     std::map<Xapian::valueno, ValueStats> valuestats;
     264                 :            : 
     265                 :            :     vector<Xapian::termcount> doclengths;
     266                 :            : 
     267                 :            :     std::map<string, string> metadata;
     268                 :            : 
     269                 :            :     Xapian::doccount totdocs;
     270                 :            : 
     271                 :            :     Xapian::totallength totlen;
     272                 :            : 
     273                 :            :     bool positions_present;
     274                 :            : 
     275                 :            :     // Flag, true if the db has been closed.
     276                 :            :     bool closed;
     277                 :            : 
     278                 :            :     // Stop copy / assignment being allowed
     279                 :            :     InMemoryDatabase& operator=(const InMemoryDatabase &);
     280                 :            :     InMemoryDatabase(const InMemoryDatabase &);
     281                 :            : 
     282                 :            :     void make_term(const string & tname);
     283                 :            : 
     284                 :            :     bool doc_exists(Xapian::docid did) const;
     285                 :            :     Xapian::docid make_doc(const string & docdata);
     286                 :            : 
     287                 :            :     /* The common parts of add_doc and replace_doc */
     288                 :            :     void finish_add_doc(Xapian::docid did, const Xapian::Document& document);
     289                 :            :     void add_values(Xapian::docid did,
     290                 :            :                     const map<Xapian::valueno, string>& values_);
     291                 :            : 
     292                 :            :     void make_posting(InMemoryDoc * doc,
     293                 :            :                       const string & tname,
     294                 :            :                       Xapian::docid did,
     295                 :            :                       Xapian::termpos position,
     296                 :            :                       Xapian::termcount wdf,
     297                 :            :                       bool use_position = true);
     298                 :            : 
     299                 :            :     //@{
     300                 :            :     /** Implementation of virtual methods: see Database for details.
     301                 :            :      */
     302                 :            :     void commit();
     303                 :            :     void cancel();
     304                 :            : 
     305                 :            :     Xapian::docid add_document(const Xapian::Document & document);
     306                 :            :     // Stop the default implementation of delete_document(term) and
     307                 :            :     // replace_document(term) from being hidden.  This isn't really
     308                 :            :     // a problem as we only try to call them through the base class
     309                 :            :     // (where they aren't hidden) but some compilers generate a warning
     310                 :            :     // about the hiding.
     311                 :            :     using Xapian::Database::Internal::delete_document;
     312                 :            :     using Xapian::Database::Internal::replace_document;
     313                 :            :     void delete_document(Xapian::docid did);
     314                 :            :     void replace_document(Xapian::docid did, const Xapian::Document & document);
     315                 :            :     //@}
     316                 :            : 
     317                 :            :   public:
     318                 :            :     /** Create and open an in-memory database.
     319                 :            :      *
     320                 :            :      *  @exception Xapian::DatabaseOpeningError thrown if database can't be opened.
     321                 :            :      */
     322                 :            :     InMemoryDatabase();
     323                 :            : 
     324                 :            :     ~InMemoryDatabase();
     325                 :            : 
     326                 :            :     bool reopen();
     327                 :            :     void close();
     328                 :   78181962 :     bool is_closed() const { return closed; }
     329                 :            : 
     330                 :            :     Xapian::doccount get_doccount() const;
     331                 :            : 
     332                 :            :     Xapian::docid get_lastdocid() const;
     333                 :            : 
     334                 :            :     Xapian::totallength get_total_length() const;
     335                 :            :     Xapian::termcount get_doclength(Xapian::docid did) const;
     336                 :            :     Xapian::termcount get_unique_terms(Xapian::docid did) const;
     337                 :            : 
     338                 :            :     void get_freqs(const string & term,
     339                 :            :                    Xapian::doccount * termfreq_ptr,
     340                 :            :                    Xapian::termcount * collfreq_ptr) const;
     341                 :            :     Xapian::doccount get_value_freq(Xapian::valueno slot) const;
     342                 :            :     std::string get_value_lower_bound(Xapian::valueno slot) const;
     343                 :            :     std::string get_value_upper_bound(Xapian::valueno slot) const;
     344                 :            :     Xapian::termcount get_doclength_lower_bound() const;
     345                 :            :     Xapian::termcount get_doclength_upper_bound() const;
     346                 :            :     Xapian::termcount get_wdf_upper_bound(const std::string& term) const;
     347                 :            :     bool term_exists(const string & tname) const;
     348                 :            :     bool has_positions() const;
     349                 :            : 
     350                 :            :     PostList * open_post_list(const string & tname) const;
     351                 :            :     LeafPostList* open_leaf_post_list(const string& term,
     352                 :            :                                       bool need_read_pos) const;
     353                 :            :     TermList * open_term_list(Xapian::docid did) const;
     354                 :            :     TermList * open_term_list_direct(Xapian::docid did) const;
     355                 :            :     Xapian::Document::Internal* open_document(Xapian::docid did,
     356                 :            :                                               bool lazy) const;
     357                 :            : 
     358                 :            :     std::string get_metadata(const std::string & key) const;
     359                 :            :     TermList * open_metadata_keylist(const std::string &prefix) const;
     360                 :            :     void set_metadata(const std::string & key, const std::string & value);
     361                 :            : 
     362                 :            :     Xapian::termcount positionlist_count(Xapian::docid did,
     363                 :            :                                          const string & tname) const;
     364                 :            :     PositionList * open_position_list(Xapian::docid did,
     365                 :            :                                       const string & tname) const;
     366                 :            :     TermList * open_allterms(const string & prefix) const;
     367                 :            : 
     368                 :            :     [[noreturn]]
     369                 :            :     static void throw_database_closed();
     370                 :            : 
     371                 :      28750 :     int get_backend_info(string * path) const {
     372 [ -  + ][ #  # ]:      28750 :         if (path) *path = string();
     373                 :      28750 :         return BACKEND_INMEMORY;
     374                 :            :     }
     375                 :            : 
     376                 :            :     std::string get_description() const;
     377                 :            : };
     378                 :            : 
     379                 :            : #ifdef DISABLE_GPL_LIBXAPIAN
     380                 :            : # error GPL source we cannot relicense included in libxapian
     381                 :            : #endif
     382                 :            : 
     383                 :            : #endif /* XAPIAN_INCLUDED_INMEMORY_DATABASE_H */

Generated by: LCOV version 1.11