LCOV - code coverage report
Current view: top level - backends/glass - glass_version.h (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core c2b6f1024d3a Lines: 68 71 95.8 %
Date: 2019-05-16 09:13:18 Functions: 41 42 97.6 %
Branches: 12 34 35.3 %

           Branch data     Line data    Source code
       1                 :            : /** @file glass_version.h
       2                 :            :  * @brief GlassVersion class
       3                 :            :  */
       4                 :            : /* Copyright (C) 2006,2007,2008,2009,2010,2013,2014,2015,2016,2018 Olly Betts
       5                 :            :  * Copyright (C) 2011 Dan Colish
       6                 :            :  *
       7                 :            :  * This program is free software; you can redistribute it and/or modify
       8                 :            :  * it under the terms of the GNU General Public License as published by
       9                 :            :  * the Free Software Foundation; either version 2 of the License, or
      10                 :            :  * (at your option) any later version.
      11                 :            :  *
      12                 :            :  * This program is distributed in the hope that it will be useful,
      13                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      14                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      15                 :            :  * GNU General Public License for more details.
      16                 :            :  *
      17                 :            :  * You should have received a copy of the GNU General Public License
      18                 :            :  * along with this program; if not, write to the Free Software
      19                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
      20                 :            :  */
      21                 :            : 
      22                 :            : #ifndef XAPIAN_INCLUDED_GLASS_VERSION_H
      23                 :            : #define XAPIAN_INCLUDED_GLASS_VERSION_H
      24                 :            : 
      25                 :            : #include "glass_changes.h"
      26                 :            : #include "glass_defs.h"
      27                 :            : 
      28                 :            : #include "omassert.h"
      29                 :            : 
      30                 :            : #include <algorithm>
      31                 :            : #include <cstring>
      32                 :            : #include <string>
      33                 :            : 
      34                 :            : #include "backends/uuids.h"
      35                 :            : #include "internaltypes.h"
      36                 :            : #include "min_non_zero.h"
      37                 :            : #include "xapian/types.h"
      38                 :            : 
      39                 :            : namespace Glass {
      40                 :            : 
      41                 :     362968 : class RootInfo {
      42                 :            :     glass_block_t root;
      43                 :            :     unsigned level;
      44                 :            :     glass_tablesize_t num_entries;
      45                 :            :     bool root_is_fake;
      46                 :            :     bool sequential;
      47                 :            :     unsigned blocksize;
      48                 :            :     /// Should be >= 4 or 0 for no compression.
      49                 :            :     uint4 compress_min;
      50                 :            :     std::string fl_serialised;
      51                 :            : 
      52                 :            :   public:
      53                 :            :     void init(unsigned blocksize_, uint4 compress_min_);
      54                 :            : 
      55                 :            :     void serialise(std::string &s) const;
      56                 :            : 
      57                 :            :     bool unserialise(const char ** p, const char * end);
      58                 :            : 
      59                 :      72876 :     glass_block_t get_root() const { return root; }
      60                 :      36054 :     int get_level() const { return int(level); }
      61                 :      36054 :     glass_tablesize_t get_num_entries() const { return num_entries; }
      62                 :      36054 :     bool get_root_is_fake() const { return root_is_fake; }
      63                 :      36054 :     bool get_sequential() const { return sequential; }
      64                 :      25508 :     unsigned get_blocksize() const {
      65                 :            :         AssertRel(blocksize,>=,GLASS_MIN_BLOCKSIZE);
      66                 :            :         AssertRel(blocksize,<=,GLASS_MAX_BLOCKSIZE);
      67                 :      25508 :         return blocksize;
      68                 :            :     }
      69                 :      41162 :     uint4 get_compress_min() const { return compress_min; }
      70                 :      36290 :     const std::string & get_free_list() const { return fl_serialised; }
      71                 :            : 
      72                 :      54785 :     void set_level(int level_) { level = unsigned(level_); }
      73                 :      54785 :     void set_num_entries(glass_tablesize_t n) { num_entries = n; }
      74                 :      54785 :     void set_root_is_fake(bool f) { root_is_fake = f; }
      75                 :      54785 :     void set_sequential(bool f) { sequential = f; }
      76                 :      54785 :     void set_root(glass_block_t root_) { root = root_; }
      77                 :      54785 :     void set_blocksize(unsigned b) {
      78                 :            :         AssertRel(b,>=,GLASS_MIN_BLOCKSIZE);
      79                 :            :         AssertRel(b,<=,GLASS_MAX_BLOCKSIZE);
      80                 :      54785 :         blocksize = b;
      81                 :      54785 :     }
      82                 :      90674 :     void set_free_list(const std::string & s) { fl_serialised = s; }
      83                 :            : };
      84                 :            : 
      85                 :            : }
      86                 :            : 
      87                 :            : using Glass::RootInfo;
      88                 :            : 
      89                 :            : /** The GlassVersion class manages the revision files.
      90                 :            :  *
      91                 :            :  *  The "iamglass" file (currently) contains a "magic" string identifying
      92                 :            :  *  that this is a glass database, a database format version number, the UUID
      93                 :            :  *  of the database, the revision of the database, and the root block info for
      94                 :            :  *  each table.
      95                 :            :  */
      96                 :            : class GlassVersion {
      97                 :            :     glass_revision_number_t rev;
      98                 :            : 
      99                 :            :     RootInfo root[Glass::MAX_];
     100                 :            :     RootInfo old_root[Glass::MAX_];
     101                 :            : 
     102                 :            :     /// The UUID of this database.
     103                 :            :     Uuid uuid;
     104                 :            : 
     105                 :            :     /** File descriptor.
     106                 :            :      *
     107                 :            :      *  When committing, this hold the file descriptor of the new changes file
     108                 :            :      *  between the call to the write() and sync() methods.
     109                 :            :      *
     110                 :            :      *  For a single-file database (when db_dir.empty()), this holds the fd of
     111                 :            :      *  that file for use in read().
     112                 :            :      */
     113                 :            :     int fd;
     114                 :            : 
     115                 :            :     /** Offset into the file at which the version data starts.
     116                 :            :      *
     117                 :            :      *  Will be 0, except for an embedded multi-file database.
     118                 :            :      */
     119                 :            :     off_t offset;
     120                 :            : 
     121                 :            :     /// The database directory.
     122                 :            :     std::string db_dir;
     123                 :            : 
     124                 :            :     GlassChanges * changes;
     125                 :            : 
     126                 :            :     /// The number of documents in the database.
     127                 :            :     Xapian::doccount doccount;
     128                 :            : 
     129                 :            :     /// The total of the lengths of all documents in the database.
     130                 :            :     Xapian::totallength total_doclen;
     131                 :            : 
     132                 :            :     /// Greatest document id ever used in this database.
     133                 :            :     Xapian::docid last_docid;
     134                 :            : 
     135                 :            :     /// A lower bound on the smallest document length in this database.
     136                 :            :     Xapian::termcount doclen_lbound;
     137                 :            : 
     138                 :            :     /// An upper bound on the greatest document length in this database.
     139                 :            :     Xapian::termcount doclen_ubound;
     140                 :            : 
     141                 :            :     /// An upper bound on the greatest wdf in this database.
     142                 :            :     Xapian::termcount wdf_ubound;
     143                 :            : 
     144                 :            :     /// An upper bound on the spelling wordfreq in this database.
     145                 :            :     Xapian::termcount spelling_wordfreq_ubound;
     146                 :            : 
     147                 :            :     /// Oldest changeset removed when max_changesets is set
     148                 :            :     mutable glass_revision_number_t oldest_changeset;
     149                 :            : 
     150                 :            :     /// The serialised database stats.
     151                 :            :     std::string serialised_stats;
     152                 :            : 
     153                 :            :     // Serialise the database stats.
     154                 :            :     void serialise_stats();
     155                 :            : 
     156                 :            :     // Unserialise the database stats.
     157                 :            :     void unserialise_stats();
     158                 :            : 
     159                 :            :   public:
     160                 :       3767 :     explicit GlassVersion(const std::string & db_dir_ = std::string())
     161                 :            :         : rev(0), fd(-1), offset(0), db_dir(db_dir_), changes(NULL),
     162                 :            :           doccount(0), total_doclen(0), last_docid(0),
     163                 :            :           doclen_lbound(0), doclen_ubound(0),
     164                 :            :           wdf_ubound(0), spelling_wordfreq_ubound(0),
     165 [ +  - ][ +  + ]:      48971 :           oldest_changeset(0) { }
         [ +  - ][ +  + ]
         [ +  - ][ +  - ]
           [ #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     166                 :            : 
     167                 :            :     explicit GlassVersion(int fd_);
     168                 :            : 
     169                 :            :     ~GlassVersion();
     170                 :            : 
     171                 :            :     /** Create the version file. */
     172                 :            :     void create(unsigned blocksize);
     173                 :            : 
     174                 :       9613 :     void set_changes(GlassChanges * changes_) { changes = changes_; }
     175                 :            : 
     176                 :            :     /** Read the version file and check it's a version we understand.
     177                 :            :      *
     178                 :            :      *  On failure, an exception is thrown.
     179                 :            :      */
     180                 :            :     void read();
     181                 :            : 
     182                 :            :     void cancel();
     183                 :            : 
     184                 :            :     const std::string write(glass_revision_number_t new_rev, int flags);
     185                 :            : 
     186                 :            :     bool sync(const std::string & tmpfile,
     187                 :            :               glass_revision_number_t new_rev, int flags);
     188                 :            : 
     189                 :      52846 :     glass_revision_number_t get_revision() const { return rev; }
     190                 :            : 
     191                 :      25607 :     const RootInfo & get_root(Glass::table_type tbl) const {
     192                 :      25607 :         return root[tbl];
     193                 :            :     }
     194                 :            : 
     195                 :      54777 :     RootInfo * root_to_set(Glass::table_type tbl) {
     196                 :      54777 :         return &root[tbl];
     197                 :            :     }
     198                 :            : 
     199                 :            :     /// Return pointer to 16 byte UUID.
     200                 :            :     const char * get_uuid() const {
     201                 :            :         return uuid.data();
     202                 :            :     }
     203                 :            : 
     204                 :            :     /// Return UUID in the standard 36 character string format.
     205                 :       1343 :     std::string get_uuid_string() const {
     206                 :       1343 :         return uuid.to_string();
     207                 :            :     }
     208                 :            : 
     209                 :    1009370 :     Xapian::doccount get_doccount() const { return doccount; }
     210                 :            : 
     211                 :     498580 :     Xapian::totallength get_total_doclen() const { return total_doclen; }
     212                 :            : 
     213                 :     377370 :     Xapian::docid get_last_docid() const { return last_docid; }
     214                 :            : 
     215                 :     491300 :     Xapian::termcount get_doclength_lower_bound() const {
     216                 :     491300 :         return doclen_lbound;
     217                 :            :     }
     218                 :            : 
     219                 :       4913 :     Xapian::termcount get_doclength_upper_bound() const {
     220                 :       4913 :         return doclen_ubound;
     221                 :            :     }
     222                 :            : 
     223                 :     625288 :     Xapian::termcount get_wdf_upper_bound() const { return wdf_ubound; }
     224                 :            : 
     225                 :       3702 :     Xapian::termcount get_spelling_wordfreq_upper_bound() const {
     226                 :       3702 :         return spelling_wordfreq_ubound;
     227                 :            :     }
     228                 :            : 
     229                 :        524 :     glass_revision_number_t get_oldest_changeset() const {
     230                 :        524 :         return oldest_changeset;
     231                 :            :     }
     232                 :            : 
     233                 :          0 :     Xapian::termcount get_unique_terms_lower_bound() const {
     234         [ #  # ]:          0 :         if (total_doclen == 0) return 0;
     235                 :            :         Assert(doclen_lbound != 0);
     236                 :            :         Assert(wdf_ubound != 0);
     237                 :          0 :         return (doclen_lbound - 1) / wdf_ubound + 1;
     238                 :            :     }
     239                 :            : 
     240                 :      22101 :     void set_last_docid(Xapian::docid did) { last_docid = did; }
     241                 :            : 
     242                 :       9016 :     void set_oldest_changeset(glass_revision_number_t changeset) const {
     243                 :       9016 :         oldest_changeset = changeset;
     244                 :       9016 :     }
     245                 :            : 
     246                 :       9089 :     void set_spelling_wordfreq_upper_bound(Xapian::termcount ub) {
     247                 :       9089 :         spelling_wordfreq_ubound = ub;
     248                 :       9089 :     }
     249                 :            : 
     250                 :     121748 :     void add_document(Xapian::termcount doclen) {
     251                 :     121748 :         ++doccount;
     252                 :     121748 :         doclen_lbound = min_non_zero(doclen_lbound, doclen);
     253                 :     121748 :         doclen_ubound = std::max(doclen_ubound, doclen);
     254                 :     121748 :         total_doclen += doclen;
     255                 :     121748 :     }
     256                 :            : 
     257                 :      25202 :     void delete_document(Xapian::termcount doclen) {
     258                 :      25202 :         --doccount;
     259                 :      25202 :         total_doclen -= doclen;
     260                 :            :         // If the database no longer contains any postings, we can reset
     261                 :            :         // doclen_lbound, doclen_ubound and wdf_ubound.
     262         [ +  + ]:      25202 :         if (total_doclen == 0) {
     263                 :      12203 :             doclen_lbound = 0;
     264                 :      12203 :             doclen_ubound = 0;
     265                 :      12203 :             wdf_ubound = 0;
     266                 :            :         }
     267                 :      25202 :     }
     268                 :            : 
     269                 :    2023714 :     void check_wdf(Xapian::termcount wdf) {
     270         [ +  + ]:    2023714 :         if (wdf > wdf_ubound) wdf_ubound = wdf;
     271                 :    2023714 :     }
     272                 :            : 
     273                 :     175192 :     Xapian::docid get_next_docid() { return ++last_docid; }
     274                 :            : 
     275                 :            :     /** Merge the database stats.
     276                 :            :      *
     277                 :            :      *  Used by compaction.
     278                 :            :      */
     279                 :            :     void merge_stats(const GlassVersion & o);
     280                 :            : 
     281                 :      52856 :     bool single_file() const { return db_dir.empty(); }
     282                 :            : 
     283                 :       4052 :     off_t get_offset() const { return offset; }
     284                 :            : };
     285                 :            : 
     286                 :            : #endif // XAPIAN_INCLUDED_GLASS_VERSION_H

Generated by: LCOV version 1.11