LCOV - code coverage report
Current view: top level - common - pack.h (source / functions) Hit Total Coverage
Test: Test Coverage for xapian-core 954b5873a738 Lines: 161 185 87.0 %
Date: 2019-06-30 05:20:33 Functions: 24 24 100.0 %
Branches: 87 156 55.8 %

           Branch data     Line data    Source code
       1                 :            : /** @file pack.h
       2                 :            :  * @brief Pack types into strings and unpack them again.
       3                 :            :  */
       4                 :            : /* Copyright (C) 2009,2015,2016,2017,2018 Olly Betts
       5                 :            :  *
       6                 :            :  * This program is free software; you can redistribute it and/or modify
       7                 :            :  * it under the terms of the GNU General Public License as published by
       8                 :            :  * the Free Software Foundation; either version 2 of the License, or
       9                 :            :  * (at your option) any later version.
      10                 :            :  *
      11                 :            :  * This program is distributed in the hope that it will be useful,
      12                 :            :  * but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            :  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            :  * GNU General Public License for more details.
      15                 :            :  *
      16                 :            :  * You should have received a copy of the GNU General Public License
      17                 :            :  * along with this program; if not, write to the Free Software
      18                 :            :  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
      19                 :            :  */
      20                 :            : 
      21                 :            : #ifndef XAPIAN_INCLUDED_PACK_H
      22                 :            : #define XAPIAN_INCLUDED_PACK_H
      23                 :            : 
      24                 :            : #ifndef PACKAGE
      25                 :            : # error config.h must be included first in each C++ source file
      26                 :            : #endif
      27                 :            : 
      28                 :            : #include <cstring>
      29                 :            : #include <string>
      30                 :            : #include <type_traits>
      31                 :            : 
      32                 :            : #include "omassert.h"
      33                 :            : 
      34                 :            : #include "xapian/types.h"
      35                 :            : 
      36                 :            : /** How many bits to store the length of a sortable uint in.
      37                 :            :  *
      38                 :            :  *  Setting this to 2 limits us to 2**32 documents in the database.  If set
      39                 :            :  *  to 3, then 2**64 documents are possible, but the database format isn't
      40                 :            :  *  compatible.
      41                 :            :  */
      42                 :            : const unsigned int SORTABLE_UINT_LOG2_MAX_BYTES = 2;
      43                 :            : 
      44                 :            : /// Calculated value used below.
      45                 :            : const unsigned int SORTABLE_UINT_MAX_BYTES = 1 << SORTABLE_UINT_LOG2_MAX_BYTES;
      46                 :            : 
      47                 :            : /// Calculated value used below.
      48                 :            : const unsigned int SORTABLE_UINT_1ST_BYTE_MASK =
      49                 :            :         (0xffu >> SORTABLE_UINT_LOG2_MAX_BYTES);
      50                 :            : 
      51                 :            : /** Throw appropriate SerialisationError.
      52                 :            :  *
      53                 :            :  *  @param p If NULL, out of data; otherwise type overflow.
      54                 :            :  */
      55                 :            : [[noreturn]]
      56                 :            : void unpack_throw_serialisation_error(const char* p);
      57                 :            : 
      58                 :            : /** Append an encoded bool to a string.
      59                 :            :  *
      60                 :            :  *  @param s            The string to append to.
      61                 :            :  *  @param value        The bool to encode.
      62                 :            :  */
      63                 :            : inline void
      64                 :     747141 : pack_bool(std::string & s, bool value)
      65                 :            : {
      66                 :     747141 :     s += char('0' | static_cast<char>(value));
      67                 :     747141 : }
      68                 :            : 
      69                 :            : /** Decode a bool from a string.
      70                 :            :  *
      71                 :            :  *  @param p        Pointer to pointer to the current position in the string.
      72                 :            :  *  @param end      Pointer to the end of the string.
      73                 :            :  *  @param result   Where to store the result.
      74                 :            :  */
      75                 :            : inline bool
      76                 :    1166896 : unpack_bool(const char ** p, const char * end, bool * result)
      77                 :            : {
      78                 :            :     Assert(result);
      79                 :    1166896 :     const char * & ptr = *p;
      80                 :            :     Assert(ptr);
      81                 :            :     char ch;
      82 [ +  - ][ -  + ]:    1166896 :     if (rare(ptr == end || ((ch = *ptr++ - '0') &~ 1))) {
                 [ -  + ]
      83                 :          0 :         ptr = NULL;
      84                 :          0 :         return false;
      85                 :            :     }
      86                 :    1166896 :     *result = static_cast<bool>(ch);
      87                 :    1166896 :     return true;
      88                 :            : }
      89                 :            : 
      90                 :            : /** Append an encoded unsigned integer to a string as the last item.
      91                 :            :  *
      92                 :            :  *  This encoding is only suitable when this is the last thing encoded as
      93                 :            :  *  the encoding used doesn't contain its own length.
      94                 :            :  *
      95                 :            :  *  @param s            The string to append to.
      96                 :            :  *  @param value        The unsigned integer to encode.
      97                 :            :  */
      98                 :            : template<class U>
      99                 :            : inline void
     100                 :     756338 : pack_uint_last(std::string & s, U value)
     101                 :            : {
     102                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     103                 :            : 
     104         [ +  + ]:    2091175 :     while (value) {
     105                 :    1334837 :         s += char(value & 0xff);
     106                 :    1334837 :         value >>= 8;
     107                 :            :     }
     108                 :     756338 : }
     109                 :            : 
     110                 :            : /** Decode an unsigned integer as the last item in a string.
     111                 :            :  *
     112                 :            :  *  @param p        Pointer to pointer to the current position in the string.
     113                 :            :  *  @param end      Pointer to the end of the string.
     114                 :            :  *  @param result   Where to store the result.
     115                 :            :  */
     116                 :            : template<class U>
     117                 :            : inline bool
     118                 :     308951 : unpack_uint_last(const char ** p, const char * end, U * result)
     119                 :            : {
     120                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     121                 :            :     Assert(result);
     122                 :            : 
     123                 :     308951 :     const char * ptr = *p;
     124                 :            :     Assert(ptr);
     125                 :     308951 :     *p = end;
     126                 :            : 
     127                 :            :     // Check for overflow.
     128         [ -  + ]:     308951 :     if (rare(end - ptr > int(sizeof(U)))) {
     129                 :          0 :         return false;
     130                 :            :     }
     131                 :            : 
     132                 :     308951 :     *result = 0;
     133         [ +  + ]:     761215 :     while (end != ptr) {
     134                 :     452264 :         *result = (*result << 8) | U(static_cast<unsigned char>(*--end));
     135                 :            :     }
     136                 :            : 
     137                 :     308951 :     return true;
     138                 :            : }
     139                 :            : 
     140                 :            : #if HAVE_DECL___BUILTIN_CLZ && \
     141                 :            :     HAVE_DECL___BUILTIN_CLZL && \
     142                 :            :     HAVE_DECL___BUILTIN_CLZLL
     143                 :            : template<typename T>
     144                 :            : inline int
     145                 :            : do_clz(T value) {
     146                 :            :     extern int no_clz_builtin_for_this_type(T);
     147                 :            :     return no_clz_builtin_for_this_type(value);
     148                 :            : }
     149                 :            : 
     150                 :            : template<>
     151                 :            : inline int
     152                 :     730584 : do_clz(unsigned value) {
     153                 :     730584 :     return __builtin_clz(value);
     154                 :            : }
     155                 :            : 
     156                 :            : template<>
     157                 :            : inline int
     158                 :            : do_clz(unsigned long value) {
     159                 :            :     return __builtin_clzl(value);
     160                 :            : }
     161                 :            : 
     162                 :            : template<>
     163                 :            : inline int
     164                 :            : do_clz(unsigned long long value) {
     165                 :            :     return __builtin_clzll(value);
     166                 :            : }
     167                 :            : 
     168                 :            : # define HAVE_DO_CLZ
     169                 :            : #endif
     170                 :            : 
     171                 :            : /** Append an encoded unsigned integer to a string, preserving the sort order.
     172                 :            :  *
     173                 :            :  *  The appended string data will sort in the same order as the unsigned
     174                 :            :  *  integer being encoded.
     175                 :            :  *
     176                 :            :  *  Note that the first byte of the encoding will never be \xff, so it is
     177                 :            :  *  safe to store the result of this function immediately after the result of
     178                 :            :  *  pack_string_preserving_sort().
     179                 :            :  *
     180                 :            :  *  @param s            The string to append to.
     181                 :            :  *  @param value        The unsigned integer to encode.
     182                 :            :  */
     183                 :            : template<class U>
     184                 :            : inline void
     185                 :    6906187 : pack_uint_preserving_sort(std::string & s, U value)
     186                 :            : {
     187                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     188                 :            :     static_assert(sizeof(U) <= 8,
     189                 :            :                   "Template type U too wide for database format");
     190                 :            :     // The clz() functions are undefined for 0, so handle the smallest band
     191                 :            :     // as a special case.
     192         [ +  + ]:    6906187 :     if (value < 0x8000) {
     193                 :    6905124 :         s.resize(s.size() + 2);
     194                 :    6905124 :         s[s.size() - 2] = static_cast<unsigned char>(value >> 8);
     195                 :            :         Assert(s[s.size() - 2] != '\xff');
     196                 :    6905124 :         s[s.size() - 1] = static_cast<unsigned char>(value);
     197                 :    6905124 :         return;
     198                 :            :     }
     199                 :            : 
     200                 :            : #ifdef HAVE_DO_CLZ
     201                 :       1063 :     size_t len = ((sizeof(U) * 8 + 5) - do_clz(value)) / 7;
     202                 :            : #else
     203                 :            :     size_t len = 3;
     204                 :            :     for (U x = value >> 22; x; x >>= 7) ++len;
     205                 :            : #endif
     206                 :       1063 :     unsigned mask = 0xff << (10 - len);
     207                 :            : 
     208                 :       1063 :     s.resize(s.size() + len);
     209         [ +  + ]:       3353 :     for (size_t i = 1; i != len; ++i) {
     210                 :       2290 :         s[s.size() - i] = static_cast<unsigned char>(value);
     211                 :       2290 :         value >>= 8;
     212                 :            :     }
     213                 :            : 
     214                 :       1063 :     s[s.size() - len] = static_cast<unsigned char>(value | mask);
     215                 :            :     Assert(s[s.size() - len] != '\xff');
     216                 :            : 
     217                 :            :     AssertRel(len, >, 2);
     218                 :            :     AssertRel(len, <=, 9);
     219                 :            : }
     220                 :            : 
     221                 :            : /** Decode an "sort preserved" unsigned integer from a string.
     222                 :            :  *
     223                 :            :  *  The unsigned integer must have been encoded with
     224                 :            :  *  pack_uint_preserving_sort().
     225                 :            :  *
     226                 :            :  *  @param p        Pointer to pointer to the current position in the string.
     227                 :            :  *  @param end      Pointer to the end of the string.
     228                 :            :  *  @param result   Where to store the result.
     229                 :            :  */
     230                 :            : template<class U>
     231                 :            : inline bool
     232                 :    2910270 : unpack_uint_preserving_sort(const char ** p, const char * end, U * result)
     233                 :            : {
     234                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     235                 :            :     static_assert(sizeof(U) <= 8,
     236                 :            :                   "Template type U too wide for database format");
     237                 :            :     Assert(result);
     238                 :            : 
     239                 :    2910270 :     const char * ptr = *p;
     240                 :            :     Assert(ptr);
     241                 :            : 
     242         [ -  + ]:    2910270 :     if (rare(ptr == end)) {
     243                 :          0 :         return false;
     244                 :            :     }
     245                 :            : 
     246                 :    2910270 :     unsigned char len_byte = static_cast<unsigned char>(*ptr++);
     247         [ +  + ]:    2910270 :     if (len_byte < 0x80) {
     248                 :    2909320 :         *result = (U(len_byte) << 8) | static_cast<unsigned char>(*ptr++);
     249                 :    2909320 :         *p = ptr;
     250                 :    2909320 :         return true;
     251                 :            :     }
     252                 :            : 
     253         [ -  + ]:        950 :     if (len_byte == 0xff) {
     254                 :          0 :         return false;
     255                 :            :     }
     256                 :            : 
     257                 :            :     // len is how many bytes there are after the length byte.
     258                 :            : #ifdef HAVE_DO_CLZ
     259                 :        950 :     size_t len = do_clz(len_byte ^ 0xffu) + 9 - sizeof(unsigned) * 8;
     260                 :            : #else
     261                 :            :     size_t len = 2;
     262                 :            :     for (unsigned char m = 0x40; len_byte & m; m >>= 1) ++len;
     263                 :            : #endif
     264         [ -  + ]:        950 :     if (rare(size_t(end - ptr) < len)) {
     265                 :          0 :         return false;
     266                 :            :     }
     267                 :        950 :     unsigned mask = 0xff << (9 - len);
     268                 :        950 :     len_byte &= ~mask;
     269                 :            : 
     270                 :            :     // Check for overflow.
     271         [ -  + ]:        950 :     if (rare(len > int(sizeof(U)))) return false;
     272                 :            :     if (sizeof(U) != 8) {
     273                 :            :         // Need to check the top byte too.
     274 [ +  + ][ -  + ]:        950 :         if (rare(len == int(sizeof(U)) && len_byte != 0)) return false;
                 [ -  + ]
     275                 :            :     }
     276                 :            : 
     277                 :        950 :     end = ptr + len;
     278                 :        950 :     *p = end;
     279                 :            : 
     280                 :        950 :     U r = len_byte;
     281         [ +  + ]:       2863 :     while (ptr != end) {
     282                 :       1913 :         r = (r << 8) | U(static_cast<unsigned char>(*ptr++));
     283                 :            :     }
     284                 :        950 :     *result = r;
     285                 :            : 
     286                 :        950 :     return true;
     287                 :            : }
     288                 :            : 
     289                 :            : /** Append an encoded unsigned integer to a string.
     290                 :            :  *
     291                 :            :  *  @param s            The string to append to.
     292                 :            :  *  @param value        The unsigned integer to encode.
     293                 :            :  */
     294                 :            : template<class U>
     295                 :            : inline void
     296                 :   25636656 : pack_uint(std::string & s, U value)
     297                 :            : {
     298                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     299                 :            : 
     300 [ +  + ][ #  # ]:   29619708 :     while (value >= 128) {
                 [ #  # ]
     301                 :    3983052 :         s += static_cast<char>(static_cast<unsigned char>(value) | 0x80);
     302                 :    3983052 :         value >>= 7;
     303                 :            :     }
     304                 :   25636656 :     s += static_cast<char>(value);
     305                 :   25636656 : }
     306                 :            : 
     307                 :            : /** Append an encoded unsigned integer (bool type) to a string.
     308                 :            :  *
     309                 :            :  *  @param s            The string to append to.
     310                 :            :  *  @param value        The unsigned integer to encode.
     311                 :            :  */
     312                 :            : template<>
     313                 :            : inline void
     314                 :            : pack_uint(std::string & s, bool value)
     315                 :            : {
     316                 :            :     s += static_cast<char>(value);
     317                 :            : }
     318                 :            : 
     319                 :            : /** Decode an unsigned integer from a string.
     320                 :            :  *
     321                 :            :  *  @param p        Pointer to pointer to the current position in the string.
     322                 :            :  *  @param end      Pointer to the end of the string.
     323                 :            :  *  @param result   Where to store the result (or NULL to just skip it).
     324                 :            :  */
     325                 :            : template<class U>
     326                 :            : inline bool
     327                 :  973950161 : unpack_uint(const char ** p, const char * end, U * result)
     328                 :            : {
     329                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     330                 :            : 
     331                 :  973950161 :     const char * ptr = *p;
     332                 :            :     Assert(ptr);
     333                 :  973950161 :     const char * start = ptr;
     334                 :            : 
     335                 :            :     // Check the length of the encoded integer first.
     336 [ +  + ][ +  + ]: 1004279911 :     do {
                 [ #  # ]
     337 [ +  + ][ -  + ]: 1004279920 :         if (rare(ptr == end)) {
                 [ #  # ]
     338                 :            :             // Out of data.
     339                 :          9 :             *p = NULL;
     340                 :          9 :             return false;
     341                 :            :         }
     342                 :            :     } while (static_cast<unsigned char>(*ptr++) >= 128);
     343                 :            : 
     344                 :  973950152 :     *p = ptr;
     345                 :            : 
     346 [ +  + ][ -  + ]:  973950152 :     if (!result) return true;
                 [ #  # ]
     347                 :            : 
     348                 :  955231831 :     *result = U(*--ptr);
     349 [ +  + ][ +  + ]:  955231831 :     if (ptr == start) {
                 [ #  # ]
     350                 :            :         // Special case for small values.
     351                 :  927444688 :         return true;
     352                 :            :     }
     353                 :            : 
     354                 :   27787143 :     size_t maxbits = size_t(ptr - start) * 7;
     355 [ +  - ][ +  - ]:   27787143 :     if (maxbits <= sizeof(U) * 8) {
                 [ #  # ]
     356                 :            :         // No possibility of overflow.
     357 [ +  + ][ +  + ]:   29348994 :         do {
                 [ #  # ]
     358                 :   29348994 :             unsigned char chunk = static_cast<unsigned char>(*--ptr) & 0x7f;
     359                 :   29348994 :             *result = (*result << 7) | U(chunk);
     360                 :            :         } while (ptr != start);
     361                 :   27787143 :         return true;
     362                 :            :     }
     363                 :            : 
     364                 :          0 :     size_t minbits = maxbits - 6;
     365 [ #  # ][ #  # ]:          0 :     if (rare(minbits > sizeof(U) * 8)) {
                 [ #  # ]
     366                 :            :         // Overflow.
     367                 :          0 :         return false;
     368                 :            :     }
     369                 :            : 
     370 [ #  # ][ #  # ]:          0 :     while (--ptr != start) {
                 [ #  # ]
     371                 :          0 :         unsigned char chunk = static_cast<unsigned char>(*--ptr) & 0x7f;
     372                 :          0 :         *result = (*result << 7) | U(chunk);
     373                 :            :     }
     374                 :            : 
     375                 :          0 :     U tmp = *result;
     376                 :          0 :     *result <<= 7;
     377 [ #  # ][ #  # ]:          0 :     if (rare(*result < tmp)) {
                 [ #  # ]
     378                 :            :         // Overflow.
     379                 :          0 :         return false;
     380                 :            :     }
     381                 :          0 :     *result |= U(static_cast<unsigned char>(*ptr) & 0x7f);
     382                 :          0 :     return true;
     383                 :            : }
     384                 :            : 
     385                 :            : /** Decode an unsigned integer from a string, going backwards.
     386                 :            :  *
     387                 :            :  *  @param p        Pointer to pointer just after the position in the string.
     388                 :            :  *  @param start    Pointer to the start of the string.
     389                 :            :  *  @param result   Where to store the result (or NULL to just skip it).
     390                 :            :  */
     391                 :            : template<class U>
     392                 :            : inline bool
     393                 :         29 : unpack_uint_backwards(const char ** p, const char * start, U * result)
     394                 :            : {
     395                 :            :     static_assert(std::is_unsigned<U>::value, "Unsigned type required");
     396                 :            : 
     397                 :         29 :     const char * ptr = *p;
     398                 :            :     Assert(ptr);
     399                 :            : 
     400                 :            :     // Check it's not empty and that the final byte is valid.
     401 [ +  - ][ -  + ]:         29 :     if (rare(ptr == start || static_cast<unsigned char>(ptr[-1]) >= 128)) {
                 [ -  + ]
     402                 :            :         // Out of data.
     403                 :          0 :         *p = NULL;
     404                 :          0 :         return false;
     405                 :            :     }
     406                 :            : 
     407         [ -  + ]:         29 :     do {
     408         [ -  + ]:         29 :         if (rare(--ptr == start))
     409                 :          0 :             break;
     410                 :         29 :     } while (static_cast<unsigned char>(ptr[-1]) >= 128);
     411                 :            : 
     412                 :         29 :     const char* end = *p;
     413                 :         29 :     *p = ptr;
     414                 :         29 :     return unpack_uint(&ptr, end, result);
     415                 :            : }
     416                 :            : 
     417                 :            : /** Append an encoded std::string to a string.
     418                 :            :  *
     419                 :            :  *  @param s            The string to append to.
     420                 :            :  *  @param value        The std::string to encode.
     421                 :            :  */
     422                 :            : inline void
     423                 :    2429756 : pack_string(std::string & s, const std::string & value)
     424                 :            : {
     425                 :    2429756 :     pack_uint(s, value.size());
     426                 :    2429756 :     s += value;
     427                 :    2429756 : }
     428                 :            : 
     429                 :            : /** Append an empty encoded std::string to a string.
     430                 :            :  *
     431                 :            :  *  This is equivalent to pack_string(s, std::string()) but is probably a bit
     432                 :            :  *  more efficient.
     433                 :            :  *
     434                 :            :  *  @param s            The string to append to.
     435                 :            :  */
     436                 :            : inline void
     437                 :         51 : pack_string_empty(std::string& s)
     438                 :            : {
     439                 :         51 :     s += '\0';
     440                 :         51 : }
     441                 :            : 
     442                 :            : /** Append an encoded C-style string to a string.
     443                 :            :  *
     444                 :            :  *  @param s            The string to append to.
     445                 :            :  *  @param ptr          The C-style string to encode.
     446                 :            :  */
     447                 :            : inline void
     448                 :            : pack_string(std::string & s, const char * ptr)
     449                 :            : {
     450                 :            :     Assert(ptr);
     451                 :            :     size_t len = std::strlen(ptr);
     452                 :            :     pack_uint(s, len);
     453                 :            :     s.append(ptr, len);
     454                 :            : }
     455                 :            : 
     456                 :            : /** Decode a std::string from a string.
     457                 :            :  *
     458                 :            :  *  @param p        Pointer to pointer to the current position in the string.
     459                 :            :  *  @param end      Pointer to the end of the string.
     460                 :            :  *  @param result   Where to store the result.
     461                 :            :  */
     462                 :            : inline bool
     463                 :    4248484 : unpack_string(const char ** p, const char * end, std::string & result)
     464                 :            : {
     465                 :            :     size_t len;
     466         [ +  + ]:    4248484 :     if (rare(!unpack_uint(p, end, &len))) {
     467                 :          3 :         return false;
     468                 :            :     }
     469                 :            : 
     470                 :    4248481 :     const char * & ptr = *p;
     471         [ +  + ]:    4248481 :     if (rare(len > size_t(end - ptr))) {
     472                 :         42 :         ptr = NULL;
     473                 :         42 :         return false;
     474                 :            :     }
     475                 :            : 
     476         [ +  - ]:    4248439 :     result.assign(ptr, len);
     477                 :    4248439 :     ptr += len;
     478                 :    4248484 :     return true;
     479                 :            : }
     480                 :            : 
     481                 :            : /** Decode a std::string from a string and append.
     482                 :            :  *
     483                 :            :  *  @param p        Pointer to pointer to the current position in the string.
     484                 :            :  *  @param end      Pointer to the end of the string.
     485                 :            :  *  @param result   Where to store the result.
     486                 :            :  */
     487                 :            : inline bool
     488                 :      30735 : unpack_string_append(const char** p, const char* end, std::string& result)
     489                 :            : {
     490                 :            :     size_t len;
     491         [ -  + ]:      30735 :     if (rare(!unpack_uint(p, end, &len))) {
     492                 :          0 :         return false;
     493                 :            :     }
     494                 :            : 
     495                 :      30735 :     const char * & ptr = *p;
     496         [ -  + ]:      30735 :     if (rare(len > size_t(end - ptr))) {
     497                 :          0 :         ptr = NULL;
     498                 :          0 :         return false;
     499                 :            :     }
     500                 :            : 
     501         [ +  - ]:      30735 :     result.append(ptr, len);
     502                 :      30735 :     ptr += len;
     503                 :      30735 :     return true;
     504                 :            : }
     505                 :            : 
     506                 :            : /** Append an encoded std::string to a string, preserving the sort order.
     507                 :            :  *
     508                 :            :  *  The byte which follows this encoded value *must not* be \xff, or the sort
     509                 :            :  *  order won't be correct.  You may need to store a padding byte (\0 say) to
     510                 :            :  *  ensure this.  Note that pack_uint_preserving_sort() can never produce
     511                 :            :  *  \xff as its first byte so is safe to use immediately afterwards.
     512                 :            :  *
     513                 :            :  *  @param s            The string to append to.
     514                 :            :  *  @param value        The std::string to encode.
     515                 :            :  *  @param last         If true, this is the last thing to be encoded in this
     516                 :            :  *                      string - see note below (default: false)
     517                 :            :  *
     518                 :            :  *  It doesn't make sense to use pack_string_preserving_sort() if nothing can
     519                 :            :  *  ever follow, but if optional items can, you can set last=true in cases
     520                 :            :  *  where nothing does and get a shorter encoding in those cases.
     521                 :            :  */
     522                 :            : inline void
     523                 :    5181433 : pack_string_preserving_sort(std::string & s, const std::string & value,
     524                 :            :                             bool last = false)
     525                 :            : {
     526                 :    5181433 :     std::string::size_type b = 0, e;
     527         [ +  + ]:    5186129 :     while ((e = value.find('\0', b)) != std::string::npos) {
     528                 :       4696 :         ++e;
     529                 :       4696 :         s.append(value, b, e - b);
     530                 :       4696 :         s += '\xff';
     531                 :       4696 :         b = e;
     532                 :            :     }
     533                 :    5181433 :     s.append(value, b, std::string::npos);
     534         [ +  + ]:    5181433 :     if (!last) s += '\0';
     535                 :    5181433 : }
     536                 :            : 
     537                 :            : /** Decode a "sort preserved" std::string from a string.
     538                 :            :  *
     539                 :            :  *  The std::string must have been encoded with pack_string_preserving_sort().
     540                 :            :  *
     541                 :            :  *  @param p        Pointer to pointer to the current position in the string.
     542                 :            :  *  @param end      Pointer to the end of the string.
     543                 :            :  *  @param result   Where to store the result.
     544                 :            :  */
     545                 :            : inline bool
     546                 :    1424404 : unpack_string_preserving_sort(const char ** p, const char * end,
     547                 :            :                               std::string & result)
     548                 :            : {
     549                 :    1424404 :     result.resize(0);
     550                 :            : 
     551                 :    1424404 :     const char *ptr = *p;
     552                 :            :     Assert(ptr);
     553                 :            : 
     554         [ +  + ]:    8474944 :     while (ptr != end) {
     555                 :    7957685 :         char ch = *ptr++;
     556         [ +  + ]:    7957685 :         if (rare(ch == '\0')) {
     557 [ +  - ][ +  + ]:     907172 :             if (usual(ptr == end || *ptr != '\xff')) {
                 [ +  + ]
     558                 :     907145 :                 break;
     559                 :            :             }
     560                 :         27 :             ++ptr;
     561                 :            :         }
     562                 :    7050540 :         result += ch;
     563                 :            :     }
     564                 :    1424404 :     *p = ptr;
     565                 :    1424404 :     return true;
     566                 :            : }
     567                 :            : 
     568                 :            : inline std::string
     569                 :    1774088 : pack_glass_postlist_key(const std::string &term)
     570                 :            : {
     571                 :            :     // Special case for doclen lists.
     572         [ +  + ]:    1774088 :     if (term.empty())
     573         [ +  - ]:      19096 :         return std::string("\x00\xe0", 2);
     574                 :            : 
     575         [ +  - ]:    1754992 :     std::string key;
     576         [ +  - ]:    1754992 :     pack_string_preserving_sort(key, term, true);
     577                 :    1774088 :     return key;
     578                 :            : }
     579                 :            : 
     580                 :            : inline std::string
     581                 :     491608 : pack_glass_postlist_key(const std::string &term, Xapian::docid did)
     582                 :            : {
     583                 :            :     // Special case for doclen lists.
     584         [ +  + ]:     491608 :     if (term.empty()) {
     585         [ +  - ]:     149012 :         std::string key("\x00\xe0", 2);
     586         [ +  - ]:     149012 :         pack_uint_preserving_sort(key, did);
     587                 :     149012 :         return key;
     588                 :            :     }
     589                 :            : 
     590         [ +  - ]:     342596 :     std::string key;
     591         [ +  - ]:     342596 :     pack_string_preserving_sort(key, term);
     592         [ +  - ]:     342596 :     pack_uint_preserving_sort(key, did);
     593                 :     491608 :     return key;
     594                 :            : }
     595                 :            : 
     596                 :            : inline std::string
     597                 :        218 : pack_honey_postlist_key(const std::string& term)
     598                 :            : {
     599                 :            :     Assert(!term.empty());
     600                 :        218 :     std::string key;
     601         [ +  - ]:        218 :     pack_string_preserving_sort(key, term, true);
     602                 :        218 :     return key;
     603                 :            : }
     604                 :            : 
     605                 :            : inline std::string
     606                 :         97 : pack_honey_postlist_key(const std::string& term, Xapian::docid did)
     607                 :            : {
     608                 :            :     Assert(!term.empty());
     609                 :         97 :     std::string key;
     610         [ +  - ]:         97 :     pack_string_preserving_sort(key, term);
     611         [ +  - ]:         97 :     pack_uint_preserving_sort(key, did);
     612                 :         97 :     return key;
     613                 :            : }
     614                 :            : 
     615                 :            : #endif // XAPIAN_INCLUDED_PACK_H

Generated by: LCOV version 1.11