LCOV - code coverage report
Current view: top level - py - objarray.c (source / functions) Hit Total Coverage
Test: unix_coverage_v1.21.0-228-g66be82da7.info Lines: 273 273 100.0 %
Date: 2023-12-07 10:11:00 Functions: 19 19 100.0 %
Branches: 178 216 82.4 %

           Branch data     Line data    Source code
       1                 :            : /*
       2                 :            :  * This file is part of the MicroPython project, http://micropython.org/
       3                 :            :  *
       4                 :            :  * The MIT License (MIT)
       5                 :            :  *
       6                 :            :  * Copyright (c) 2013, 2014 Damien P. George
       7                 :            :  * Copyright (c) 2014 Paul Sokolovsky
       8                 :            :  *
       9                 :            :  * Permission is hereby granted, free of charge, to any person obtaining a copy
      10                 :            :  * of this software and associated documentation files (the "Software"), to deal
      11                 :            :  * in the Software without restriction, including without limitation the rights
      12                 :            :  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
      13                 :            :  * copies of the Software, and to permit persons to whom the Software is
      14                 :            :  * furnished to do so, subject to the following conditions:
      15                 :            :  *
      16                 :            :  * The above copyright notice and this permission notice shall be included in
      17                 :            :  * all copies or substantial portions of the Software.
      18                 :            :  *
      19                 :            :  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
      20                 :            :  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
      21                 :            :  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
      22                 :            :  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
      23                 :            :  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
      24                 :            :  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
      25                 :            :  * THE SOFTWARE.
      26                 :            :  */
      27                 :            : 
      28                 :            : #include <string.h>
      29                 :            : #include <assert.h>
      30                 :            : #include <stdint.h>
      31                 :            : 
      32                 :            : #include "py/runtime.h"
      33                 :            : #include "py/binary.h"
      34                 :            : #include "py/objstr.h"
      35                 :            : #include "py/objarray.h"
      36                 :            : 
      37                 :            : #if MICROPY_PY_ARRAY || MICROPY_PY_BUILTINS_BYTEARRAY || MICROPY_PY_BUILTINS_MEMORYVIEW
      38                 :            : 
      39                 :            : // About memoryview object: We want to reuse as much code as possible from
      40                 :            : // array, and keep the memoryview object 4 words in size so it fits in 1 GC
      41                 :            : // block.  Also, memoryview must keep a pointer to the base of the buffer so
      42                 :            : // that the buffer is not GC'd if the original parent object is no longer
      43                 :            : // around (we are assuming that all memoryview'able objects return a pointer
      44                 :            : // which points to the start of a GC chunk).  Given the above constraints we
      45                 :            : // do the following:
      46                 :            : //  - typecode high bit is set if the buffer is read-write (else read-only)
      47                 :            : //  - free is the offset in elements to the first item in the memoryview
      48                 :            : //  - len is the length in elements
      49                 :            : //  - items points to the start of the original buffer
      50                 :            : // Note that we don't handle the case where the original buffer might change
      51                 :            : // size due to a resize of the original parent object.
      52                 :            : 
      53                 :            : #if MICROPY_PY_BUILTINS_MEMORYVIEW
      54                 :            : #define TYPECODE_MASK (0x7f)
      55                 :            : #define memview_offset free
      56                 :            : #define memview_offset_max ((1LL << MP_OBJ_ARRAY_FREE_SIZE_BITS) - 1)
      57                 :            : #else
      58                 :            : // make (& TYPECODE_MASK) a null operation if memorview not enabled
      59                 :            : #define TYPECODE_MASK (~(size_t)0)
      60                 :            : // memview_offset should not be accessed if memoryview is not enabled,
      61                 :            : // so not defined to catch errors
      62                 :            : #endif
      63                 :            : 
      64                 :            : STATIC mp_obj_t array_iterator_new(mp_obj_t array_in, mp_obj_iter_buf_t *iter_buf);
      65                 :            : STATIC mp_obj_t array_append(mp_obj_t self_in, mp_obj_t arg);
      66                 :            : STATIC mp_obj_t array_extend(mp_obj_t self_in, mp_obj_t arg_in);
      67                 :            : STATIC mp_int_t array_get_buffer(mp_obj_t o_in, mp_buffer_info_t *bufinfo, mp_uint_t flags);
      68                 :            : 
      69                 :            : /******************************************************************************/
      70                 :            : // array
      71                 :            : 
      72                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY || MICROPY_PY_ARRAY
      73                 :        978 : STATIC void array_print(const mp_print_t *print, mp_obj_t o_in, mp_print_kind_t kind) {
      74                 :        978 :     (void)kind;
      75                 :        978 :     mp_obj_array_t *o = MP_OBJ_TO_PTR(o_in);
      76         [ +  + ]:        978 :     if (o->typecode == BYTEARRAY_TYPECODE) {
      77                 :        854 :         mp_print_str(print, "bytearray(b");
      78                 :        854 :         mp_str_print_quoted(print, o->items, o->len, true);
      79                 :            :     } else {
      80                 :        124 :         mp_printf(print, "array('%c'", o->typecode);
      81         [ +  + ]:        124 :         if (o->len > 0) {
      82                 :        104 :             mp_print_str(print, ", [");
      83         [ +  + ]:        452 :             for (size_t i = 0; i < o->len; i++) {
      84         [ +  + ]:        348 :                 if (i > 0) {
      85                 :        244 :                     mp_print_str(print, ", ");
      86                 :            :                 }
      87                 :        348 :                 mp_obj_print_helper(print, mp_binary_get_val_array(o->typecode, o->items, i), PRINT_REPR);
      88                 :            :             }
      89                 :        104 :             mp_print_str(print, "]");
      90                 :            :         }
      91                 :            :     }
      92                 :        978 :     mp_print_str(print, ")");
      93                 :        978 : }
      94                 :            : #endif
      95                 :            : 
      96                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY || MICROPY_PY_ARRAY
      97                 :       4914 : STATIC mp_obj_array_t *array_new(char typecode, size_t n) {
      98                 :       4914 :     int typecode_size = mp_binary_get_size('@', typecode, NULL);
      99                 :       4910 :     mp_obj_array_t *o = m_new_obj(mp_obj_array_t);
     100                 :            :     #if MICROPY_PY_BUILTINS_BYTEARRAY && MICROPY_PY_ARRAY
     101         [ +  + ]:       4890 :     o->base.type = (typecode == BYTEARRAY_TYPECODE) ? &mp_type_bytearray : &mp_type_array;
     102                 :            :     #elif MICROPY_PY_BUILTINS_BYTEARRAY
     103                 :            :     o->base.type = &mp_type_bytearray;
     104                 :            :     #else
     105                 :            :     o->base.type = &mp_type_array;
     106                 :            :     #endif
     107                 :       4890 :     o->typecode = typecode;
     108                 :       4890 :     o->free = 0;
     109                 :       4890 :     o->len = n;
     110                 :       4890 :     o->items = m_new(byte, typecode_size * o->len);
     111                 :       4890 :     return o;
     112                 :            : }
     113                 :            : #endif
     114                 :            : 
     115                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY || MICROPY_PY_ARRAY
     116                 :        966 : STATIC mp_obj_t array_construct(char typecode, mp_obj_t initializer) {
     117                 :            :     // bytearrays can be raw-initialised from anything with the buffer protocol
     118                 :            :     // other arrays can only be raw-initialised from bytes and bytearray objects
     119                 :        966 :     mp_buffer_info_t bufinfo;
     120         [ +  + ]:        966 :     if (((MICROPY_PY_BUILTINS_BYTEARRAY
     121                 :            :           && typecode == BYTEARRAY_TYPECODE)
     122                 :            :          || (MICROPY_PY_ARRAY
     123   [ -  +  -  +  :        496 :              && (mp_obj_is_type(initializer, &mp_type_bytes)
          -  +  -  +  +  
                -  +  + ]
     124   [ +  -  +  + ]:        466 :                  || (MICROPY_PY_BUILTINS_BYTEARRAY && mp_obj_is_type(initializer, &mp_type_bytearray)))))
     125         [ +  + ]:        508 :         && mp_get_buffer(initializer, &bufinfo, MP_BUFFER_READ)) {
     126                 :            :         // construct array from raw bytes
     127                 :            :         // we round-down the len to make it a multiple of sz (CPython raises error)
     128                 :        410 :         size_t sz = mp_binary_get_size('@', typecode, NULL);
     129                 :        410 :         size_t len = bufinfo.len / sz;
     130                 :        410 :         mp_obj_array_t *o = array_new(typecode, len);
     131                 :        406 :         memcpy(o->items, bufinfo.buf, len * sz);
     132                 :        406 :         return MP_OBJ_FROM_PTR(o);
     133                 :            :     }
     134                 :            : 
     135                 :        556 :     size_t len;
     136                 :            :     // Try to create array of exact len if initializer len is known
     137                 :        556 :     mp_obj_t len_in = mp_obj_len_maybe(initializer);
     138         [ +  + ]:        556 :     if (len_in == MP_OBJ_NULL) {
     139                 :            :         len = 0;
     140                 :            :     } else {
     141                 :        534 :         len = MP_OBJ_SMALL_INT_VALUE(len_in);
     142                 :            :     }
     143                 :            : 
     144                 :        556 :     mp_obj_array_t *array = array_new(typecode, len);
     145                 :            : 
     146                 :        552 :     mp_obj_t iterable = mp_getiter(initializer, NULL);
     147                 :        552 :     mp_obj_t item;
     148                 :        552 :     size_t i = 0;
     149         [ +  + ]:       5813 :     while ((item = mp_iternext(iterable)) != MP_OBJ_STOP_ITERATION) {
     150         [ +  + ]:       5260 :         if (len == 0) {
     151                 :       3814 :             array_append(MP_OBJ_FROM_PTR(array), item);
     152                 :            :         } else {
     153                 :       1446 :             mp_binary_set_val_array(typecode, array->items, i++, item);
     154                 :            :         }
     155                 :            :     }
     156                 :            : 
     157                 :            :     return MP_OBJ_FROM_PTR(array);
     158                 :            : }
     159                 :            : #endif
     160                 :            : 
     161                 :            : #if MICROPY_PY_ARRAY
     162                 :       1306 : STATIC mp_obj_t array_make_new(const mp_obj_type_t *type_in, size_t n_args, size_t n_kw, const mp_obj_t *args) {
     163                 :       1306 :     (void)type_in;
     164                 :       1306 :     mp_arg_check_num(n_args, n_kw, 1, 2, false);
     165                 :            : 
     166                 :            :     // get typecode
     167                 :       1306 :     const char *typecode = mp_obj_str_get_str(args[0]);
     168                 :            : 
     169         [ +  + ]:       1306 :     if (n_args == 1) {
     170                 :            :         // 1 arg: make an empty array
     171                 :        810 :         return MP_OBJ_FROM_PTR(array_new(*typecode, 0));
     172                 :            :     } else {
     173                 :            :         // 2 args: construct the array from the given object
     174                 :        496 :         return array_construct(*typecode, args[1]);
     175                 :            :     }
     176                 :            : }
     177                 :            : #endif
     178                 :            : 
     179                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY
     180                 :       3222 : STATIC mp_obj_t bytearray_make_new(const mp_obj_type_t *type_in, size_t n_args, size_t n_kw, const mp_obj_t *args) {
     181                 :       3222 :     (void)type_in;
     182                 :            :     // Can take 2nd/3rd arg if constructs from str
     183                 :       3222 :     mp_arg_check_num(n_args, n_kw, 0, 3, false);
     184                 :            : 
     185         [ +  + ]:       3222 :     if (n_args == 0) {
     186                 :            :         // no args: construct an empty bytearray
     187                 :         52 :         return MP_OBJ_FROM_PTR(array_new(BYTEARRAY_TYPECODE, 0));
     188   [ +  +  +  +  :       3170 :     } else if (mp_obj_is_int(args[0])) {
                   +  + ]
     189                 :            :         // 1 arg, an integer: construct a blank bytearray of that length
     190                 :       2696 :         mp_uint_t len = mp_obj_get_int(args[0]);
     191                 :       2692 :         mp_obj_array_t *o = array_new(BYTEARRAY_TYPECODE, len);
     192                 :       2688 :         memset(o->items, 0, len);
     193                 :       2688 :         return MP_OBJ_FROM_PTR(o);
     194                 :            :     } else {
     195                 :            :         // 1 arg: construct the bytearray from that
     196   [ +  +  +  -  :        474 :         if (mp_obj_is_str(args[0]) && n_args == 1) {
             -  +  +  + ]
     197                 :            :             #if MICROPY_ERROR_REPORTING <= MICROPY_ERROR_REPORTING_TERSE
     198                 :            :             // Match bytes_make_new.
     199                 :            :             mp_raise_TypeError(MP_ERROR_TEXT("wrong number of arguments"));
     200                 :            :             #else
     201                 :          4 :             mp_raise_TypeError(MP_ERROR_TEXT("string argument without an encoding"));
     202                 :            :             #endif
     203                 :            :         }
     204                 :        470 :         return array_construct(BYTEARRAY_TYPECODE, args[0]);
     205                 :            :     }
     206                 :            : }
     207                 :            : #endif
     208                 :            : 
     209                 :            : #if MICROPY_PY_BUILTINS_MEMORYVIEW
     210                 :            : 
     211                 :        656 : mp_obj_t mp_obj_new_memoryview(byte typecode, size_t nitems, void *items) {
     212                 :        656 :     mp_obj_array_t *self = m_new_obj(mp_obj_array_t);
     213                 :        652 :     mp_obj_memoryview_init(self, typecode, 0, nitems, items);
     214                 :        652 :     return MP_OBJ_FROM_PTR(self);
     215                 :            : }
     216                 :            : 
     217                 :        656 : STATIC mp_obj_t memoryview_make_new(const mp_obj_type_t *type_in, size_t n_args, size_t n_kw, const mp_obj_t *args) {
     218                 :        656 :     (void)type_in;
     219                 :            : 
     220                 :            :     // TODO possibly allow memoryview constructor to take start/stop so that one
     221                 :            :     // can do memoryview(b, 4, 8) instead of memoryview(b)[4:8] (uses less RAM)
     222                 :            : 
     223                 :        656 :     mp_arg_check_num(n_args, n_kw, 1, 1, false);
     224                 :            : 
     225                 :        656 :     mp_buffer_info_t bufinfo;
     226                 :        656 :     mp_get_buffer_raise(args[0], &bufinfo, MP_BUFFER_READ);
     227                 :            : 
     228                 :        656 :     mp_obj_array_t *self = MP_OBJ_TO_PTR(mp_obj_new_memoryview(bufinfo.typecode,
     229                 :            :         bufinfo.len / mp_binary_get_size('@', bufinfo.typecode, NULL),
     230                 :            :         bufinfo.buf));
     231                 :            : 
     232                 :            :     // If the input object is a memoryview then need to point the items of the
     233                 :            :     // new memoryview to the start of the buffer so the GC can trace it.
     234         [ +  + ]:        652 :     if (mp_obj_get_type(args[0]) == &mp_type_memoryview) {
     235                 :          8 :         mp_obj_array_t *other = MP_OBJ_TO_PTR(args[0]);
     236                 :          8 :         self->memview_offset = other->memview_offset;
     237                 :          8 :         self->items = other->items;
     238                 :            :     }
     239                 :            : 
     240                 :            :     // test if the object can be written to
     241         [ +  + ]:        652 :     if (mp_get_buffer(args[0], &bufinfo, MP_BUFFER_RW)) {
     242                 :        432 :         self->typecode |= MP_OBJ_ARRAY_TYPECODE_FLAG_RW; // indicate writable buffer
     243                 :            :     }
     244                 :            : 
     245                 :        652 :     return MP_OBJ_FROM_PTR(self);
     246                 :            : }
     247                 :            : 
     248                 :            : #if MICROPY_PY_BUILTINS_MEMORYVIEW_ITEMSIZE
     249                 :         72 : STATIC void memoryview_attr(mp_obj_t self_in, qstr attr, mp_obj_t *dest) {
     250         [ +  + ]:         72 :     if (dest[0] != MP_OBJ_NULL) {
     251                 :            :         return;
     252                 :            :     }
     253         [ +  + ]:         68 :     if (attr == MP_QSTR_itemsize) {
     254                 :         32 :         mp_obj_array_t *self = MP_OBJ_TO_PTR(self_in);
     255                 :         32 :         dest[0] = MP_OBJ_NEW_SMALL_INT(mp_binary_get_size('@', self->typecode & TYPECODE_MASK, NULL));
     256                 :            :     }
     257                 :            :     #if MICROPY_PY_BUILTINS_BYTES_HEX
     258                 :            :     else {
     259                 :            :         // Need to forward to locals dict.
     260                 :         36 :         dest[1] = MP_OBJ_SENTINEL;
     261                 :            :     }
     262                 :            :     #endif
     263                 :            : }
     264                 :            : #endif
     265                 :            : 
     266                 :            : #endif
     267                 :            : 
     268                 :      22967 : STATIC mp_obj_t array_unary_op(mp_unary_op_t op, mp_obj_t o_in) {
     269                 :      22967 :     mp_obj_array_t *o = MP_OBJ_TO_PTR(o_in);
     270      [ +  +  + ]:      22967 :     switch (op) {
     271                 :          8 :         case MP_UNARY_OP_BOOL:
     272         [ +  + ]:          8 :             return mp_obj_new_bool(o->len != 0);
     273                 :      22945 :         case MP_UNARY_OP_LEN:
     274                 :      22945 :             return MP_OBJ_NEW_SMALL_INT(o->len);
     275                 :            :         default:
     276                 :            :             return MP_OBJ_NULL;      // op not supported
     277                 :            :     }
     278                 :            : }
     279                 :            : 
     280                 :       1640 : STATIC int typecode_for_comparison(int typecode, bool *is_unsigned) {
     281         [ +  + ]:       1640 :     if (typecode == BYTEARRAY_TYPECODE) {
     282                 :            :         typecode = 'B';
     283                 :            :     }
     284         [ +  + ]:       1468 :     if (typecode <= 'Z') {
     285                 :       1040 :         typecode += 32; // to lowercase
     286                 :       1040 :         *is_unsigned = true;
     287                 :            :     }
     288                 :       1640 :     return typecode;
     289                 :            : }
     290                 :            : 
     291                 :        914 : STATIC mp_obj_t array_binary_op(mp_binary_op_t op, mp_obj_t lhs_in, mp_obj_t rhs_in) {
     292                 :        914 :     mp_obj_array_t *lhs = MP_OBJ_TO_PTR(lhs_in);
     293   [ +  +  +  +  :        914 :     switch (op) {
                      + ]
     294                 :         28 :         case MP_BINARY_OP_ADD: {
     295                 :            :             #if MICROPY_PY_BUILTINS_MEMORYVIEW
     296         [ +  + ]:         28 :             if (lhs->base.type == &mp_type_memoryview) {
     297                 :            :                 return MP_OBJ_NULL; // op not supported
     298                 :            :             }
     299                 :            :             #endif
     300                 :            : 
     301                 :            :             // allow to add anything that has the buffer protocol (extension to CPython)
     302                 :         16 :             mp_buffer_info_t lhs_bufinfo;
     303                 :         16 :             mp_buffer_info_t rhs_bufinfo;
     304                 :         16 :             array_get_buffer(lhs_in, &lhs_bufinfo, MP_BUFFER_READ);
     305                 :         16 :             mp_get_buffer_raise(rhs_in, &rhs_bufinfo, MP_BUFFER_READ);
     306                 :            : 
     307                 :         12 :             size_t sz = mp_binary_get_size('@', lhs_bufinfo.typecode, NULL);
     308                 :            : 
     309                 :            :             // convert byte count to element count (in case rhs is not multiple of sz)
     310                 :         12 :             size_t rhs_len = rhs_bufinfo.len / sz;
     311                 :            : 
     312                 :            :             // note: lhs->len is element count of lhs, lhs_bufinfo.len is byte count
     313                 :         12 :             mp_obj_array_t *res = array_new(lhs_bufinfo.typecode, lhs->len + rhs_len);
     314                 :          8 :             mp_seq_cat((byte *)res->items, lhs_bufinfo.buf, lhs_bufinfo.len, rhs_bufinfo.buf, rhs_len * sz, byte);
     315                 :          8 :             return MP_OBJ_FROM_PTR(res);
     316                 :            :         }
     317                 :            : 
     318                 :         20 :         case MP_BINARY_OP_INPLACE_ADD: {
     319                 :            :             #if MICROPY_PY_BUILTINS_MEMORYVIEW
     320         [ +  + ]:         20 :             if (lhs->base.type == &mp_type_memoryview) {
     321                 :            :                 return MP_OBJ_NULL; // op not supported
     322                 :            :             }
     323                 :            :             #endif
     324                 :         16 :             array_extend(lhs_in, rhs_in);
     325                 :         16 :             return lhs_in;
     326                 :            :         }
     327                 :            : 
     328                 :         30 :         case MP_BINARY_OP_CONTAINS: {
     329                 :            :             #if MICROPY_PY_BUILTINS_BYTEARRAY
     330                 :            :             // Can search string only in bytearray
     331                 :         30 :             mp_buffer_info_t lhs_bufinfo;
     332                 :         30 :             mp_buffer_info_t rhs_bufinfo;
     333         [ +  + ]:         30 :             if (mp_get_buffer(rhs_in, &rhs_bufinfo, MP_BUFFER_READ)) {
     334   [ +  -  +  + ]:         24 :                 if (!mp_obj_is_type(lhs_in, &mp_type_bytearray)) {
     335                 :            :                     return mp_const_false;
     336                 :            :                 }
     337                 :         20 :                 array_get_buffer(lhs_in, &lhs_bufinfo, MP_BUFFER_READ);
     338         [ +  + ]:         28 :                 return mp_obj_new_bool(
     339                 :         20 :                     find_subbytes(lhs_bufinfo.buf, lhs_bufinfo.len, rhs_bufinfo.buf, rhs_bufinfo.len, 1) != NULL);
     340                 :            :             }
     341                 :            :             #endif
     342                 :            : 
     343                 :            :             // Otherwise, can only look for a scalar numeric value in an array
     344   [ +  +  +  -  :          6 :             if (mp_obj_is_int(rhs_in) || mp_obj_is_float(rhs_in)) {
          +  -  -  +  -  
          +  -  +  -  +  
             +  -  -  + ]
     345                 :          2 :                 mp_raise_NotImplementedError(NULL);
     346                 :            :             }
     347                 :            : 
     348                 :            :             return mp_const_false;
     349                 :            :         }
     350                 :            : 
     351                 :        824 :         case MP_BINARY_OP_EQUAL:
     352                 :            :         case MP_BINARY_OP_LESS:
     353                 :            :         case MP_BINARY_OP_LESS_EQUAL:
     354                 :            :         case MP_BINARY_OP_MORE:
     355                 :            :         case MP_BINARY_OP_MORE_EQUAL: {
     356                 :        824 :             mp_buffer_info_t lhs_bufinfo;
     357                 :        824 :             mp_buffer_info_t rhs_bufinfo;
     358                 :        824 :             array_get_buffer(lhs_in, &lhs_bufinfo, MP_BUFFER_READ);
     359         [ +  + ]:        824 :             if (!mp_get_buffer(rhs_in, &rhs_bufinfo, MP_BUFFER_READ)) {
     360                 :            :                 return mp_const_false;
     361                 :            :             }
     362                 :            :             // mp_seq_cmp_bytes is used so only compatible representations can be correctly compared.
     363                 :            :             // The type doesn't matter: array/bytearray/str/bytes all have the same buffer layout, so
     364                 :            :             // just check if the typecodes are compatible; for testing equality the types should have the
     365                 :            :             // same code except for signedness, and not be floating point because nan never equals nan.
     366                 :            :             // For > and < the types should be the same and unsigned.
     367                 :            :             // Note that typecode_for_comparison always returns lowercase letters to save code size.
     368                 :            :             // No need for (& TYPECODE_MASK) here: xxx_get_buffer already takes care of that.
     369                 :        820 :             bool is_unsigned = false;
     370                 :        820 :             const int lhs_code = typecode_for_comparison(lhs_bufinfo.typecode, &is_unsigned);
     371                 :        820 :             const int rhs_code = typecode_for_comparison(rhs_bufinfo.typecode, &is_unsigned);
     372   [ +  +  +  +  :        820 :             if (lhs_code == rhs_code && lhs_code != 'f' && lhs_code != 'd' && (op == MP_BINARY_OP_EQUAL || is_unsigned)) {
             +  +  +  - ]
     373         [ +  + ]:        648 :                 return mp_obj_new_bool(mp_seq_cmp_bytes(op, lhs_bufinfo.buf, lhs_bufinfo.len, rhs_bufinfo.buf, rhs_bufinfo.len));
     374                 :            :             }
     375                 :            :             // mp_obj_equal_not_equal treats returning MP_OBJ_NULL as 'fall back to pointer comparison'
     376                 :            :             // for MP_BINARY_OP_EQUAL but that is incompatible with CPython.
     377                 :        368 :             mp_raise_NotImplementedError(NULL);
     378                 :            :         }
     379                 :            : 
     380                 :            :         default:
     381                 :            :             return MP_OBJ_NULL; // op not supported
     382                 :            :     }
     383                 :            : }
     384                 :            : 
     385                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY || MICROPY_PY_ARRAY
     386                 :       3864 : STATIC mp_obj_t array_append(mp_obj_t self_in, mp_obj_t arg) {
     387                 :            :     // self is not a memoryview, so we don't need to use (& TYPECODE_MASK)
     388   [ +  -  +  +  :       3864 :     assert((MICROPY_PY_BUILTINS_BYTEARRAY && mp_obj_is_type(self_in, &mp_type_bytearray))
             +  -  -  + ]
     389                 :            :         || (MICROPY_PY_ARRAY && mp_obj_is_type(self_in, &mp_type_array)));
     390                 :       3864 :     mp_obj_array_t *self = MP_OBJ_TO_PTR(self_in);
     391                 :            : 
     392         [ +  + ]:       3864 :     if (self->free == 0) {
     393                 :        514 :         size_t item_sz = mp_binary_get_size('@', self->typecode, NULL);
     394                 :            :         // TODO: alloc policy
     395                 :        514 :         self->free = 8;
     396                 :        514 :         self->items = m_renew(byte, self->items, item_sz * self->len, item_sz * (self->len + self->free));
     397                 :        512 :         mp_seq_clear(self->items, self->len + 1, self->len + self->free, item_sz);
     398                 :            :     }
     399                 :       3862 :     mp_binary_set_val_array(self->typecode, self->items, self->len, arg);
     400                 :            :     // only update length/free if set succeeded
     401                 :       3860 :     self->len++;
     402                 :       3860 :     self->free--;
     403                 :       3860 :     return mp_const_none; // return None, as per CPython
     404                 :            : }
     405                 :            : MP_DEFINE_CONST_FUN_OBJ_2(mp_obj_array_append_obj, array_append);
     406                 :            : 
     407                 :         28 : STATIC mp_obj_t array_extend(mp_obj_t self_in, mp_obj_t arg_in) {
     408                 :            :     // self is not a memoryview, so we don't need to use (& TYPECODE_MASK)
     409   [ +  -  +  +  :         28 :     assert((MICROPY_PY_BUILTINS_BYTEARRAY && mp_obj_is_type(self_in, &mp_type_bytearray))
             +  -  -  + ]
     410                 :            :         || (MICROPY_PY_ARRAY && mp_obj_is_type(self_in, &mp_type_array)));
     411                 :         28 :     mp_obj_array_t *self = MP_OBJ_TO_PTR(self_in);
     412                 :            : 
     413                 :            :     // allow to extend by anything that has the buffer protocol (extension to CPython)
     414                 :         28 :     mp_buffer_info_t arg_bufinfo;
     415                 :         28 :     mp_get_buffer_raise(arg_in, &arg_bufinfo, MP_BUFFER_READ);
     416                 :            : 
     417                 :         28 :     size_t sz = mp_binary_get_size('@', self->typecode, NULL);
     418                 :            : 
     419                 :            :     // convert byte count to element count
     420                 :         28 :     size_t len = arg_bufinfo.len / sz;
     421                 :            : 
     422                 :            :     // make sure we have enough room to extend
     423                 :            :     // TODO: alloc policy; at the moment we go conservative
     424         [ +  + ]:         28 :     if (self->free < len) {
     425                 :         24 :         self->items = m_renew(byte, self->items, (self->len + self->free) * sz, (self->len + len) * sz);
     426                 :         16 :         self->free = 0;
     427                 :            :     } else {
     428                 :          4 :         self->free -= len;
     429                 :            :     }
     430                 :            : 
     431                 :            :     // extend
     432                 :         20 :     mp_seq_copy((byte *)self->items + self->len * sz, arg_bufinfo.buf, len * sz, byte);
     433                 :         20 :     self->len += len;
     434                 :            : 
     435                 :         20 :     return mp_const_none;
     436                 :            : }
     437                 :            : MP_DEFINE_CONST_FUN_OBJ_2(mp_obj_array_extend_obj, array_extend);
     438                 :            : #endif
     439                 :            : 
     440                 :   16825216 : STATIC mp_obj_t array_subscr(mp_obj_t self_in, mp_obj_t index_in, mp_obj_t value) {
     441         [ +  + ]:   16825216 :     if (value == MP_OBJ_NULL) {
     442                 :            :         // delete item
     443                 :            :         // TODO implement
     444                 :            :         // TODO: confirmed that both bytearray and array.array support
     445                 :            :         // slice deletion
     446                 :            :         return MP_OBJ_NULL; // op not supported
     447                 :            :     } else {
     448                 :   16825214 :         mp_obj_array_t *o = MP_OBJ_TO_PTR(self_in);
     449                 :            :         #if MICROPY_PY_BUILTINS_SLICE
     450   [ -  +  -  +  :   16825214 :         if (mp_obj_is_type(index_in, &mp_type_slice)) {
          -  +  -  +  +  
                +  +  - ]
     451                 :       6740 :             mp_bound_slice_t slice;
     452         [ +  + ]:       6740 :             if (!mp_seq_get_fast_slice_indexes(o->len, index_in, &slice)) {
     453                 :          2 :                 mp_raise_NotImplementedError(MP_ERROR_TEXT("only slices with step=1 (aka None) are supported"));
     454                 :            :             }
     455         [ +  + ]:       6738 :             if (value != MP_OBJ_SENTINEL) {
     456                 :            :                 #if MICROPY_PY_ARRAY_SLICE_ASSIGN
     457                 :            :                 // Assign
     458                 :       4024 :                 size_t src_len;
     459                 :       4024 :                 void *src_items;
     460                 :       4024 :                 size_t item_sz = mp_binary_get_size('@', o->typecode & TYPECODE_MASK, NULL);
     461   [ +  -  +  -  :       4024 :                 if (mp_obj_is_obj(value) && MP_OBJ_TYPE_GET_SLOT_OR_NULL(((mp_obj_base_t *)MP_OBJ_TO_PTR(value))->type, subscr) == array_subscr) {
                   +  + ]
     462                 :            :                     // value is array, bytearray or memoryview
     463                 :       2406 :                     mp_obj_array_t *src_slice = MP_OBJ_TO_PTR(value);
     464         [ +  + ]:       2406 :                     if (item_sz != mp_binary_get_size('@', src_slice->typecode & TYPECODE_MASK, NULL)) {
     465                 :          4 :                     compat_error:
     466                 :         20 :                         mp_raise_ValueError(MP_ERROR_TEXT("lhs and rhs should be compatible"));
     467                 :            :                     }
     468                 :       2402 :                     src_len = src_slice->len;
     469                 :       2402 :                     src_items = src_slice->items;
     470                 :            :                     #if MICROPY_PY_BUILTINS_MEMORYVIEW
     471   [ +  -  +  + ]:       2402 :                     if (mp_obj_is_type(value, &mp_type_memoryview)) {
     472                 :       2332 :                         src_items = (uint8_t *)src_items + (src_slice->memview_offset * item_sz);
     473                 :            :                     }
     474                 :            :                     #endif
     475   [ -  +  -  +  :       1618 :                 } else if (mp_obj_is_type(value, &mp_type_bytes)) {
          -  +  -  +  +  
                -  +  + ]
     476         [ +  + ]:       1616 :                     if (item_sz != 1) {
     477                 :          4 :                         goto compat_error;
     478                 :            :                     }
     479                 :       1612 :                     mp_buffer_info_t bufinfo;
     480                 :       1612 :                     mp_get_buffer_raise(value, &bufinfo, MP_BUFFER_READ);
     481                 :       1612 :                     src_len = bufinfo.len;
     482                 :       1612 :                     src_items = bufinfo.buf;
     483                 :            :                 } else {
     484                 :          2 :                     mp_raise_NotImplementedError(MP_ERROR_TEXT("array/bytes required on right side"));
     485                 :            :                 }
     486                 :            : 
     487                 :            :                 // TODO: check src/dst compat
     488                 :       4014 :                 mp_int_t len_adj = src_len - (slice.stop - slice.start);
     489                 :       4014 :                 uint8_t *dest_items = o->items;
     490                 :            :                 #if MICROPY_PY_BUILTINS_MEMORYVIEW
     491         [ +  + ]:       4014 :                 if (o->base.type == &mp_type_memoryview) {
     492         [ +  + ]:         48 :                     if (!(o->typecode & MP_OBJ_ARRAY_TYPECODE_FLAG_RW)) {
     493                 :            :                         // store to read-only memoryview not allowed
     494                 :            :                         return MP_OBJ_NULL;
     495                 :            :                     }
     496         [ +  + ]:         44 :                     if (len_adj != 0) {
     497                 :         12 :                         goto compat_error;
     498                 :            :                     }
     499                 :         32 :                     dest_items += o->memview_offset * item_sz;
     500                 :            :                 }
     501                 :            :                 #endif
     502         [ +  + ]:       3998 :                 if (len_adj > 0) {
     503         [ +  + ]:       1620 :                     if ((size_t)len_adj > o->free) {
     504                 :            :                         // TODO: alloc policy; at the moment we go conservative
     505                 :       1592 :                         o->items = m_renew(byte, o->items, (o->len + o->free) * item_sz, (o->len + len_adj) * item_sz);
     506                 :       1588 :                         o->free = len_adj;
     507                 :       1588 :                         dest_items = o->items;
     508                 :            :                     }
     509                 :       1616 :                     mp_seq_replace_slice_grow_inplace(dest_items, o->len,
     510                 :       1616 :                         slice.start, slice.stop, src_items, src_len, len_adj, item_sz);
     511                 :            :                 } else {
     512                 :       2378 :                     mp_seq_replace_slice_no_grow(dest_items, o->len,
     513                 :       2378 :                         slice.start, slice.stop, src_items, src_len, item_sz);
     514                 :            :                     // Clear "freed" elements at the end of list
     515                 :            :                     // TODO: This is actually only needed for typecode=='O'
     516                 :       2378 :                     mp_seq_clear(dest_items, o->len + len_adj, o->len, item_sz);
     517                 :            :                     // TODO: alloc policy after shrinking
     518                 :            :                 }
     519                 :       3994 :                 o->free -= len_adj;
     520                 :       3994 :                 o->len += len_adj;
     521                 :       3994 :                 return mp_const_none;
     522                 :            :                 #else
     523                 :            :                 return MP_OBJ_NULL; // op not supported
     524                 :            :                 #endif
     525                 :            :             }
     526                 :            : 
     527                 :       2714 :             mp_obj_array_t *res;
     528                 :       2714 :             size_t sz = mp_binary_get_size('@', o->typecode & TYPECODE_MASK, NULL);
     529         [ -  + ]:       2714 :             assert(sz > 0);
     530                 :            :             #if MICROPY_PY_BUILTINS_MEMORYVIEW
     531         [ +  + ]:       2714 :             if (o->base.type == &mp_type_memoryview) {
     532         [ +  + ]:       2434 :                 if (slice.start > memview_offset_max) {
     533                 :          4 :                     mp_raise_msg(&mp_type_OverflowError, MP_ERROR_TEXT("memoryview offset too large"));
     534                 :            :                 }
     535                 :       2430 :                 res = m_new_obj(mp_obj_array_t);
     536                 :       2426 :                 *res = *o;
     537                 :       2426 :                 res->memview_offset += slice.start;
     538                 :       2426 :                 res->len = slice.stop - slice.start;
     539                 :            :             } else
     540                 :            :             #endif
     541                 :            :             {
     542                 :        280 :                 res = array_new(o->typecode, slice.stop - slice.start);
     543                 :        276 :                 memcpy(res->items, (uint8_t *)o->items + slice.start * sz, (slice.stop - slice.start) * sz);
     544                 :            :             }
     545                 :       2702 :             return MP_OBJ_FROM_PTR(res);
     546                 :            :         } else
     547                 :            :         #endif
     548                 :            :         {
     549                 :   16818474 :             size_t index = mp_get_index(o->base.type, o->len, index_in, false);
     550                 :            :             #if MICROPY_PY_BUILTINS_MEMORYVIEW
     551         [ +  + ]:   17863279 :             if (o->base.type == &mp_type_memoryview) {
     552                 :         66 :                 index += o->memview_offset;
     553   [ +  +  +  + ]:         66 :                 if (value != MP_OBJ_SENTINEL && !(o->typecode & MP_OBJ_ARRAY_TYPECODE_FLAG_RW)) {
     554                 :            :                     // store to read-only memoryview
     555                 :            :                     return MP_OBJ_NULL;
     556                 :            :                 }
     557                 :            :             }
     558                 :            :             #endif
     559         [ +  + ]:   17863257 :             if (value == MP_OBJ_SENTINEL) {
     560                 :            :                 // load
     561                 :   10412933 :                 return mp_binary_get_val_array(o->typecode & TYPECODE_MASK, o->items, index);
     562                 :            :             } else {
     563                 :            :                 // store
     564                 :    7450342 :                 mp_binary_set_val_array(o->typecode & TYPECODE_MASK, o->items, index, value);
     565                 :    7450342 :                 return mp_const_none;
     566                 :            :             }
     567                 :            :         }
     568                 :            :     }
     569                 :            : }
     570                 :            : 
     571                 :       3308 : STATIC mp_int_t array_get_buffer(mp_obj_t o_in, mp_buffer_info_t *bufinfo, mp_uint_t flags) {
     572                 :       3308 :     mp_obj_array_t *o = MP_OBJ_TO_PTR(o_in);
     573                 :       3308 :     size_t sz = mp_binary_get_size('@', o->typecode & TYPECODE_MASK, NULL);
     574                 :       3308 :     bufinfo->buf = o->items;
     575                 :       3308 :     bufinfo->len = o->len * sz;
     576                 :       3308 :     bufinfo->typecode = o->typecode & TYPECODE_MASK;
     577                 :            :     #if MICROPY_PY_BUILTINS_MEMORYVIEW
     578         [ +  + ]:       3308 :     if (o->base.type == &mp_type_memoryview) {
     579   [ +  +  +  + ]:        140 :         if (!(o->typecode & MP_OBJ_ARRAY_TYPECODE_FLAG_RW) && (flags & MP_BUFFER_WRITE)) {
     580                 :            :             // read-only memoryview
     581                 :            :             return 1;
     582                 :            :         }
     583                 :        136 :         bufinfo->buf = (uint8_t *)bufinfo->buf + (size_t)o->memview_offset * sz;
     584                 :            :     }
     585                 :            :     #else
     586                 :            :     (void)flags;
     587                 :            :     #endif
     588                 :            :     return 0;
     589                 :            : }
     590                 :            : 
     591                 :            : #if MICROPY_PY_ARRAY
     592                 :            : MP_DEFINE_CONST_OBJ_TYPE(
     593                 :            :     mp_type_array,
     594                 :            :     MP_QSTR_array,
     595                 :            :     MP_TYPE_FLAG_ITER_IS_GETITER,
     596                 :            :     make_new, array_make_new,
     597                 :            :     print, array_print,
     598                 :            :     iter, array_iterator_new,
     599                 :            :     unary_op, array_unary_op,
     600                 :            :     binary_op, array_binary_op,
     601                 :            :     subscr, array_subscr,
     602                 :            :     buffer, array_get_buffer,
     603                 :            :     locals_dict, &mp_obj_array_locals_dict
     604                 :            :     );
     605                 :            : #endif
     606                 :            : 
     607                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY
     608                 :            : MP_DEFINE_CONST_OBJ_TYPE(
     609                 :            :     mp_type_bytearray,
     610                 :            :     MP_QSTR_bytearray,
     611                 :            :     MP_TYPE_FLAG_EQ_CHECKS_OTHER_TYPE | MP_TYPE_FLAG_ITER_IS_GETITER,
     612                 :            :     make_new, bytearray_make_new,
     613                 :            :     print, array_print,
     614                 :            :     iter, array_iterator_new,
     615                 :            :     unary_op, array_unary_op,
     616                 :            :     binary_op, array_binary_op,
     617                 :            :     subscr, array_subscr,
     618                 :            :     buffer, array_get_buffer,
     619                 :            :     locals_dict, &mp_obj_bytearray_locals_dict
     620                 :            :     );
     621                 :            : #endif
     622                 :            : 
     623                 :            : #if MICROPY_PY_BUILTINS_MEMORYVIEW
     624                 :            : #if MICROPY_PY_BUILTINS_MEMORYVIEW_ITEMSIZE
     625                 :            : #define MEMORYVIEW_TYPE_ATTR attr, memoryview_attr,
     626                 :            : #else
     627                 :            : #define MEMORYVIEW_TYPE_ATTR
     628                 :            : #endif
     629                 :            : 
     630                 :            : #if MICROPY_PY_BUILTINS_BYTES_HEX
     631                 :            : #define MEMORYVIEW_TYPE_LOCALS_DICT locals_dict, &mp_obj_memoryview_locals_dict,
     632                 :            : #else
     633                 :            : #define MEMORYVIEW_TYPE_LOCALS_DICT
     634                 :            : #endif
     635                 :            : 
     636                 :            : MP_DEFINE_CONST_OBJ_TYPE(
     637                 :            :     mp_type_memoryview,
     638                 :            :     MP_QSTR_memoryview,
     639                 :            :     MP_TYPE_FLAG_EQ_CHECKS_OTHER_TYPE | MP_TYPE_FLAG_ITER_IS_GETITER,
     640                 :            :     make_new, memoryview_make_new,
     641                 :            :     iter, array_iterator_new,
     642                 :            :     unary_op, array_unary_op,
     643                 :            :     binary_op, array_binary_op,
     644                 :            :     MEMORYVIEW_TYPE_LOCALS_DICT
     645                 :            :     MEMORYVIEW_TYPE_ATTR
     646                 :            :     subscr, array_subscr,
     647                 :            :     buffer, array_get_buffer
     648                 :            :     );
     649                 :            : #endif // MICROPY_PY_BUILTINS_MEMORYVIEW
     650                 :            : 
     651                 :            : /* unused
     652                 :            : size_t mp_obj_array_len(mp_obj_t self_in) {
     653                 :            :     return ((mp_obj_array_t *)self_in)->len;
     654                 :            : }
     655                 :            : */
     656                 :            : 
     657                 :            : #if MICROPY_PY_BUILTINS_BYTEARRAY
     658                 :        102 : mp_obj_t mp_obj_new_bytearray(size_t n, const void *items) {
     659                 :        102 :     mp_obj_array_t *o = array_new(BYTEARRAY_TYPECODE, n);
     660                 :        102 :     memcpy(o->items, items, n);
     661                 :        102 :     return MP_OBJ_FROM_PTR(o);
     662                 :            : }
     663                 :            : 
     664                 :            : // Create bytearray which references specified memory area
     665                 :        176 : mp_obj_t mp_obj_new_bytearray_by_ref(size_t n, void *items) {
     666                 :        176 :     mp_obj_array_t *o = mp_obj_malloc(mp_obj_array_t, &mp_type_bytearray);
     667                 :        176 :     o->typecode = BYTEARRAY_TYPECODE;
     668                 :        176 :     o->free = 0;
     669                 :        176 :     o->len = n;
     670                 :        176 :     o->items = items;
     671                 :        176 :     return MP_OBJ_FROM_PTR(o);
     672                 :            : }
     673                 :            : #endif
     674                 :            : 
     675                 :            : /******************************************************************************/
     676                 :            : // array iterator
     677                 :            : 
     678                 :            : typedef struct _mp_obj_array_it_t {
     679                 :            :     mp_obj_base_t base;
     680                 :            :     mp_obj_array_t *array;
     681                 :            :     size_t offset;
     682                 :            :     size_t cur;
     683                 :            : } mp_obj_array_it_t;
     684                 :            : 
     685                 :       4386 : STATIC mp_obj_t array_it_iternext(mp_obj_t self_in) {
     686                 :       4386 :     mp_obj_array_it_t *self = MP_OBJ_TO_PTR(self_in);
     687         [ +  + ]:       4386 :     if (self->cur < self->array->len) {
     688                 :       4268 :         return mp_binary_get_val_array(self->array->typecode & TYPECODE_MASK, self->array->items, self->offset + self->cur++);
     689                 :            :     } else {
     690                 :            :         return MP_OBJ_STOP_ITERATION;
     691                 :            :     }
     692                 :            : }
     693                 :            : 
     694                 :            : STATIC MP_DEFINE_CONST_OBJ_TYPE(
     695                 :            :     mp_type_array_it,
     696                 :            :     MP_QSTR_iterator,
     697                 :            :     MP_TYPE_FLAG_ITER_IS_ITERNEXT,
     698                 :            :     iter, array_it_iternext
     699                 :            :     );
     700                 :            : 
     701                 :        118 : STATIC mp_obj_t array_iterator_new(mp_obj_t array_in, mp_obj_iter_buf_t *iter_buf) {
     702                 :        118 :     assert(sizeof(mp_obj_array_t) <= sizeof(mp_obj_iter_buf_t));
     703                 :        118 :     mp_obj_array_t *array = MP_OBJ_TO_PTR(array_in);
     704                 :        118 :     mp_obj_array_it_t *o = (mp_obj_array_it_t *)iter_buf;
     705                 :        118 :     o->base.type = &mp_type_array_it;
     706                 :        118 :     o->array = array;
     707                 :        118 :     o->offset = 0;
     708                 :        118 :     o->cur = 0;
     709                 :            :     #if MICROPY_PY_BUILTINS_MEMORYVIEW
     710         [ +  + ]:        118 :     if (array->base.type == &mp_type_memoryview) {
     711                 :         76 :         o->offset = array->memview_offset;
     712                 :            :     }
     713                 :            :     #endif
     714                 :        118 :     return MP_OBJ_FROM_PTR(o);
     715                 :            : }
     716                 :            : 
     717                 :            : #endif // MICROPY_PY_ARRAY || MICROPY_PY_BUILTINS_BYTEARRAY || MICROPY_PY_BUILTINS_MEMORYVIEW

Generated by: LCOV version 1.15-5-g462f71d