diff --git a/ggml/src/ggml-alloc.c b/ggml/src/ggml-alloc.c index 43378302e50c25..3b989303f9af62 100644 --- a/ggml/src/ggml-alloc.c +++ b/ggml/src/ggml-alloc.c @@ -92,7 +92,6 @@ void ggml_tallocr_alloc(struct ggml_tallocr * talloc, struct ggml_tensor * tenso fprintf(stderr, "%s: not enough space in the buffer to allocate %s (needed %zu, available %zu)\n", __func__, tensor->name, size, ggml_backend_buffer_get_size(talloc->buffer) - talloc->offset); GGML_ASSERT(!"not enough space in the buffer"); - return; } void * addr = (char *)ggml_backend_buffer_get_base(talloc->buffer) + talloc->offset; diff --git a/ggml/src/ggml.c b/ggml/src/ggml.c index 09bc0fa3273f12..ff775abf0434be 100644 --- a/ggml/src/ggml.c +++ b/ggml/src/ggml.c @@ -3903,7 +3903,7 @@ struct ggml_tensor * ggml_set_i32 (struct ggml_tensor * tensor, int32_t value) { default: { GGML_ASSERT(false); - } break; + } } return tensor; @@ -3962,7 +3962,7 @@ struct ggml_tensor * ggml_set_f32(struct ggml_tensor * tensor, float value) { default: { GGML_ASSERT(false); - } break; + } } return tensor; @@ -4034,8 +4034,6 @@ int32_t ggml_get_i32_1d(const struct ggml_tensor * tensor, int i) { GGML_ASSERT(false); } } - - return 0.0f; } void ggml_set_i32_1d(const struct ggml_tensor * tensor, int i, int32_t value) { @@ -4079,7 +4077,7 @@ void ggml_set_i32_1d(const struct ggml_tensor * tensor, int i, int32_t value) { default: { GGML_ASSERT(false); - } break; + } } } @@ -4101,8 +4099,6 @@ int32_t ggml_get_i32_nd(const struct ggml_tensor * tensor, int i0, int i1, int i default: GGML_ASSERT(false); } - - return 0.0f; } void ggml_set_i32_nd(const struct ggml_tensor * tensor, int i0, int i1, int i2, int i3, int32_t value) { @@ -4135,7 +4131,7 @@ void ggml_set_i32_nd(const struct ggml_tensor * tensor, int i0, int i1, int i2, default: { GGML_ASSERT(false); - } break; + } } } @@ -4175,8 +4171,6 @@ float ggml_get_f32_1d(const struct ggml_tensor * tensor, int i) { GGML_ASSERT(false); } } - - return 0.0f; } void ggml_set_f32_1d(const struct ggml_tensor * tensor, int i, float value) { @@ -4214,7 +4208,7 @@ void ggml_set_f32_1d(const struct ggml_tensor * tensor, int i, float value) { default: { GGML_ASSERT(false); - } break; + } } } @@ -4236,8 +4230,6 @@ float ggml_get_f32_nd(const struct ggml_tensor * tensor, int i0, int i1, int i2, default: GGML_ASSERT(false); } - - return 0.0f; } void ggml_set_f32_nd(const struct ggml_tensor * tensor, int i0, int i1, int i2, int i3, float value) { @@ -4270,7 +4262,7 @@ void ggml_set_f32_nd(const struct ggml_tensor * tensor, int i0, int i1, int i2, default: { GGML_ASSERT(false); - } break; + } } } @@ -9042,7 +9034,7 @@ static void ggml_compute_forward_dup( default: { GGML_ASSERT(false); - } break; + } } } @@ -9522,7 +9514,7 @@ static void ggml_compute_forward_add( default: { GGML_ASSERT(false); - } break; + } } } @@ -9900,7 +9892,7 @@ static void ggml_compute_forward_add1( default: { GGML_ASSERT(false); - } break; + } } } @@ -10025,7 +10017,7 @@ static void ggml_compute_forward_acc( default: { GGML_ASSERT(false); - } break; + } } } @@ -10106,7 +10098,7 @@ static void ggml_compute_forward_sub( default: { GGML_ASSERT(false); - } break; + } } } @@ -10200,7 +10192,7 @@ static void ggml_compute_forward_mul( default: { GGML_ASSERT(false); - } break; + } } } @@ -10291,7 +10283,7 @@ static void ggml_compute_forward_div( default: { GGML_ASSERT(false); - } break; + } } } @@ -10336,7 +10328,7 @@ static void ggml_compute_forward_sqr( default: { GGML_ASSERT(false); - } break; + } } } @@ -10381,7 +10373,7 @@ static void ggml_compute_forward_sqrt( default: { GGML_ASSERT(false); - } break; + } } } @@ -10426,7 +10418,7 @@ static void ggml_compute_forward_log( default: { GGML_ASSERT(false); - } break; + } } } @@ -10555,7 +10547,7 @@ static void ggml_compute_forward_sum( default: { GGML_ASSERT(false); - } break; + } } } @@ -10608,7 +10600,7 @@ static void ggml_compute_forward_sum_rows( default: { GGML_ASSERT(false); - } break; + } } } @@ -10665,7 +10657,7 @@ static void ggml_compute_forward_mean( default: { GGML_ASSERT(false); - } break; + } } } @@ -10713,7 +10705,7 @@ static void ggml_compute_forward_argmax( default: { GGML_ASSERT(false); - } break; + } } } @@ -10831,7 +10823,7 @@ static void ggml_compute_forward_repeat( default: { GGML_ASSERT(false); - } break; + } } } @@ -10909,7 +10901,7 @@ static void ggml_compute_forward_repeat_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -10978,7 +10970,7 @@ static void ggml_compute_forward_concat( default: { GGML_ASSERT(false); - } break; + } } } @@ -11022,7 +11014,7 @@ static void ggml_compute_forward_abs( default: { GGML_ASSERT(false); - } break; + } } } @@ -11066,7 +11058,7 @@ static void ggml_compute_forward_sgn( default: { GGML_ASSERT(false); - } break; + } } } @@ -11110,7 +11102,7 @@ static void ggml_compute_forward_neg( default: { GGML_ASSERT(false); - } break; + } } } @@ -11154,7 +11146,7 @@ static void ggml_compute_forward_step( default: { GGML_ASSERT(false); - } break; + } } } @@ -11198,7 +11190,7 @@ static void ggml_compute_forward_tanh( default: { GGML_ASSERT(false); - } break; + } } } @@ -11242,7 +11234,7 @@ static void ggml_compute_forward_elu( default: { GGML_ASSERT(false); - } break; + } } } @@ -11286,7 +11278,7 @@ static void ggml_compute_forward_relu( default: { GGML_ASSERT(false); - } break; + } } } @@ -11330,7 +11322,7 @@ static void ggml_compute_forward_sigmoid( default: { GGML_ASSERT(false); - } break; + } } } @@ -11389,7 +11381,7 @@ static void ggml_compute_forward_gelu( default: { GGML_ASSERT(false); - } break; + } } } @@ -11448,7 +11440,7 @@ static void ggml_compute_forward_gelu_quick( default: { GGML_ASSERT(false); - } break; + } } } @@ -11507,7 +11499,7 @@ static void ggml_compute_forward_silu( default: { GGML_ASSERT(false); - } break; + } } } // ggml_compute_forward_leaky_relu @@ -11556,7 +11548,7 @@ static void ggml_compute_forward_leaky_relu( default: { GGML_ASSERT(false); - } break; + } } } @@ -11619,7 +11611,7 @@ static void ggml_compute_forward_silu_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -11661,7 +11653,7 @@ static void ggml_compute_forward_hardswish( default: { GGML_ASSERT(false); - } break; + } } } @@ -11703,7 +11695,7 @@ static void ggml_compute_forward_hardsigmoid( default: { GGML_ASSERT(false); - } break; + } } } @@ -11775,7 +11767,7 @@ static void ggml_compute_forward_norm( default: { GGML_ASSERT(false); - } break; + } } } @@ -11843,7 +11835,7 @@ static void ggml_compute_forward_rms_norm( default: { GGML_ASSERT(false); - } break; + } } } @@ -12016,7 +12008,7 @@ static void ggml_compute_forward_rms_norm_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -12110,7 +12102,7 @@ static void ggml_compute_forward_group_norm( default: { GGML_ASSERT(false); - } break; + } } } @@ -12870,7 +12862,7 @@ static void ggml_compute_forward_out_prod( { GGML_ASSERT(false); // todo // ggml_compute_forward_out_prod_f16_f32(params, dst); - } break; + } case GGML_TYPE_F32: { ggml_compute_forward_out_prod_f32(params, dst); @@ -12878,7 +12870,7 @@ static void ggml_compute_forward_out_prod( default: { GGML_ASSERT(false); - } break; + } } } @@ -12938,7 +12930,7 @@ static void ggml_compute_forward_scale( default: { GGML_ASSERT(false); - } break; + } } } @@ -13054,7 +13046,7 @@ static void ggml_compute_forward_set( default: { GGML_ASSERT(false); - } break; + } } } @@ -13332,7 +13324,7 @@ static void ggml_compute_forward_get_rows( default: { GGML_ASSERT(false); - } break; + } } //static bool first = true; @@ -13440,7 +13432,7 @@ static void ggml_compute_forward_get_rows_back( default: { GGML_ASSERT(false); - } break; + } } //static bool first = true; @@ -13518,7 +13510,7 @@ static void ggml_compute_forward_diag( default: { GGML_ASSERT(false); - } break; + } } } @@ -13588,7 +13580,7 @@ static void ggml_compute_forward_diag_mask_inf( default: { GGML_ASSERT(false); - } break; + } } } @@ -13606,7 +13598,7 @@ static void ggml_compute_forward_diag_mask_zero( default: { GGML_ASSERT(false); - } break; + } } } @@ -13724,7 +13716,7 @@ static void ggml_compute_forward_soft_max( default: { GGML_ASSERT(false); - } break; + } } } @@ -13820,7 +13812,7 @@ static void ggml_compute_forward_soft_max_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -13911,7 +13903,7 @@ static void ggml_compute_forward_clamp( case GGML_TYPE_COUNT: { GGML_ASSERT(false); - } break; + } } } @@ -14241,7 +14233,7 @@ static void ggml_compute_forward_rope( default: { GGML_ASSERT(false); - } break; + } } } @@ -14265,7 +14257,7 @@ static void ggml_compute_forward_rope_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -14465,7 +14457,7 @@ static void ggml_compute_forward_conv_transpose_1d( default: { GGML_ASSERT(false); - } break; + } } } @@ -14637,7 +14629,7 @@ static void ggml_compute_forward_im2col( default: { GGML_ASSERT(false); - } break; + } } } @@ -14769,20 +14761,20 @@ static void ggml_compute_forward_pool_1d_sk_p0( switch (op) { case GGML_OP_POOL_AVG: drow[i] = 0; break; case GGML_OP_POOL_MAX: drow[i] = -FLT_MAX; break; - case GGML_OP_POOL_COUNT: GGML_ASSERT(false); break; + case GGML_OP_POOL_COUNT: GGML_ASSERT(false); } for (int ki = 0; ki < k; ++ki) { switch (op) { case GGML_OP_POOL_AVG: drow[i] += srow[j]; break; case GGML_OP_POOL_MAX: if (srow[j] > drow[i]) drow[i] = srow[j]; break; - case GGML_OP_POOL_COUNT: GGML_ASSERT(false); break; + case GGML_OP_POOL_COUNT: GGML_ASSERT(false); } ++j; } switch (op) { case GGML_OP_POOL_AVG: drow[i] /= k; break; case GGML_OP_POOL_MAX: break; - case GGML_OP_POOL_COUNT: GGML_ASSERT(false); break; + case GGML_OP_POOL_COUNT: GGML_ASSERT(false); } } @@ -14851,7 +14843,7 @@ static void ggml_compute_forward_pool_2d( switch (op) { case GGML_OP_POOL_AVG: *out = 0; break; case GGML_OP_POOL_MAX: *out = -FLT_MAX; break; - case GGML_OP_POOL_COUNT: GGML_ASSERT(false); break; + case GGML_OP_POOL_COUNT: GGML_ASSERT(false); } const int ix = offset0 + ox * s0; @@ -14866,14 +14858,14 @@ static void ggml_compute_forward_pool_2d( switch (op) { case GGML_OP_POOL_AVG: *out += srow[j]; break; case GGML_OP_POOL_MAX: if (srow[j] > *out) *out = srow[j]; break; - case GGML_OP_POOL_COUNT: GGML_ASSERT(false); break; + case GGML_OP_POOL_COUNT: GGML_ASSERT(false); } } } switch (op) { case GGML_OP_POOL_AVG: *out /= ka; break; case GGML_OP_POOL_MAX: break; - case GGML_OP_POOL_COUNT: GGML_ASSERT(false); break; + case GGML_OP_POOL_COUNT: GGML_ASSERT(false); } } } @@ -14938,7 +14930,7 @@ static void ggml_compute_forward_upscale( default: { GGML_ASSERT(false); - } break; + } } } @@ -14996,7 +14988,7 @@ static void ggml_compute_forward_pad( default: { GGML_ASSERT(false); - } break; + } } } @@ -15037,7 +15029,7 @@ static void ggml_compute_forward_arange( default: { GGML_ASSERT(false); - } break; + } } } @@ -15088,7 +15080,7 @@ static void ggml_compute_forward_timestep_embedding( default: { GGML_ASSERT(false); - } break; + } } } @@ -15147,7 +15139,7 @@ static void ggml_compute_forward_argsort( default: { GGML_ASSERT(false); - } break; + } } } @@ -15370,7 +15362,7 @@ static void ggml_compute_forward_flash_attn_ext( default: { GGML_ASSERT(false); - } break; + } } } @@ -15706,7 +15698,7 @@ static void ggml_compute_forward_flash_attn_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -15828,7 +15820,7 @@ static void ggml_compute_forward_ssm_conv( default: { GGML_ASSERT(false); - } break; + } } } @@ -15949,7 +15941,7 @@ static void ggml_compute_forward_ssm_scan( default: { GGML_ASSERT(false); - } break; + } } } @@ -16012,7 +16004,7 @@ static void ggml_compute_forward_win_part( default: { GGML_ASSERT(false); - } break; + } } } @@ -16073,7 +16065,7 @@ static void ggml_compute_forward_win_unpart( default: { GGML_ASSERT(false); - } break; + } } } @@ -16141,7 +16133,7 @@ static void ggml_compute_forward_unary( default: { GGML_ASSERT(false); - } break; + } } } @@ -16188,7 +16180,7 @@ static void ggml_compute_forward_get_rel_pos( default: { GGML_ASSERT(false); - } break; + } } } @@ -16269,7 +16261,7 @@ static void ggml_compute_forward_add_rel_pos( default: { GGML_ASSERT(false); - } break; + } } } @@ -16315,7 +16307,7 @@ static void ggml_compute_forward_map_unary( default: { GGML_ASSERT(false); - } break; + } } } @@ -16364,7 +16356,7 @@ static void ggml_compute_forward_map_binary( default: { GGML_ASSERT(false); - } break; + } } } @@ -16563,7 +16555,7 @@ static void ggml_compute_forward_cross_entropy_loss( default: { GGML_ASSERT(false); - } break; + } } } @@ -16650,7 +16642,7 @@ static void ggml_compute_forward_cross_entropy_loss_back( default: { GGML_ASSERT(false); - } break; + } } } @@ -16986,7 +16978,7 @@ static void ggml_compute_forward(struct ggml_compute_params * params, struct ggm case GGML_OP_COUNT: { GGML_ASSERT(false); - } break; + } } } @@ -17376,7 +17368,7 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_ARGMAX: { GGML_ASSERT(false); // TODO: implement - } break; + } case GGML_OP_REPEAT: { // necessary for llama @@ -17400,15 +17392,15 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_CONCAT: { GGML_ASSERT(false); // TODO: implement - } break; + } case GGML_OP_SILU_BACK: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_NORM: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_RMS_NORM: { // necessary for llama @@ -17425,11 +17417,11 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_RMS_NORM_BACK: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_GROUP_NORM: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_MUL_MAT: { // https://cs231n.github.io/optimization-2/#staged @@ -17491,11 +17483,11 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_MUL_MAT_ID: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_OUT_PROD: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_SCALE: { // necessary for llama @@ -17672,11 +17664,11 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_GET_ROWS_BACK: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_DIAG: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_DIAG_MASK_INF: { // necessary for llama @@ -17715,7 +17707,7 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_SOFT_MAX_BACK: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_ROPE: { // necessary for llama @@ -17791,51 +17783,51 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_CLAMP: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_CONV_TRANSPOSE_1D: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_IM2COL: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_CONV_TRANSPOSE_2D: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_POOL_1D: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_POOL_2D: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_UPSCALE: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_PAD: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_ARANGE: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_TIMESTEP_EMBEDDING: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_ARGSORT: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_LEAKY_RELU: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_FLASH_ATTN_EXT: { struct ggml_tensor * flash_grad = NULL; @@ -17892,12 +17884,12 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_FLASH_ATTN_BACK: { GGML_ASSERT(false); // not supported - } break; + } case GGML_OP_SSM_CONV: case GGML_OP_SSM_SCAN: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_OP_WIN_PART: case GGML_OP_WIN_UNPART: case GGML_OP_UNARY: @@ -17936,11 +17928,11 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_UNARY_OP_TANH: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_UNARY_OP_ELU: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_UNARY_OP_RELU: { if (src0->grad) { @@ -17955,15 +17947,15 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_UNARY_OP_SIGMOID: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_UNARY_OP_GELU: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_UNARY_OP_GELU_QUICK: { GGML_ASSERT(false); // TODO: not implemented - } break; + } case GGML_UNARY_OP_SILU: { // necessary for llama @@ -17990,7 +17982,7 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_MAP_CUSTOM3: { GGML_ASSERT(false); // not supported - } break; + } case GGML_OP_CROSS_ENTROPY_LOSS: { if (src0->grad) { @@ -18006,7 +17998,7 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_CROSS_ENTROPY_LOSS_BACK: { GGML_ASSERT(false); // not supported - } break; + } case GGML_OP_NONE: { // nop @@ -18014,7 +18006,7 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor case GGML_OP_COUNT: { GGML_ASSERT(false); - } break; + } } for (int i = 0; i < GGML_MAX_SRC; ++i) { @@ -18599,7 +18591,7 @@ static int ggml_get_n_tasks(struct ggml_tensor * node, int n_threads) { case GGML_OP_COUNT: { GGML_ASSERT(false); - } break; + } default: { fprintf(stderr, "%s: op not implemented: ", __func__); @@ -18609,7 +18601,7 @@ static int ggml_get_n_tasks(struct ggml_tensor * node, int n_threads) { fprintf(stderr, "%d\n", node->op); } GGML_ASSERT(false); - } break; + } } assert(n_tasks > 0); @@ -18766,7 +18758,7 @@ struct ggml_cplan ggml_graph_plan(const struct ggml_cgraph * cgraph, int n_threa case GGML_OP_COUNT: { GGML_ASSERT(false); - } break; + } default: break; } @@ -20002,7 +19994,7 @@ static enum ggml_opt_result linesearch_backtracking( GGML_ASSERT(false && "line search failed"); - return GGML_LINESEARCH_FAIL; + //return GGML_LINESEARCH_FAIL; } static enum ggml_opt_result ggml_opt_lbfgs( @@ -20272,7 +20264,7 @@ static enum ggml_opt_result ggml_opt_lbfgs( GGML_ASSERT(false && "lbfgs failed"); - return GGML_OPT_RESULT_DID_NOT_CONVERGE; + //return GGML_OPT_RESULT_DID_NOT_CONVERGE; } struct ggml_opt_params ggml_opt_default_params(enum ggml_opt_type type) { @@ -20967,7 +20959,7 @@ struct gguf_context * gguf_init_from_file(const char * fname, struct gguf_init_p } } break; case GGUF_TYPE_ARRAY: - default: GGML_ASSERT(false && "invalid type"); break; + default: GGML_ASSERT(false && "invalid type"); } } break; default: GGML_ASSERT(false && "invalid type"); @@ -21556,7 +21548,7 @@ void gguf_set_kv(struct gguf_context * ctx, struct gguf_context * src) { gguf_set_arr_data(ctx, src->kv[i].key.data, src->kv[i].value.arr.type, src->kv[i].value.arr.data, src->kv[i].value.arr.n); } } break; - default: GGML_ASSERT(false && "invalid type"); break; + default: GGML_ASSERT(false && "invalid type"); } } } @@ -21736,7 +21728,7 @@ static void gguf_write_to_buf(const struct gguf_context * ctx, struct gguf_buf * } } break; case GGUF_TYPE_ARRAY: - default: GGML_ASSERT(false && "invalid type"); break; + default: GGML_ASSERT(false && "invalid type"); } } break; default: GGML_ASSERT(false && "invalid type"); diff --git a/src/llama-vocab.cpp b/src/llama-vocab.cpp index c482b36899a1cc..66f517036e23eb 100644 --- a/src/llama-vocab.cpp +++ b/src/llama-vocab.cpp @@ -153,7 +153,7 @@ static uint8_t llama_token_to_byte(const llama_vocab & vocab, llama_token id) { } case LLAMA_VOCAB_TYPE_BPE: { GGML_ASSERT(false); - return unicode_utf8_to_byte(token_data.text); // TODO: why is this here after GGML_ASSERT? + //return unicode_utf8_to_byte(token_data.text); // TODO: why is this here after GGML_ASSERT? } case LLAMA_VOCAB_TYPE_WPM: { GGML_ASSERT(false); diff --git a/src/llama.cpp b/src/llama.cpp index bc0183741db4e4..5c96ad374c7a3c 100644 --- a/src/llama.cpp +++ b/src/llama.cpp @@ -2260,7 +2260,6 @@ struct llama_hparams { } GGML_ASSERT(false); - return 0; } uint32_t n_head_kv(uint32_t il = 0) const { @@ -2269,7 +2268,6 @@ struct llama_hparams { } GGML_ASSERT(false); - return 0; } uint32_t n_ff(uint32_t il = 0) const { @@ -2278,7 +2276,6 @@ struct llama_hparams { } GGML_ASSERT(false); - return 0; } uint32_t n_gqa(uint32_t il = 0) const { @@ -8636,7 +8633,7 @@ struct llm_build_context { default: { GGML_ASSERT(false && "unknown pooling type"); - } break; + } } cb(cur, "result_embd_pooled", -1); @@ -14688,7 +14685,7 @@ static int llama_decode_internal( case LLAMA_POOLING_TYPE_UNSPECIFIED: { GGML_ASSERT(false && "unknown pooling type"); - } break; + } } } n_outputs_prev += lctx.n_outputs; @@ -16905,7 +16902,6 @@ enum llama_rope_type llama_rope_type(const struct llama_model * model) { // all model arches should be listed explicitly here case LLM_ARCH_UNKNOWN: GGML_ASSERT(false && "unknown architecture"); - break; } return LLAMA_ROPE_TYPE_NONE;