Merge branch 'upstream' into concedo_experimental

# Conflicts: # src/llama.cpp
2026-09-19 17:25:07 +02:00 · 2024-08-10 22:53:42 +08:00
parent da8a96199c 6e02327e8b
commit 7fab499b79
8 changed files with 719 additions and 338 deletions
@@ -2157,7 +2157,9 @@ struct llama_init_result llama_init_from_gpt_params(gpt_params & params) {
            tmp.clear();
            tmp.push_back(decoder_start_token_id);
        }
-        llama_decode(lctx, llama_batch_get_one(tmp.data(), std::min(tmp.size(), (size_t) params.n_batch), 0, 0));
+        if (llama_model_has_decoder(model)) {
+            llama_decode(lctx, llama_batch_get_one(tmp.data(), std::min(tmp.size(), (size_t) params.n_batch), 0, 0));
+        }
        llama_kv_cache_clear(lctx);
        llama_synchronize(lctx);
        llama_reset_timings(lctx);