From fce09acf87a6244a4ba24dc3bd86dfc8334c4130 Mon Sep 17 00:00:00 2001 From: Jared Van Bortel Date: Tue, 5 Mar 2024 17:31:43 -0500 Subject: [PATCH] llama : expose model name and architecture via API --- include/llama.h | 6 ++++++ src/llama.cpp | 12 ++++++++++++ 2 files changed, 18 insertions(+) diff --git a/include/llama.h b/include/llama.h index 17bf4d5c68fb0..9fec0784d2bfd 100644 --- a/include/llama.h +++ b/include/llama.h @@ -878,6 +878,12 @@ extern "C" { // shape: [n_embd] (1-dimensional) LLAMA_API float * llama_get_embeddings_seq(struct llama_context * ctx, llama_seq_id seq_id); + // + // Model Info + // + LLAMA_API const char * llama_model_name(const struct llama_model * model); + LLAMA_API const char * llama_model_arch(const struct llama_model * model); + // // Vocab // diff --git a/src/llama.cpp b/src/llama.cpp index f52c3ae55c80f..6a319daecbd10 100644 --- a/src/llama.cpp +++ b/src/llama.cpp @@ -20922,6 +20922,18 @@ float * llama_get_embeddings_seq(struct llama_context * ctx, llama_seq_id seq_id return it->second.data(); } +// +// Model Info +// + +const char * llama_model_name(const struct llama_model * model) { + return model->name.c_str(); +} + +const char * llama_model_arch(const struct llama_model * model) { + return LLM_ARCH_NAMES.at(model->arch); +} + // // vocab //