llama : expose model name and architecture via API

nomic-ai · Sep 26, 2024 · fce09ac · fce09ac
1 parent acc0c90
commit fce09ac
Show file tree

Hide file tree

Showing 2 changed files with 18 additions and 0 deletions.
diff --git a/include/llama.h b/include/llama.h
@@ -878,6 +878,12 @@ extern "C" {
     // shape: [n_embd] (1-dimensional)
     LLAMA_API float * llama_get_embeddings_seq(struct llama_context * ctx, llama_seq_id seq_id);
 
+    //
+    // Model Info
+    //
+    LLAMA_API const char * llama_model_name(const struct llama_model * model);
+    LLAMA_API const char * llama_model_arch(const struct llama_model * model);
+
     //
     // Vocab
     //

diff --git a/src/llama.cpp b/src/llama.cpp
@@ -20922,6 +20922,18 @@ float * llama_get_embeddings_seq(struct llama_context * ctx, llama_seq_id seq_id
     return it->second.data();
 }
 
+//
+// Model Info
+//
+
+const char * llama_model_name(const struct llama_model * model) {
+    return model->name.c_str();
+}
+
+const char * llama_model_arch(const struct llama_model * model) {
+    return LLM_ARCH_NAMES.at(model->arch);
+}
+
 //
 // vocab
 //