Update app.py

app.py

@@ -12,6 +12,7 @@ import os
 #sft_model = "somosnlp/RecetasDeLaAbuela_mistral-7b-instruct-v0.2-bnb-4bit"
 #base_model_name = "unsloth/Mistral-7B-Instruct-v0.2"
 sft_model = "somosnlp/RecetasDeLaAbuela_gemma-2b-it-bnb-4bit"
+sft_model2 = "somosnlp/RecetasDeLaAbuela_mistral-7b-instruct-v0.2-bnb-4bit"
 base_model_name = "unsloth/gemma-2b-it-bnb-4bit"
 
 bnb_config = BitsAndBytesConfig(
@@ -66,7 +67,13 @@ stopping_criteria = ListOfTokensStoppingCriteria(tokenizer, stop_tokens)
 # Añade tu criterio de parada a una StoppingCriteriaList
 stopping_criteria_list = StoppingCriteriaList([stopping_criteria])
 
-def generate_text(prompt, context, max_length=2100):
+def generate_text(modelin, prompt, context, max_length=2100):
+  print('Modelo es: '+modelin)
+  if (modelin is not sft_model):
+      sft_model = modelin
+      ft_model = PeftModel.from_pretrained(base_model, sft_model)
+      model = ft_model.merge_and_unload()
+
   prompt=prompt.replace("\n", "").replace("¿","").replace("?","")
   input_text = f'''<bos><start_of_turn>system ¿{context}?<end_of_turn><start_of_turn>user ¿{prompt}?<end_of_turn><start_of_turn>model'''
   inputs = tokenizer.encode(input_text, return_tensors="pt", add_special_tokens=False).to("cuda:0")
@@ -82,9 +89,9 @@ def generate_text(prompt, context, max_length=2100):
   outputs = model.generate(generation_config=generation_config, input_ids=inputs, stopping_criteria=stopping_criteria_list,)
   return tokenizer.decode(outputs[0], skip_special_tokens=False) #True
 
-def mostrar_respuesta(pregunta, contexto):
+def mostrar_respuesta(modelo, pregunta, contexto):
     try:
-      res= generate_text(pregunta, contexto, max_length=500)
+      res= generate_text(modelo, pregunta, contexto, max_length=500)
       return str(res)
     except Exception as e:
       return str(e)
@@ -96,9 +103,14 @@ mis_ejemplos = [
     ["¿Como se cocinan unos autenticos frijoles?"],
 ]
 
+
+modelo = ["somosnlp/RecetasDeLaAbuela_gemma-2b-it-bnb-4bit", "somosnlp/RecetasDeLaAbuela_mistral-7b-instruct-v0.2-bnb-4bit"]
+
 iface = gr.Interface(
     fn=mostrar_respuesta,
-    inputs=[gr.Textbox(label="Pregunta"), gr.Textbox(label="Contexto", value="You are a helpful AI assistant. Eres un experto cocinero hispanoamericano."),],
+    inputs=[gr.Dropdown(modelos, type="index"),
+        gr.Textbox(label="Pregunta"), 
+        gr.Textbox(label="Contexto", value="You are a helpful AI assistant. Eres un experto cocinero hispanoamericano."),],
     outputs=[gr.Textbox(label="Respuesta", lines=2),],
     title="Recetas de la Abuel@",
     description="Introduce tu pregunta sobre recetas de cocina.",