Update app.py

app.py

@@ -81,20 +81,39 @@ def process_query(query_text: str, vectorstore):
             for doc, score in results
         ])
         
+        # Формируем промпт в формате, который понимает T5
+        prompt = f"question: {query_text} context: {context_text}"
+        
         # Формируем строковый промпт для модели
-        prompt = f"Answer the question based on the following context:\n{context_text}\n\nQuestion: {query_text}"
+        #prompt = f"Answer the question based on the following context:\n{context_text}\n\nQuestion: {query_text}"
         
         # Используем модель t5-base для text2text-generation
+        #model = HuggingFaceEndpoint(
+        #    repo_id="t5-base",
+        #    task="text2text-generation",
+        #    temperature=0.5,
+        #    max_length=512,
+        #    # huggingfacehub_api_token=os.getenv("HUGGINGFACEHUB_API_TOKEN")  # Раскомментируйте, если нужен токен
+        #)
+
+        # Инициализация модели с базовыми параметрами
         model = HuggingFaceEndpoint(
-            repo_id="t5-base",
+            repo_id="google/flan-t5-small",  # Используем Flan-T5 вместо t5-base
             task="text2text-generation",
-            temperature=0.5,
-            max_length=512,
-            # huggingfacehub_api_token=os.getenv("HUGGINGFACEHUB_API_TOKEN")  # Раскомментируйте, если нужен токен
         )
         
         # Передаем строковый промпт
-        response_text = model.invoke(prompt)
+        #response_text = model.invoke(prompt)
+
+        # Вызов модели с параметрами генерации
+        response_text = model.invoke(
+            prompt,
+            generation_kwargs={
+                "max_length": 512,
+                "temperature": 0.5,
+                "repetition_penalty": 1.2
+            }
+        )
         
         sources = list(set([doc.metadata.get("source", "") for doc, _ in results]))
         return response_text, sources