Update app.py

app.py

@@ -1,25 +1,46 @@
+# app.py
+import os
 import gradio as gr
-from transformers import pipeline
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
-MODEL_NAME = "speakleash/Bielik-1.5B-v3.0-Instruct"
+MODEL = "speakleash/Bielik-1.5B-v3.0-Instruct"
+HF_TOKEN = os.environ.get("HF_TOKEN")
 
-# Tworzymy pipeline
-chat = pipeline(
-    "text-generation",
-    model=MODEL_NAME,
-    device_map="auto"  # automatycznie wybierze CPU lub GPU
-)
+if not HF_TOKEN:
+    raise RuntimeError(
+        "Brak HF_TOKEN. Dodaj secret 'HF_TOKEN' w ustawieniach Space (Settings → Secrets)."
+    )
+
+# jawne ładowanie z tokenem (upewniamy się, że auth token jest przekazany)
+token_kwargs = {"use_auth_token": HF_TOKEN}
+
+tokenizer = AutoTokenizer.from_pretrained(MODEL, **token_kwargs)
+model = AutoModelForCausalLM.from_pretrained(MODEL, device_map="auto", **token_kwargs)
+
+chat_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
 
-# Funkcja do obsługi czatu
 def respond(message, history):
-    output = chat(
-        message,
-        max_length=256,
+    # proste sklejenie kontekstu z historii (opcjonalne, można rozbudować)
+    prompt = ""
+    if history:
+        for u, b in history:
+            prompt += f"User: {u}\nAssistant: {b}\n"
+    prompt += f"User: {message}\nAssistant:"
+
+    out = chat_pipe(
+        prompt,
+        max_new_tokens=256,
         do_sample=True,
         temperature=0.7,
         top_p=0.9
     )
-    return output[0]['generated_text']
+    gen = out[0]["generated_text"]
+
+    # odczytanie tylko nowo wygenerowanej części (usuwamy prompt, jeśli model go powtórzył)
+    reply = gen[len(prompt):] if gen.startswith(prompt) else gen
+
+    history = history or []
+    history.append((message, reply))
+    return reply, history
 
-# Interfejs czatu
 gr.ChatInterface(respond).launch()