Update handler.py

handler.py

@@ -18,7 +18,6 @@ class EndpointHandler:
             self.processor = AutoProcessor.from_pretrained(
                 model_dir, trust_remote_code=True, torch_dtype="auto", device_map="auto"
             )
-            self.processor.tokenizer.padding_side = "left"
 
             self.model = AutoModelForCausalLM.from_pretrained(
                 model_dir,
@@ -36,6 +35,8 @@ class EndpointHandler:
         en vez de un único 'prompt' replicado.
         """
         try:
+            self.processor.tokenizer.padding_side = "left"
+            
             # Construimos el texto que va antes del prompt real
             batch_texts = [f"User: {p} Assistant:" for p in prompts_list]
 
@@ -45,17 +46,6 @@ class EndpointHandler:
                 for text in batch_texts
             ]
 
-            # tokens_list = [
-            #     self.processor.tokenizer.encode(
-            #         " " + text,
-            #         add_special_tokens=False,
-            #         padding='longest',  # Asegura que todas las secuencias tengan la misma longitud
-            #         truncation=True,  # Opcional: trunca si hay una longitud máxima definida
-            #         max_length=1536  # Asegurar que no se pase del límite del modelo
-            #     )
-            #     for text in batch_texts
-            # ]
-
             outputs_list = []
             images_kwargs = {
                 "max_crops": images_config.get("max_crops", 12) if images_config else 12,