granite-guardian-4.1-8b-gptq-4bit
Versão GPTQ 4-bit de ibm-granite/granite-guardian-4.1-8b.
Quantização
- Método: GPTQ
- Bits: 4
- Group size: 128
- Biblioteca: GPTQModel
- Dataset de calibração: 500 amostras fixas do allenai/c4 (250 inglês + 250 português), as mesmas para todos os modelos quantizados nesta série.
Gerado automaticamente.
- Downloads last month
- 4
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Model tree for marcusnogueira/granite-guardian-4.1-8b-gptq-4bit
Base model
ibm-granite/granite-4.1-8b Finetuned
ibm-granite/granite-guardian-4.1-8b