Hugging Face's logo

mlc-ai
/
WizardMath-7B-V1.0-q4f16_1-MLC

MLC-LLM
web-llm
Model card Files
xet
 Community
WizardMath-7B-V1.0-q4f16_1-MLC / logs.txt
CharlieFRuan's picture
CharlieFRuan
Initial commit
e2d128e
Raw
History Blame Contribute Delete
307 kB
python -m mlc_chat gen_config /models/WizardMath-7B-V1.0 --quantization q4f16_1 --conv-template wizard_coder_or_math --output /tmp/tmp3rxs2lx1
[2023-12-17 15:53:19] INFO auto_config.py:116: Found model configuration: /models/WizardMath-7B-V1.0/config.json
[2023-12-17 15:53:19] INFO auto_config.py:155: Found model type: llama. Use `--model-type` to override.
[2023-12-17 15:53:19] INFO llama_model.py:49: context_window_size not found in config.json. Falling back to max_position_embeddings (2048)
[2023-12-17 15:53:19] INFO gen_config.py:114: [generation_config.json] Setting bos_token_id: 1
[2023-12-17 15:53:19] INFO gen_config.py:114: [generation_config.json] Setting eos_token_id: 2
[2023-12-17 15:53:19] INFO gen_config.py:114: [generation_config.json] Setting pad_token_id: 0
[2023-12-17 15:53:19] INFO gen_config.py:128: Not found tokenizer config: /models/WizardMath-7B-V1.0/tokenizer.model
[2023-12-17 15:53:19] INFO gen_config.py:126: Found tokenizer config: /models/WizardMath-7B-V1.0/tokenizer.json. Copying to /tmp/tmp3rxs2lx1/tokenizer.json
[2023-12-17 15:53:19] INFO gen_config.py:128: Not found tokenizer config: /models/WizardMath-7B-V1.0/vocab.json
[2023-12-17 15:53:19] INFO gen_config.py:128: Not found tokenizer config: /models/WizardMath-7B-V1.0/merges.txt
[2023-12-17 15:53:19] INFO gen_config.py:126: Found tokenizer config: /models/WizardMath-7B-V1.0/added_tokens.json. Copying to /tmp/tmp3rxs2lx1/added_tokens.json
[2023-12-17 15:53:19] INFO gen_config.py:126: Found tokenizer config: /models/WizardMath-7B-V1.0/tokenizer_config.json. Copying to /tmp/tmp3rxs2lx1/tokenizer_config.json
[2023-12-17 15:53:19] INFO gen_config.py:68: [System default] Setting temperature: 0.7
[2023-12-17 15:53:19] INFO gen_config.py:68: [System default] Setting repetition_penalty: 1.0
[2023-12-17 15:53:19] INFO gen_config.py:68: [System default] Setting top_p: 0.95
[2023-12-17 15:53:19] INFO gen_config.py:68: [System default] Setting mean_gen_len: 128
[2023-12-17 15:53:19] INFO gen_config.py:68: [System default] Setting max_gen_len: 512
[2023-12-17 15:53:19] INFO gen_config.py:68: [System default] Setting shift_fill_factor: 0.3
[2023-12-17 15:53:19] INFO gen_config.py:156: Dumping configuration file to: /tmp/tmp3rxs2lx1/mlc-chat-config.json
python -m mlc_chat convert_weight /models/WizardMath-7B-V1.0 --quantization q4f16_1 --source-format auto --output /tmp/tmp3rxs2lx1
[2023-12-17 15:53:19] INFO auto_config.py:116: Found model configuration: /models/WizardMath-7B-V1.0/config.json
[2023-12-17 15:53:20] INFO auto_device.py:75: Found device: cuda:0
[2023-12-17 15:53:20] INFO auto_device.py:75: Found device: cuda:1
[2023-12-17 15:53:20] INFO auto_device.py:84: Not found device: rocm:0
[2023-12-17 15:53:20] INFO auto_device.py:84: Not found device: metal:0
[2023-12-17 15:53:20] INFO auto_device.py:75: Found device: vulkan:0
[2023-12-17 15:53:20] INFO auto_device.py:75: Found device: vulkan:1
[2023-12-17 15:53:20] INFO auto_device.py:75: Found device: vulkan:2
[2023-12-17 15:53:21] INFO auto_device.py:84: Not found device: opencl:0
[2023-12-17 15:53:21] INFO auto_device.py:33: Using device: cuda:0
[2023-12-17 15:53:21] INFO auto_weight.py:70: Finding weights in: /models/WizardMath-7B-V1.0
[2023-12-17 15:53:21] INFO auto_weight.py:120: Found source weight format: huggingface-torch. Source configuration: /models/WizardMath-7B-V1.0/pytorch_model.bin.index.json
[2023-12-17 15:53:21] INFO auto_weight.py:149: Not found Huggingface Safetensor
[2023-12-17 15:53:21] INFO auto_weight.py:106: Using source weight configuration: /models/WizardMath-7B-V1.0/pytorch_model.bin.index.json. Use `--source` to override.
[2023-12-17 15:53:21] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
[2023-12-17 15:53:21] INFO auto_config.py:155: Found model type: llama. Use `--model-type` to override.
[2023-12-17 15:53:21] INFO llama_model.py:49: context_window_size not found in config.json. Falling back to max_position_embeddings (2048)
Weight conversion with arguments:
 --config /models/WizardMath-7B-V1.0/config.json
 --quantization GroupQuantize(name='q4f16_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float16', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
 --model-type llama
 --device cuda:0
 --source /models/WizardMath-7B-V1.0/pytorch_model.bin.index.json
 --source-format huggingface-torch
 --output /tmp/tmp3rxs2lx1
 0%| | 0/195 [00:00<?, ?it/s] [2023-12-17 15:53:24] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-7B-V1.0/pytorch_model-00003-of-00003.bin
 0%| | 0/195 [00:00<?, ?it/s] [2023-12-17 15:53:38] INFO group_quantization.py:199: Compiling quantize function for key: (32001, 4096, 'float16', 'cuda')
 0%| | 0/195 [00:14<?, ?it/s] [2023-12-17 15:53:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_weight", shape: (32001, 512), dtype: uint32
 0%| | 0/195 [00:15<?, ?it/s] [2023-12-17 15:53:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_scale", shape: (32001, 128), dtype: float16
 0%| | 0/195 [00:15<?, ?it/s] 1%|▊ | 1/195 [00:15<50:32, 15.63s/it] [2023-12-17 15:53:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.23.input_layernorm.weight", shape: (4096,), dtype: float16
 1%|▊ | 1/195 [00:15<50:32, 15.63s/it] [2023-12-17 15:53:40] INFO group_quantization.py:199: Compiling quantize function for key: (4096, 11008, 'float16', 'cuda')
 1%|▊ | 1/195 [00:15<50:32, 15.63s/it] [2023-12-17 15:53:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 1%|▊ | 1/195 [00:16<50:32, 15.63s/it] [2023-12-17 15:53:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 1%|▊ | 1/195 [00:16<50:32, 15.63s/it] 2%|██▎ | 3/195 [00:16<13:36, 4.25s/it] [2023-12-17 15:53:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.23.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 2%|██▎ | 3/195 [00:16<13:36, 4.25s/it] [2023-12-17 15:53:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.24.input_layernorm.weight", shape: (4096,), dtype: float16
 2%|██▎ | 3/195 [00:16<13:36, 4.25s/it] [2023-12-17 15:53:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 2%|██▎ | 3/195 [00:16<13:36, 4.25s/it] [2023-12-17 15:53:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 2%|██▎ | 3/195 [00:16<13:36, 4.25s/it] 3%|████▌ | 6/195 [00:16<05:17, 1.68s/it] [2023-12-17 15:53:40] INFO group_quantization.py:199: Compiling quantize function for key: (22016, 4096, 'float16', 'cuda')
 3%|████▌ | 6/195 [00:16<05:17, 1.68s/it] [2023-12-17 15:53:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 3%|████▌ | 6/195 [00:17<05:17, 1.68s/it] [2023-12-17 15:53:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 3%|████▌ | 6/195 [00:17<05:17, 1.68s/it] [2023-12-17 15:53:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.24.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 3%|████▌ | 6/195 [00:17<05:17, 1.68s/it] 4%|██████ | 8/195 [00:17<03:44, 1.20s/it] [2023-12-17 15:53:41] INFO group_quantization.py:199: Compiling quantize function for key: (12288, 4096, 'float16', 'cuda')
 4%|██████ | 8/195 [00:17<03:44, 1.20s/it] [2023-12-17 15:53:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 4%|██████ | 8/195 [00:17<03:44, 1.20s/it] [2023-12-17 15:53:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 4%|██████ | 8/195 [00:17<03:44, 1.20s/it] 5%|██████▊ | 9/195 [00:17<03:19, 1.07s/it] [2023-12-17 15:53:42] INFO group_quantization.py:199: Compiling quantize function for key: (4096, 4096, 'float16', 'cuda')
 5%|██████▊ | 9/195 [00:17<03:19, 1.07s/it] [2023-12-17 15:53:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 5%|██████▊ | 9/195 [00:18<03:19, 1.07s/it] [2023-12-17 15:53:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 5%|██████▊ | 9/195 [00:18<03:19, 1.07s/it] 5%|███████▍ | 10/195 [00:18<02:51, 1.08it/s] [2023-12-17 15:53:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.25.input_layernorm.weight", shape: (4096,), dtype: float16
 5%|███████▍ | 10/195 [00:18<02:51, 1.08it/s] [2023-12-17 15:53:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 5%|███████▍ | 10/195 [00:18<02:51, 1.08it/s] [2023-12-17 15:53:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 5%|███████▍ | 10/195 [00:18<02:51, 1.08it/s] 6%|████████▉ | 12/195 [00:18<01:48, 1.68it/s] [2023-12-17 15:53:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 6%|████████▉ | 12/195 [00:18<01:48, 1.68it/s] [2023-12-17 15:53:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 6%|████████▉ | 12/195 [00:18<01:48, 1.68it/s] 7%|█████████▋ | 13/195 [00:18<01:40, 1.81it/s] [2023-12-17 15:53:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.25.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 7%|█████████▋ | 13/195 [00:18<01:40, 1.81it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 7%|█████████▋ | 13/195 [00:18<01:40, 1.81it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 7%|█████████▋ | 13/195 [00:18<01:40, 1.81it/s] 8%|███████████▏ | 15/195 [00:18<01:08, 2.61it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 8%|███████████▏ | 15/195 [00:19<01:08, 2.61it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 8%|███████████▏ | 15/195 [00:19<01:08, 2.61it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.26.input_layernorm.weight", shape: (4096,), dtype: float16
 8%|███████████▏ | 15/195 [00:19<01:08, 2.61it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 8%|███████████▏ | 15/195 [00:19<01:08, 2.61it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 8%|███████████▏ | 15/195 [00:19<01:08, 2.61it/s] 9%|█████████████▍ | 18/195 [00:19<00:43, 4.05it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 9%|█████████████▍ | 18/195 [00:19<00:43, 4.05it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 9%|█████████████▍ | 18/195 [00:19<00:43, 4.05it/s] 10%|██████████████▏ | 19/195 [00:19<00:48, 3.65it/s] [2023-12-17 15:53:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.26.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 10%|██████████████▏ | 19/195 [00:19<00:48, 3.65it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 10%|██████████████▏ | 19/195 [00:19<00:48, 3.65it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 10%|██████████████▏ | 19/195 [00:19<00:48, 3.65it/s] 11%|███████████████▋ | 21/195 [00:19<00:38, 4.55it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 11%|███████████████▋ | 21/195 [00:19<00:38, 4.55it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 11%|███████████████▋ | 21/195 [00:19<00:38, 4.55it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.27.input_layernorm.weight", shape: (4096,), dtype: float16
 11%|███████████████▋ | 21/195 [00:19<00:38, 4.55it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 11%|███████████████▋ | 21/195 [00:20<00:38, 4.55it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 11%|███████████████▋ | 21/195 [00:20<00:38, 4.55it/s] 12%|█████████████████▉ | 24/195 [00:20<00:27, 6.17it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 12%|█████████████████▉ | 24/195 [00:20<00:27, 6.17it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 12%|█████████████████▉ | 24/195 [00:20<00:27, 6.17it/s] 13%|██████████████████▋ | 25/195 [00:20<00:34, 4.95it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.27.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 13%|██████████████████▋ | 25/195 [00:20<00:34, 4.95it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 13%|██████████████████▋ | 25/195 [00:20<00:34, 4.95it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 13%|██████████████████▋ | 25/195 [00:20<00:34, 4.95it/s] 14%|████████████████████▏ | 27/195 [00:20<00:29, 5.78it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 14%|████████████████████▏ | 27/195 [00:20<00:29, 5.78it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 14%|████████████████████▏ | 27/195 [00:20<00:29, 5.78it/s] [2023-12-17 15:53:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.28.input_layernorm.weight", shape: (4096,), dtype: float16
 14%|████████████████████▏ | 27/195 [00:20<00:29, 5.78it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 14%|████████████████████▏ | 27/195 [00:20<00:29, 5.78it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 14%|████████████████████▏ | 27/195 [00:20<00:29, 5.78it/s] 15%|██████████████████████▍ | 30/195 [00:20<00:22, 7.35it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 15%|██████████████████████▍ | 30/195 [00:21<00:22, 7.35it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 15%|██████████████████████▍ | 30/195 [00:21<00:22, 7.35it/s] 16%|███████████████████████▏ | 31/195 [00:21<00:29, 5.58it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.28.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 16%|███████████████████████▏ | 31/195 [00:21<00:29, 5.58it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 16%|███████████████████████▏ | 31/195 [00:21<00:29, 5.58it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 16%|███████████████████████▏ | 31/195 [00:21<00:29, 5.58it/s] 17%|████████████████████████▋ | 33/195 [00:21<00:25, 6.32it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 17%|████████████████████████▋ | 33/195 [00:21<00:25, 6.32it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 17%|████████████████████████▋ | 33/195 [00:21<00:25, 6.32it/s] [2023-12-17 15:53:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.29.input_layernorm.weight", shape: (4096,), dtype: float16
 17%|████████████████████████▋ | 33/195 [00:21<00:25, 6.32it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 17%|████████████████████████▋ | 33/195 [00:21<00:25, 6.32it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 17%|████████████████████████▋ | 33/195 [00:21<00:25, 6.32it/s] 18%|██████████████████████████▉ | 36/195 [00:21<00:20, 7.84it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 18%|██████████████████████████▉ | 36/195 [00:22<00:20, 7.84it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 18%|██████████████████████████▉ | 36/195 [00:22<00:20, 7.84it/s] 19%|███████████████████████████▋ | 37/195 [00:22<00:27, 5.83it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.29.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 19%|███████████████████████████▋ | 37/195 [00:22<00:27, 5.83it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 19%|███████████████████████████▋ | 37/195 [00:22<00:27, 5.83it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 19%|███████████████████████████▋ | 37/195 [00:22<00:27, 5.83it/s] 20%|█████████████████████████████▏ | 39/195 [00:22<00:23, 6.53it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 20%|█████████████████████████████▏ | 39/195 [00:22<00:23, 6.53it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 20%|█████████████████████████████▏ | 39/195 [00:22<00:23, 6.53it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.30.input_layernorm.weight", shape: (4096,), dtype: float16
 20%|█████████████████████████████▏ | 39/195 [00:22<00:23, 6.53it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 20%|█████████████████████████████▏ | 39/195 [00:22<00:23, 6.53it/s] [2023-12-17 15:53:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 20%|█████████████████████████████▏ | 39/195 [00:22<00:23, 6.53it/s] 22%|███████████████████████████████▍ | 42/195 [00:22<00:19, 8.01it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 22%|███████████████████████████████▍ | 42/195 [00:23<00:19, 8.01it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 22%|███████████████████████████████▍ | 42/195 [00:23<00:19, 8.01it/s] 22%|████████████████████████████████▏ | 43/195 [00:23<00:25, 5.89it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.30.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 22%|████████████████████████████████▏ | 43/195 [00:23<00:25, 5.89it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 22%|████████████████████████████████▏ | 43/195 [00:23<00:25, 5.89it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 22%|████████████████████████████████▏ | 43/195 [00:23<00:25, 5.89it/s] 23%|█████████████████████████████████▋ | 45/195 [00:23<00:22, 6.59it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 23%|█████████████████████████████████▋ | 45/195 [00:23<00:22, 6.59it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 23%|█████████████████████████████████▋ | 45/195 [00:23<00:22, 6.59it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.31.input_layernorm.weight", shape: (4096,), dtype: float16
 23%|█████████████████████████████████▋ | 45/195 [00:23<00:22, 6.59it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 23%|█████████████████████████████████▋ | 45/195 [00:23<00:22, 6.59it/s] [2023-12-17 15:53:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 23%|█████████████████████████████████▋ | 45/195 [00:23<00:22, 6.59it/s] 25%|███████████████████████████████████▉ | 48/195 [00:23<00:18, 8.07it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 25%|███████████████████████████████████▉ | 48/195 [00:23<00:18, 8.07it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 25%|███████████████████████████████████▉ | 48/195 [00:23<00:18, 8.07it/s] 25%|████████████████████████████████████▋ | 49/195 [00:23<00:24, 5.93it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.31.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 25%|████████████████████████████████████▋ | 49/195 [00:23<00:24, 5.93it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 25%|████████████████████████████████████▋ | 49/195 [00:24<00:24, 5.93it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 25%|████████████████████████████████████▋ | 49/195 [00:24<00:24, 5.93it/s] 26%|██████████████████████████████████████▏ | 51/195 [00:24<00:21, 6.63it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 26%|██████████████████████████████████████▏ | 51/195 [00:24<00:21, 6.63it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 26%|██████████████████████████████████████▏ | 51/195 [00:24<00:21, 6.63it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.norm.weight", shape: (4096,), dtype: float16
 26%|██████████████████████████████████████▏ | 51/195 [00:24<00:21, 6.63it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-7B-V1.0/pytorch_model-00003-of-00003.bin
 26%|██████████████████████████████████████▏ | 51/195 [00:24<00:21, 6.63it/s] [2023-12-17 15:53:48] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-7B-V1.0/pytorch_model-00001-of-00003.bin
 26%|██████████████████████████████████████▏ | 51/195 [00:24<00:21, 6.63it/s] [2023-12-17 15:54:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.embed_tokens.q_weight", shape: (32001, 512), dtype: uint32
 26%|██████████████████████████████████████▏ | 51/195 [00:45<00:21, 6.63it/s] [2023-12-17 15:54:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.embed_tokens.q_scale", shape: (32001, 128), dtype: float16
 26%|██████████████████████████████████████▏ | 51/195 [00:45<00:21, 6.63it/s] 28%|████████████████████████████████████████▍ | 54/195 [00:45<06:48, 2.90s/it] [2023-12-17 15:54:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.0.input_layernorm.weight", shape: (4096,), dtype: float16
 28%|████████████████████████████████████████▍ | 54/195 [00:45<06:48, 2.90s/it] [2023-12-17 15:54:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 28%|████████████████████████████████████████▍ | 54/195 [00:45<06:48, 2.90s/it] [2023-12-17 15:54:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 28%|████████████████████████████████████████▍ | 54/195 [00:45<06:48, 2.90s/it] 29%|█████████████████████████████████████████▉ | 56/195 [00:45<04:54, 2.12s/it] [2023-12-17 15:54:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 29%|█████████████████████████████████████████▉ | 56/195 [00:45<04:54, 2.12s/it] [2023-12-17 15:54:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 29%|█████████████████████████████████████████▉ | 56/195 [00:45<04:54, 2.12s/it] 29%|██████████████████████████████████████████▋ | 57/195 [00:45<04:13, 1.84s/it] [2023-12-17 15:54:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.0.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 29%|██████████████████████████████████████████▋ | 57/195 [00:45<04:13, 1.84s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 29%|██████████████████████████████████████████▋ | 57/195 [00:45<04:13, 1.84s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 29%|██████████████████████████████████████████▋ | 57/195 [00:45<04:13, 1.84s/it] 30%|████████████████████████████████████████████▏ | 59/195 [00:45<02:54, 1.28s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 30%|████████████████████████████████████████████▏ | 59/195 [00:45<02:54, 1.28s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 30%|████████████████████████████████████████████▏ | 59/195 [00:45<02:54, 1.28s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.1.input_layernorm.weight", shape: (4096,), dtype: float16
 30%|████████████████████████████████████████████▏ | 59/195 [00:45<02:54, 1.28s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 30%|████████████████████████████████████████████▏ | 59/195 [00:46<02:54, 1.28s/it] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 30%|████████████████████████████████████████████▏ | 59/195 [00:46<02:54, 1.28s/it] 32%|██████████████████████████████████████████████▍ | 62/195 [00:46<01:45, 1.26it/s] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 32%|██████████████████████████████████████████████▍ | 62/195 [00:46<01:45, 1.26it/s] [2023-12-17 15:54:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 32%|██████████████████████████████████████████████▍ | 62/195 [00:46<01:45, 1.26it/s] 32%|███████████████████████████████████████████████▏ | 63/195 [00:46<01:36, 1.37it/s] [2023-12-17 15:54:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.1.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 32%|███████████████████████████████████████████████▏ | 63/195 [00:46<01:36, 1.37it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 32%|███████████████████████████████████████████████▏ | 63/195 [00:46<01:36, 1.37it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 32%|███████████████████████████████████████████████▏ | 63/195 [00:46<01:36, 1.37it/s] 33%|████████████████████████████████████████████████▋ | 65/195 [00:46<01:09, 1.87it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 33%|████████████████████████████████████████████████▋ | 65/195 [00:46<01:09, 1.87it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 33%|████████████████████████████████████████████████▋ | 65/195 [00:46<01:09, 1.87it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.10.input_layernorm.weight", shape: (4096,), dtype: float16
 33%|████████████████████████████████████████████████▋ | 65/195 [00:46<01:09, 1.87it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 33%|████████████████████████████████████████████████▋ | 65/195 [00:47<01:09, 1.87it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 33%|████████████████████████████████████████████████▋ | 65/195 [00:47<01:09, 1.87it/s] 35%|██████████████████████████████████████████████████▉ | 68/195 [00:47<00:44, 2.84it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 35%|██████████████████████████████████████████████████▉ | 68/195 [00:47<00:44, 2.84it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 35%|██████████████████████████████████████████████████▉ | 68/195 [00:47<00:44, 2.84it/s] 35%|███████████████████████████████████████████████████▋ | 69/195 [00:47<00:45, 2.77it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.10.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 35%|███████████████████████████████████████████████████▋ | 69/195 [00:47<00:45, 2.77it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 35%|███████████████████████████████████████████████████▋ | 69/195 [00:47<00:45, 2.77it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 35%|███████████████████████████████████████████████████▋ | 69/195 [00:47<00:45, 2.77it/s] 36%|█████████████████████████████████████████████████████▏ | 71/195 [00:47<00:35, 3.54it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 36%|█████████████████████████████████████████████████████▏ | 71/195 [00:47<00:35, 3.54it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 36%|█████████████████████████████████████████████████████▏ | 71/195 [00:47<00:35, 3.54it/s] [2023-12-17 15:54:11] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-7B-V1.0/pytorch_model-00002-of-00003.bin
 36%|█████████████████████████████████████████████████████▏ | 71/195 [00:47<00:35, 3.54it/s] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 36%|█████████████████████████████████████████████████████▏ | 71/195 [01:06<00:35, 3.54it/s] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 36%|█████████████████████████████████████████████████████▏ | 71/195 [01:06<00:35, 3.54it/s] 37%|██████████████████████████████████████████████████████▋ | 73/195 [01:06<06:16, 3.08s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 37%|██████████████████████████████████████████████████████▋ | 73/195 [01:06<06:16, 3.08s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 37%|██████████████████████████████████████████████████████▋ | 73/195 [01:06<06:16, 3.08s/it] 38%|███████████████████████████████████████████████████████▍ | 74/195 [01:06<05:10, 2.56s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 38%|███████████████████████████████████████████████████████▍ | 74/195 [01:06<05:10, 2.56s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 38%|███████████████████████████████████████████████████████▍ | 74/195 [01:06<05:10, 2.56s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.2.input_layernorm.weight", shape: (4096,), dtype: float16
 38%|███████████████████████████████████████████████████████▍ | 74/195 [01:06<05:10, 2.56s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 38%|███████████████████████████████████████████████████████▍ | 74/195 [01:06<05:10, 2.56s/it] [2023-12-17 15:54:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 38%|███████████████████████████████████████████████████████▍ | 74/195 [01:06<05:10, 2.56s/it] 39%|█████████████████████████████████████████████████████████▋ | 77/195 [01:06<02:54, 1.48s/it] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 39%|█████████████████████████████████████████████████████████▋ | 77/195 [01:07<02:54, 1.48s/it] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 39%|█████████████████████████████████████████████████████████▋ | 77/195 [01:07<02:54, 1.48s/it] 40%|██████████████████████████████████████████████████████████▍ | 78/195 [01:07<02:31, 1.29s/it] [2023-12-17 15:54:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.2.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 40%|██████████████████████████████████████████████████████████▍ | 78/195 [01:07<02:31, 1.29s/it] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 40%|██████████████████████████████████████████████████████████▍ | 78/195 [01:07<02:31, 1.29s/it] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 40%|██████████████████████████████████████████████████████████▍ | 78/195 [01:07<02:31, 1.29s/it] 41%|███████████████████████████████████████████████████████████▉ | 80/195 [01:07<01:43, 1.11it/s] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 41%|███████████████████████████████████████████████████████████▉ | 80/195 [01:07<01:43, 1.11it/s] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 41%|███████████████████████████████████████████████████████████▉ | 80/195 [01:07<01:43, 1.11it/s] [2023-12-17 15:54:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.3.input_layernorm.weight", shape: (4096,), dtype: float16
 41%|███████████████████████████████████████████████████████████▉ | 80/195 [01:07<01:43, 1.11it/s] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 41%|███████████████████████████████████████████████████████████▉ | 80/195 [01:07<01:43, 1.11it/s] [2023-12-17 15:54:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 41%|███████████████████████████████████████████████████████████▉ | 80/195 [01:07<01:43, 1.11it/s] 43%|██████████████████████████████████████████████████████████████▏ | 83/195 [01:07<01:02, 1.78it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 43%|██████████████████████████████████████████████████████████████▏ | 83/195 [01:07<01:02, 1.78it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 43%|██████████████████████████████████████████████████████████████▏ | 83/195 [01:07<01:02, 1.78it/s] 43%|██████████████████████████████████████████████████████████████▉ | 84/195 [01:08<00:59, 1.87it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.3.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 43%|██████████████████████████████████████████████████████████████▉ | 84/195 [01:08<00:59, 1.87it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 43%|██████████████████████████████████████████████████████████████▉ | 84/195 [01:08<00:59, 1.87it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 43%|██████████████████████████████████████████████████████████████▉ | 84/195 [01:08<00:59, 1.87it/s] 44%|████████████████████████████████████████████████████████████████▍ | 86/195 [01:08<00:43, 2.50it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 44%|████████████████████████████████████████████████████████████████▍ | 86/195 [01:08<00:43, 2.50it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 44%|████████████████████████████████████████████████████████████████▍ | 86/195 [01:08<00:43, 2.50it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.4.input_layernorm.weight", shape: (4096,), dtype: float16
 44%|████████████████████████████████████████████████████████████████▍ | 86/195 [01:08<00:43, 2.50it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 44%|████████████████████████████████████████████████████████████████▍ | 86/195 [01:08<00:43, 2.50it/s] [2023-12-17 15:54:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 44%|████████████████████████████████████████████████████████████████▍ | 86/195 [01:08<00:43, 2.50it/s] 46%|██████████████████████████████████████████████████████████████████▋ | 89/195 [01:08<00:28, 3.69it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 46%|██████████████████████████████████████████████████████████████████▋ | 89/195 [01:08<00:28, 3.69it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 46%|██████████████████████████████████████████████████████████████████▋ | 89/195 [01:08<00:28, 3.69it/s] 46%|███████████████████████████████████████████████████████████████████▍ | 90/195 [01:08<00:30, 3.43it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.4.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 46%|███████████████████████████████████████████████████████████████████▍ | 90/195 [01:08<00:30, 3.43it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 46%|███████████████████████████████████████████████████████████████████▍ | 90/195 [01:09<00:30, 3.43it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 46%|███████████████████████████████████████████████████████████████████▍ | 90/195 [01:09<00:30, 3.43it/s] 47%|████████████████████████████████████████████████████████████████████▉ | 92/195 [01:09<00:24, 4.26it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 47%|████████████████████████████████████████████████████████████████████▉ | 92/195 [01:09<00:24, 4.26it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 47%|████████████████████████████████████████████████████████████████████▉ | 92/195 [01:09<00:24, 4.26it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.5.input_layernorm.weight", shape: (4096,), dtype: float16
 47%|████████████████████████████████████████████████████████████████████▉ | 92/195 [01:09<00:24, 4.26it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 47%|████████████████████████████████████████████████████████████████████▉ | 92/195 [01:09<00:24, 4.26it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 47%|████████████████████████████████████████████████████████████████████▉ | 92/195 [01:09<00:24, 4.26it/s] 49%|███████████████████████████████████████████████████████████████████████▏ | 95/195 [01:09<00:17, 5.78it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 49%|███████████████████████████████████████████████████████████████████████▏ | 95/195 [01:09<00:17, 5.78it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 49%|███████████████████████████████████████████████████████████████████████▏ | 95/195 [01:09<00:17, 5.78it/s] 49%|███████████████████████████████████████████████████████████████████████▉ | 96/195 [01:09<00:20, 4.77it/s] [2023-12-17 15:54:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.5.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 49%|███████████████████████████████████████████████████████████████████████▉ | 96/195 [01:09<00:20, 4.77it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 49%|███████████████████████████████████████████████████████████████████████▉ | 96/195 [01:09<00:20, 4.77it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 49%|███████████████████████████████████████████████████████████████████████▉ | 96/195 [01:09<00:20, 4.77it/s] 50%|█████████████████████████████████████████████████████████████████████████▎ | 98/195 [01:09<00:17, 5.59it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 50%|█████████████████████████████████████████████████████████████████████████▎ | 98/195 [01:10<00:17, 5.59it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 50%|█████████████████████████████████████████████████████████████████████████▎ | 98/195 [01:10<00:17, 5.59it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.6.input_layernorm.weight", shape: (4096,), dtype: float16
 50%|█████████████████████████████████████████████████████████████████████████▎ | 98/195 [01:10<00:17, 5.59it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 50%|█████████████████████████████████████████████████████████████████████████▎ | 98/195 [01:10<00:17, 5.59it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 50%|█████████████████████████████████████████████████████████████████████████▎ | 98/195 [01:10<00:17, 5.59it/s] 52%|███████████████████████████████████████████████████████████████████████████ | 101/195 [01:10<00:13, 7.15it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 52%|███████████████████████████████████████████████████████████████████████████ | 101/195 [01:10<00:13, 7.15it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 52%|███████████████████████████████████████████████████████████████████████████ | 101/195 [01:10<00:13, 7.15it/s] 52%|███████████████████████████████████████████████████████████████████████████▊ | 102/195 [01:10<00:16, 5.50it/s] [2023-12-17 15:54:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.6.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 52%|███████████████████████████████████████████████████████████████████████████▊ | 102/195 [01:10<00:16, 5.50it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 52%|███████████████████████████████████████████████████████████████████████████▊ | 102/195 [01:10<00:16, 5.50it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 52%|███████████████████████████████████████████████████████████████████████████▊ | 102/195 [01:10<00:16, 5.50it/s] 53%|█████████████████████████████████████████████████████████████████████████████▎ | 104/195 [01:10<00:14, 6.25it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 53%|█████████████████████████████████████████████████████████████████████████████▎ | 104/195 [01:10<00:14, 6.25it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 53%|█████████████████████████████████████████████████████████████████████████████▎ | 104/195 [01:10<00:14, 6.25it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.7.input_layernorm.weight", shape: (4096,), dtype: float16
 53%|█████████████████████████████████████████████████████████████████████████████▎ | 104/195 [01:10<00:14, 6.25it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 53%|█████████████████████████████████████████████████████████████████████████████▎ | 104/195 [01:11<00:14, 6.25it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 53%|█████████████████████████████████████████████████████████████████████████████▎ | 104/195 [01:11<00:14, 6.25it/s] 55%|███████████████████████████████████████████████████████████████████████████████▌ | 107/195 [01:11<00:11, 7.77it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 55%|███████████████████████████████████████████████████████████████████████████████▌ | 107/195 [01:11<00:11, 7.77it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 55%|███████████████████████████████████████████████████████████████████████████████▌ | 107/195 [01:11<00:11, 7.77it/s] 55%|████████████████████████████████████████████████████████████████████████████████▎ | 108/195 [01:11<00:15, 5.80it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.7.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 55%|████████████████████████████████████████████████████████████████████████████████▎ | 108/195 [01:11<00:15, 5.80it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 55%|████████████████████████████████████████████████████████████████████████████████▎ | 108/195 [01:11<00:15, 5.80it/s] [2023-12-17 15:54:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 55%|████████████████████████████████████████████████████████████████████████████████▎ | 108/195 [01:11<00:15, 5.80it/s] 56%|█████████████████████████████████████████████████████████████████████████████████▊ | 110/195 [01:11<00:13, 6.52it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 56%|█████████████████████████████████████████████████████████████████████████████████▊ | 110/195 [01:11<00:13, 6.52it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 56%|█████████████████████████████████████████████████████████████████████████████████▊ | 110/195 [01:11<00:13, 6.52it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.8.input_layernorm.weight", shape: (4096,), dtype: float16
 56%|█████████████████████████████████████████████████████████████████████████████████▊ | 110/195 [01:11<00:13, 6.52it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 56%|█████████████████████████████████████████████████████████████████████████████████▊ | 110/195 [01:11<00:13, 6.52it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 56%|█████████████████████████████████████████████████████████████████████████████████▊ | 110/195 [01:11<00:13, 6.52it/s] 58%|████████████████████████████████████████████████████████████████████████████████████ | 113/195 [01:11<00:10, 8.02it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 58%|████████████████████████████████████████████████████████████████████████████████████ | 113/195 [01:12<00:10, 8.02it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 58%|████████████████████████████████████████████████████████████████████████████████████ | 113/195 [01:12<00:10, 8.02it/s] 58%|████████████████████████████████████████████████████████████████████████████████████▊ | 114/195 [01:12<00:13, 5.93it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.8.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 58%|████████████████████████████████████████████████████████████████████████████████████▊ | 114/195 [01:12<00:13, 5.93it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 58%|████████████████████████████████████████████████████████████████████████████████████▊ | 114/195 [01:12<00:13, 5.93it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 58%|████████████████████████████████████████████████████████████████████████████████████▊ | 114/195 [01:12<00:13, 5.93it/s] 59%|██████████████████████████████████████████████████████████████████████████████████████▎ | 116/195 [01:12<00:11, 6.63it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 59%|██████████████████████████████████████████████████████████████████████████████████████▎ | 116/195 [01:12<00:11, 6.63it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 59%|██████████████████████████████████████████████████████████████████████████████████████▎ | 116/195 [01:12<00:11, 6.63it/s] [2023-12-17 15:54:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.9.input_layernorm.weight", shape: (4096,), dtype: float16
 59%|██████████████████████████████████████████████████████████████████████████████████████▎ | 116/195 [01:12<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 59%|██████████████████████████████████████████████████████████████████████████████████████▎ | 116/195 [01:12<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 59%|██████████████████████████████████████████████████████████████████████████████████████▎ | 116/195 [01:12<00:11, 6.63it/s] 61%|████████████████████████████████████████████████████████████████████████████████████████▍ | 119/195 [01:12<00:09, 8.07it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 61%|████████████████████████████████████████████████████████████████████████████████████████▍ | 119/195 [01:13<00:09, 8.07it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 61%|████████████████████████████████████████████████████████████████████████████████████████▍ | 119/195 [01:13<00:09, 8.07it/s] 62%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 120/195 [01:13<00:12, 5.94it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.9.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 62%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 120/195 [01:13<00:12, 5.94it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 62%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 120/195 [01:13<00:12, 5.94it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 62%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 120/195 [01:13<00:12, 5.94it/s] 63%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 122/195 [01:13<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 122/195 [01:13<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 122/195 [01:13<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.11.input_layernorm.weight", shape: (4096,), dtype: float16
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 122/195 [01:13<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 122/195 [01:13<00:11, 6.63it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 122/195 [01:13<00:11, 6.63it/s] 64%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 125/195 [01:13<00:08, 8.11it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.11.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 64%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 125/195 [01:13<00:08, 8.11it/s] [2023-12-17 15:54:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.12.input_layernorm.weight", shape: (4096,), dtype: float16
 64%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 125/195 [01:13<00:08, 8.11it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 64%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 125/195 [01:13<00:08, 8.11it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 64%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 125/195 [01:13<00:08, 8.11it/s] 66%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 128/195 [01:13<00:06, 9.99it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 128/195 [01:14<00:06, 9.99it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 128/195 [01:14<00:06, 9.99it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.12.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 128/195 [01:14<00:06, 9.99it/s] 67%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 130/195 [01:14<00:08, 7.94it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 67%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 130/195 [01:14<00:08, 7.94it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 67%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 130/195 [01:14<00:08, 7.94it/s] 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 131/195 [01:14<00:09, 7.08it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 131/195 [01:14<00:09, 7.08it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 131/195 [01:14<00:09, 7.08it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.13.input_layernorm.weight", shape: (4096,), dtype: float16
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 131/195 [01:14<00:09, 7.08it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 131/195 [01:14<00:09, 7.08it/s] [2023-12-17 15:54:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 131/195 [01:14<00:09, 7.08it/s] 69%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 134/195 [01:14<00:07, 8.49it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 134/195 [01:15<00:07, 8.49it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 134/195 [01:15<00:07, 8.49it/s] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 135/195 [01:15<00:09, 6.14it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.13.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 135/195 [01:15<00:09, 6.14it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 135/195 [01:15<00:09, 6.14it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 135/195 [01:15<00:09, 6.14it/s] 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 137/195 [01:15<00:08, 6.80it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 137/195 [01:15<00:08, 6.80it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 137/195 [01:15<00:08, 6.80it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.14.input_layernorm.weight", shape: (4096,), dtype: float16
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 137/195 [01:15<00:08, 6.80it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 137/195 [01:15<00:08, 6.80it/s] [2023-12-17 15:54:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 137/195 [01:15<00:08, 6.80it/s] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 140/195 [01:15<00:06, 8.27it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 140/195 [01:16<00:06, 8.27it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 140/195 [01:16<00:06, 8.27it/s] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 141/195 [01:16<00:08, 6.03it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.14.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 141/195 [01:16<00:08, 6.03it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 141/195 [01:16<00:08, 6.03it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 141/195 [01:16<00:08, 6.03it/s] 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 143/195 [01:16<00:07, 6.71it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 143/195 [01:16<00:07, 6.71it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 143/195 [01:16<00:07, 6.71it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.15.input_layernorm.weight", shape: (4096,), dtype: float16
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 143/195 [01:16<00:07, 6.71it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 143/195 [01:16<00:07, 6.71it/s] [2023-12-17 15:54:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 143/195 [01:16<00:07, 6.71it/s] 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 146/195 [01:16<00:06, 8.16it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 146/195 [01:16<00:06, 8.16it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 146/195 [01:16<00:06, 8.16it/s] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 147/195 [01:16<00:08, 5.98it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.15.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 147/195 [01:16<00:08, 5.98it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 147/195 [01:17<00:08, 5.98it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 147/195 [01:17<00:08, 5.98it/s] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 149/195 [01:17<00:06, 6.67it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 149/195 [01:17<00:06, 6.67it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 149/195 [01:17<00:06, 6.67it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.16.input_layernorm.weight", shape: (4096,), dtype: float16
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 149/195 [01:17<00:06, 6.67it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 149/195 [01:17<00:06, 6.67it/s] [2023-12-17 15:54:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 149/195 [01:17<00:06, 6.67it/s] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 152/195 [01:17<00:05, 8.15it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 152/195 [01:17<00:05, 8.15it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 152/195 [01:17<00:05, 8.15it/s] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 153/195 [01:17<00:07, 5.95it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.16.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 153/195 [01:17<00:07, 5.95it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 153/195 [01:17<00:07, 5.95it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 153/195 [01:18<00:07, 5.95it/s] 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 155/195 [01:18<00:06, 6.64it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 155/195 [01:18<00:06, 6.64it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 155/195 [01:18<00:06, 6.64it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.17.input_layernorm.weight", shape: (4096,), dtype: float16
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 155/195 [01:18<00:06, 6.64it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 155/195 [01:18<00:06, 6.64it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 155/195 [01:18<00:06, 6.64it/s] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 158/195 [01:18<00:04, 8.04it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 158/195 [01:18<00:04, 8.04it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 158/195 [01:18<00:04, 8.04it/s] 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 159/195 [01:18<00:06, 5.93it/s] [2023-12-17 15:54:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.17.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 159/195 [01:18<00:06, 5.93it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 159/195 [01:18<00:06, 5.93it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 159/195 [01:18<00:06, 5.93it/s] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 161/195 [01:18<00:05, 6.62it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 161/195 [01:18<00:05, 6.62it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 161/195 [01:18<00:05, 6.62it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.18.input_layernorm.weight", shape: (4096,), dtype: float16
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 161/195 [01:18<00:05, 6.62it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 161/195 [01:19<00:05, 6.62it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 161/195 [01:19<00:05, 6.62it/s] 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 164/195 [01:19<00:03, 8.09it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 164/195 [01:19<00:03, 8.09it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 164/195 [01:19<00:03, 8.09it/s] 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 165/195 [01:19<00:05, 5.94it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.18.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 165/195 [01:19<00:05, 5.94it/s] [2023-12-17 15:54:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 165/195 [01:19<00:05, 5.94it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 165/195 [01:19<00:05, 5.94it/s] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 167/195 [01:19<00:04, 6.63it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 167/195 [01:19<00:04, 6.63it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 167/195 [01:19<00:04, 6.63it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.19.input_layernorm.weight", shape: (4096,), dtype: float16
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 167/195 [01:19<00:04, 6.63it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 167/195 [01:19<00:04, 6.63it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 167/195 [01:20<00:04, 6.63it/s] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 170/195 [01:20<00:03, 8.11it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 170/195 [01:20<00:03, 8.11it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 170/195 [01:20<00:03, 8.11it/s] 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 171/195 [01:20<00:04, 5.96it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.19.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 171/195 [01:20<00:04, 5.96it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 171/195 [01:20<00:04, 5.96it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 171/195 [01:20<00:04, 5.96it/s] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 173/195 [01:20<00:03, 6.65it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 173/195 [01:20<00:03, 6.65it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 173/195 [01:20<00:03, 6.65it/s] [2023-12-17 15:54:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.20.input_layernorm.weight", shape: (4096,), dtype: float16
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 173/195 [01:20<00:03, 6.65it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 173/195 [01:20<00:03, 6.65it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 173/195 [01:20<00:03, 6.65it/s] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/195 [01:20<00:02, 8.13it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/195 [01:21<00:02, 8.13it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/195 [01:21<00:02, 8.13it/s] 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 177/195 [01:21<00:03, 5.96it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.20.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 177/195 [01:21<00:03, 5.96it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 177/195 [01:21<00:03, 5.96it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 177/195 [01:21<00:03, 5.96it/s] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 179/195 [01:21<00:02, 6.62it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 179/195 [01:21<00:02, 6.62it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 179/195 [01:21<00:02, 6.62it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.21.input_layernorm.weight", shape: (4096,), dtype: float16
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 179/195 [01:21<00:02, 6.62it/s] [2023-12-17 15:54:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 179/195 [01:21<00:02, 6.62it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 179/195 [01:21<00:02, 6.62it/s] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 182/195 [01:21<00:01, 8.08it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 182/195 [01:22<00:01, 8.08it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 182/195 [01:22<00:01, 8.08it/s] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 183/195 [01:22<00:02, 5.93it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.21.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 183/195 [01:22<00:02, 5.93it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 183/195 [01:22<00:02, 5.93it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 183/195 [01:22<00:02, 5.93it/s] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 185/195 [01:22<00:01, 6.63it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 185/195 [01:22<00:01, 6.63it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 185/195 [01:22<00:01, 6.63it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.22.input_layernorm.weight", shape: (4096,), dtype: float16
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 185/195 [01:22<00:01, 6.63it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_weight", shape: (4096, 1376), dtype: uint32
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 185/195 [01:22<00:01, 6.63it/s] [2023-12-17 15:54:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_scale", shape: (4096, 344), dtype: float16
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 185/195 [01:22<00:01, 6.63it/s] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 188/195 [01:22<00:00, 8.06it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 188/195 [01:23<00:00, 8.06it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 188/195 [01:23<00:00, 8.06it/s] 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 189/195 [01:23<00:01, 5.91it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.22.post_attention_layernorm.weight", shape: (4096,), dtype: float16
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 189/195 [01:23<00:01, 5.91it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 189/195 [01:23<00:01, 5.91it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 189/195 [01:23<00:01, 5.91it/s] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 191/195 [01:23<00:00, 6.61it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 191/195 [01:23<00:00, 6.61it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 191/195 [01:23<00:00, 6.61it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_weight", shape: (22016, 512), dtype: uint32
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 191/195 [01:23<00:00, 6.61it/s] [2023-12-17 15:54:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_scale", shape: (22016, 128), dtype: float16
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 191/195 [01:23<00:00, 6.61it/s] 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 193/195 [01:23<00:00, 5.66it/s] [2023-12-17 15:54:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_weight", shape: (12288, 512), dtype: uint32
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 193/195 [01:23<00:00, 5.66it/s] [2023-12-17 15:54:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_scale", shape: (12288, 128), dtype: float16
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 193/195 [01:23<00:00, 5.66it/s] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 194/195 [01:23<00:00, 5.40it/s] [2023-12-17 15:54:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 194/195 [01:24<00:00, 5.40it/s] [2023-12-17 15:54:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 194/195 [01:24<00:00, 5.40it/s] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 195/195 [01:24<00:00, 2.32it/s]
[2023-12-17 15:54:48] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-7B-V1.0/pytorch_model-00001-of-00003.bin
[2023-12-17 15:54:48] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-7B-V1.0/pytorch_model-00002-of-00003.bin
[2023-12-17 15:54:48] INFO stats.py:71: Time usage: HF loading: 50.875 sec; Pre-quantization mapping: 28.910 sec; Quantization: 2.530 sec
[2023-12-17 15:54:48] INFO stats.py:85: RAM usage: Peak RAM: 18.415 GB. Total bytes loaded from disk: 25.103 GB
[2023-12-17 15:54:48] INFO convert_weight.py:109: Parameter size after quantization: 3.530 GB
[2023-12-17 15:54:48] INFO convert_weight.py:114: Total parameters: 6,738,423,808
[2023-12-17 15:54:48] INFO convert_weight.py:115: Bits per parameter: 4.500
Start storing to cache /tmp/tmp3rxs2lx1
 [0001/0325] saving lm_head.q_weight [0002/0325] saving lm_head.q_scale [0003/0325] saving model.layers.23.input_layernorm.weight [0004/0325] saving model.layers.23.mlp.down_proj.q_weight [0005/0325] saving model.layers.23.mlp.down_proj.q_scale [0006/0325] saving model.layers.23.post_attention_layernorm.weight [0007/0325] saving model.layers.24.input_layernorm.weight [0008/0325] saving model.layers.24.mlp.down_proj.q_weight [0009/0325] saving model.layers.24.mlp.down_proj.q_scale [0010/0325] saving model.layers.24.mlp.gate_up_proj.q_weight [0011/0325] saving model.layers.24.mlp.gate_up_proj.q_scale [0012/0325] saving model.layers.24.post_attention_layernorm.weight [0013/0325] saving model.layers.24.self_attn.qkv_proj.q_weight [0014/0325] saving model.layers.24.self_attn.qkv_proj.q_scale [0015/0325] saving model.layers.24.self_attn.o_proj.q_weight [0016/0325] saving model.layers.24.self_attn.o_proj.q_scale [0017/0325] saving model.layers.25.input_layernorm.weight [0018/0325] saving model.layers.25.mlp.down_proj.q_weight [0019/0325] saving model.layers.25.mlp.down_proj.q_scale [0020/0325] saving model.layers.25.mlp.gate_up_proj.q_weight [0021/0325] saving model.layers.25.mlp.gate_up_proj.q_scale [0022/0325] saving model.layers.25.post_attention_layernorm.weight [0023/0325] saving model.layers.25.self_attn.qkv_proj.q_weight [0024/0325] saving model.layers.25.self_attn.qkv_proj.q_scale [0025/0325] saving model.layers.25.self_attn.o_proj.q_weight [0026/0325] saving model.layers.25.self_attn.o_proj.q_scale [0027/0325] saving model.layers.26.input_layernorm.weight [0028/0325] saving model.layers.26.mlp.down_proj.q_weight [0029/0325] saving model.layers.26.mlp.down_proj.q_scale [0030/0325] saving model.layers.26.mlp.gate_up_proj.q_weight [0031/0325] saving model.layers.26.mlp.gate_up_proj.q_scale [0032/0325] saving model.layers.26.post_attention_layernorm.weight [0033/0325] saving model.layers.26.self_attn.qkv_proj.q_weight [0034/0325] saving model.layers.26.self_attn.qkv_proj.q_scale [0035/0325] saving model.layers.26.self_attn.o_proj.q_weight [0036/0325] saving model.layers.26.self_attn.o_proj.q_scale [0037/0325] saving model.layers.27.input_layernorm.weight [0038/0325] saving model.layers.27.mlp.down_proj.q_weight [0039/0325] saving model.layers.27.mlp.down_proj.q_scale [0040/0325] saving model.layers.27.mlp.gate_up_proj.q_weight [0041/0325] saving model.layers.27.mlp.gate_up_proj.q_scale [0042/0325] saving model.layers.27.post_attention_layernorm.weight [0043/0325] saving model.layers.27.self_attn.qkv_proj.q_weight [0044/0325] saving model.layers.27.self_attn.qkv_proj.q_scale [0045/0325] saving model.layers.27.self_attn.o_proj.q_weight [0046/0325] saving model.layers.27.self_attn.o_proj.q_scale [0047/0325] saving model.layers.28.input_layernorm.weight [0048/0325] saving model.layers.28.mlp.down_proj.q_weight [0049/0325] saving model.layers.28.mlp.down_proj.q_scale [0050/0325] saving model.layers.28.mlp.gate_up_proj.q_weight [0051/0325] saving model.layers.28.mlp.gate_up_proj.q_scale [0052/0325] saving model.layers.28.post_attention_layernorm.weight [0053/0325] saving model.layers.28.self_attn.qkv_proj.q_weight [0054/0325] saving model.layers.28.self_attn.qkv_proj.q_scale [0055/0325] saving model.layers.28.self_attn.o_proj.q_weight [0056/0325] saving model.layers.28.self_attn.o_proj.q_scale [0057/0325] saving model.layers.29.input_layernorm.weight [0058/0325] saving model.layers.29.mlp.down_proj.q_weight [0059/0325] saving model.layers.29.mlp.down_proj.q_scale [0060/0325] saving model.layers.29.mlp.gate_up_proj.q_weight [0061/0325] saving model.layers.29.mlp.gate_up_proj.q_scale [0062/0325] saving model.layers.29.post_attention_layernorm.weight [0063/0325] saving model.layers.29.self_attn.qkv_proj.q_weight [0064/0325] saving model.layers.29.self_attn.qkv_proj.q_scale [0065/0325] saving model.layers.29.self_attn.o_proj.q_weight [0066/0325] saving model.layers.29.self_attn.o_proj.q_scale [0067/0325] saving model.layers.30.input_layernorm.weight [0068/0325] saving model.layers.30.mlp.down_proj.q_weight [0069/0325] saving model.layers.30.mlp.down_proj.q_scale [0070/0325] saving model.layers.30.mlp.gate_up_proj.q_weight [0071/0325] saving model.layers.30.mlp.gate_up_proj.q_scale [0072/0325] saving model.layers.30.post_attention_layernorm.weight [0073/0325] saving model.layers.30.self_attn.qkv_proj.q_weight [0074/0325] saving model.layers.30.self_attn.qkv_proj.q_scale [0075/0325] saving model.layers.30.self_attn.o_proj.q_weight [0076/0325] saving model.layers.30.self_attn.o_proj.q_scale [0077/0325] saving model.layers.31.input_layernorm.weight [0078/0325] saving model.layers.31.mlp.down_proj.q_weight [0079/0325] saving model.layers.31.mlp.down_proj.q_scale [0080/0325] saving model.layers.31.mlp.gate_up_proj.q_weight [0081/0325] saving model.layers.31.mlp.gate_up_proj.q_scale [0082/0325] saving model.layers.31.post_attention_layernorm.weight [0083/0325] saving model.layers.31.self_attn.qkv_proj.q_weight [0084/0325] saving model.layers.31.self_attn.qkv_proj.q_scale [0085/0325] saving model.layers.31.self_attn.o_proj.q_weight [0086/0325] saving model.layers.31.self_attn.o_proj.q_scale [0087/0325] saving model.norm.weight [0088/0325] saving model.embed_tokens.q_weight [0089/0325] saving model.embed_tokens.q_scale [0090/0325] saving model.layers.0.input_layernorm.weight [0091/0325] saving model.layers.0.mlp.down_proj.q_weight [0092/0325] saving model.layers.0.mlp.down_proj.q_scale [0093/0325] saving model.layers.0.mlp.gate_up_proj.q_weight [0094/0325] saving model.layers.0.mlp.gate_up_proj.q_scale [0095/0325] saving model.layers.0.post_attention_layernorm.weight [0096/0325] saving model.layers.0.self_attn.qkv_proj.q_weight [0097/0325] saving model.layers.0.self_attn.qkv_proj.q_scale [0098/0325] saving model.layers.0.self_attn.o_proj.q_weight [0099/0325] saving model.layers.0.self_attn.o_proj.q_scale [0100/0325] saving model.layers.1.input_layernorm.weight [0101/0325] saving model.layers.1.mlp.down_proj.q_weight [0102/0325] saving model.layers.1.mlp.down_proj.q_scale [0103/0325] saving model.layers.1.mlp.gate_up_proj.q_weight [0104/0325] saving model.layers.1.mlp.gate_up_proj.q_scale [0105/0325] saving model.layers.1.post_attention_layernorm.weight [0106/0325] saving model.layers.1.self_attn.qkv_proj.q_weight [0107/0325] saving model.layers.1.self_attn.qkv_proj.q_scale [0108/0325] saving model.layers.1.self_attn.o_proj.q_weight [0109/0325] saving model.layers.1.self_attn.o_proj.q_scale [0110/0325] saving model.layers.10.input_layernorm.weight [0111/0325] saving model.layers.10.mlp.down_proj.q_weight [0112/0325] saving model.layers.10.mlp.down_proj.q_scale [0113/0325] saving model.layers.10.mlp.gate_up_proj.q_weight [0114/0325] saving model.layers.10.mlp.gate_up_proj.q_scale [0115/0325] saving model.layers.10.post_attention_layernorm.weight [0116/0325] saving model.layers.10.self_attn.qkv_proj.q_weight [0117/0325] saving model.layers.10.self_attn.qkv_proj.q_scale [0118/0325] saving model.layers.10.self_attn.o_proj.q_weight [0119/0325] saving model.layers.10.self_attn.o_proj.q_scale [0120/0325] saving model.layers.11.mlp.gate_up_proj.q_weight [0121/0325] saving model.layers.11.mlp.gate_up_proj.q_scale [0122/0325] saving model.layers.11.self_attn.qkv_proj.q_weight [0123/0325] saving model.layers.11.self_attn.qkv_proj.q_scale [0124/0325] saving model.layers.11.self_attn.o_proj.q_weight [0125/0325] saving model.layers.11.self_attn.o_proj.q_scale [0126/0325] saving model.layers.2.input_layernorm.weight [0127/0325] saving model.layers.2.mlp.down_proj.q_weight [0128/0325] saving model.layers.2.mlp.down_proj.q_scale [0129/0325] saving model.layers.2.mlp.gate_up_proj.q_weight [0130/0325] saving model.layers.2.mlp.gate_up_proj.q_scale [0131/0325] saving model.layers.2.post_attention_layernorm.weight [0132/0325] saving model.layers.2.self_attn.qkv_proj.q_weight [0133/0325] saving model.layers.2.self_attn.qkv_proj.q_scale [0134/0325] saving model.layers.2.self_attn.o_proj.q_weight [0135/0325] saving model.layers.2.self_attn.o_proj.q_scale [0136/0325] saving model.layers.3.input_layernorm.weight [0137/0325] saving model.layers.3.mlp.down_proj.q_weight [0138/0325] saving model.layers.3.mlp.down_proj.q_scale [0139/0325] saving model.layers.3.mlp.gate_up_proj.q_weight [0140/0325] saving model.layers.3.mlp.gate_up_proj.q_scale [0141/0325] saving model.layers.3.post_attention_layernorm.weight [0142/0325] saving model.layers.3.self_attn.qkv_proj.q_weight [0143/0325] saving model.layers.3.self_attn.qkv_proj.q_scale [0144/0325] saving model.layers.3.self_attn.o_proj.q_weight [0145/0325] saving model.layers.3.self_attn.o_proj.q_scale [0146/0325] saving model.layers.4.input_layernorm.weight [0147/0325] saving model.layers.4.mlp.down_proj.q_weight [0148/0325] saving model.layers.4.mlp.down_proj.q_scale [0149/0325] saving model.layers.4.mlp.gate_up_proj.q_weight [0150/0325] saving model.layers.4.mlp.gate_up_proj.q_scale [0151/0325] saving model.layers.4.post_attention_layernorm.weight [0152/0325] saving model.layers.4.self_attn.qkv_proj.q_weight [0153/0325] saving model.layers.4.self_attn.qkv_proj.q_scale [0154/0325] saving model.layers.4.self_attn.o_proj.q_weight [0155/0325] saving model.layers.4.self_attn.o_proj.q_scale [0156/0325] saving model.layers.5.input_layernorm.weight [0157/0325] saving model.layers.5.mlp.down_proj.q_weight [0158/0325] saving model.layers.5.mlp.down_proj.q_scale [0159/0325] saving model.layers.5.mlp.gate_up_proj.q_weight [0160/0325] saving model.layers.5.mlp.gate_up_proj.q_scale [0161/0325] saving model.layers.5.post_attention_layernorm.weight [0162/0325] saving model.layers.5.self_attn.qkv_proj.q_weight [0163/0325] saving model.layers.5.self_attn.qkv_proj.q_scale [0164/0325] saving model.layers.5.self_attn.o_proj.q_weight [0165/0325] saving model.layers.5.self_attn.o_proj.q_scale [0166/0325] saving model.layers.6.input_layernorm.weight [0167/0325] saving model.layers.6.mlp.down_proj.q_weight [0168/0325] saving model.layers.6.mlp.down_proj.q_scale [0169/0325] saving model.layers.6.mlp.gate_up_proj.q_weight [0170/0325] saving model.layers.6.mlp.gate_up_proj.q_scale [0171/0325] saving model.layers.6.post_attention_layernorm.weight [0172/0325] saving model.layers.6.self_attn.qkv_proj.q_weight [0173/0325] saving model.layers.6.self_attn.qkv_proj.q_scale [0174/0325] saving model.layers.6.self_attn.o_proj.q_weight [0175/0325] saving model.layers.6.self_attn.o_proj.q_scale [0176/0325] saving model.layers.7.input_layernorm.weight [0177/0325] saving model.layers.7.mlp.down_proj.q_weight [0178/0325] saving model.layers.7.mlp.down_proj.q_scale [0179/0325] saving model.layers.7.mlp.gate_up_proj.q_weight [0180/0325] saving model.layers.7.mlp.gate_up_proj.q_scale [0181/0325] saving model.layers.7.post_attention_layernorm.weight [0182/0325] saving model.layers.7.self_attn.qkv_proj.q_weight [0183/0325] saving model.layers.7.self_attn.qkv_proj.q_scale [0184/0325] saving model.layers.7.self_attn.o_proj.q_weight [0185/0325] saving model.layers.7.self_attn.o_proj.q_scale [0186/0325] saving model.layers.8.input_layernorm.weight [0187/0325] saving model.layers.8.mlp.down_proj.q_weight [0188/0325] saving model.layers.8.mlp.down_proj.q_scale [0189/0325] saving model.layers.8.mlp.gate_up_proj.q_weight [0190/0325] saving model.layers.8.mlp.gate_up_proj.q_scale [0191/0325] saving model.layers.8.post_attention_layernorm.weight [0192/0325] saving model.layers.8.self_attn.qkv_proj.q_weight [0193/0325] saving model.layers.8.self_attn.qkv_proj.q_scale [0194/0325] saving model.layers.8.self_attn.o_proj.q_weight [0195/0325] saving model.layers.8.self_attn.o_proj.q_scale [0196/0325] saving model.layers.9.input_layernorm.weight [0197/0325] saving model.layers.9.mlp.down_proj.q_weight [0198/0325] saving model.layers.9.mlp.down_proj.q_scale [0199/0325] saving model.layers.9.mlp.gate_up_proj.q_weight [0200/0325] saving model.layers.9.mlp.gate_up_proj.q_scale [0201/0325] saving model.layers.9.post_attention_layernorm.weight [0202/0325] saving model.layers.9.self_attn.qkv_proj.q_weight [0203/0325] saving model.layers.9.self_attn.qkv_proj.q_scale [0204/0325] saving model.layers.9.self_attn.o_proj.q_weight [0205/0325] saving model.layers.9.self_attn.o_proj.q_scale [0206/0325] saving model.layers.11.input_layernorm.weight [0207/0325] saving model.layers.11.mlp.down_proj.q_weight [0208/0325] saving model.layers.11.mlp.down_proj.q_scale [0209/0325] saving model.layers.11.post_attention_layernorm.weight [0210/0325] saving model.layers.12.input_layernorm.weight [0211/0325] saving model.layers.12.mlp.down_proj.q_weight [0212/0325] saving model.layers.12.mlp.down_proj.q_scale [0213/0325] saving model.layers.12.mlp.gate_up_proj.q_weight [0214/0325] saving model.layers.12.mlp.gate_up_proj.q_scale [0215/0325] saving model.layers.12.post_attention_layernorm.weight [0216/0325] saving model.layers.12.self_attn.qkv_proj.q_weight [0217/0325] saving model.layers.12.self_attn.qkv_proj.q_scale [0218/0325] saving model.layers.12.self_attn.o_proj.q_weight [0219/0325] saving model.layers.12.self_attn.o_proj.q_scale [0220/0325] saving model.layers.13.input_layernorm.weight [0221/0325] saving model.layers.13.mlp.down_proj.q_weight [0222/0325] saving model.layers.13.mlp.down_proj.q_scale [0223/0325] saving model.layers.13.mlp.gate_up_proj.q_weight [0224/0325] saving model.layers.13.mlp.gate_up_proj.q_scale [0225/0325] saving model.layers.13.post_attention_layernorm.weight [0226/0325] saving model.layers.13.self_attn.qkv_proj.q_weight [0227/0325] saving model.layers.13.self_attn.qkv_proj.q_scale [0228/0325] saving model.layers.13.self_attn.o_proj.q_weight [0229/0325] saving model.layers.13.self_attn.o_proj.q_scale [0230/0325] saving model.layers.14.input_layernorm.weight [0231/0325] saving model.layers.14.mlp.down_proj.q_weight [0232/0325] saving model.layers.14.mlp.down_proj.q_scale [0233/0325] saving model.layers.14.mlp.gate_up_proj.q_weight [0234/0325] saving model.layers.14.mlp.gate_up_proj.q_scale [0235/0325] saving model.layers.14.post_attention_layernorm.weight [0236/0325] saving model.layers.14.self_attn.qkv_proj.q_weight [0237/0325] saving model.layers.14.self_attn.qkv_proj.q_scale [0238/0325] saving model.layers.14.self_attn.o_proj.q_weight [0239/0325] saving model.layers.14.self_attn.o_proj.q_scale [0240/0325] saving model.layers.15.input_layernorm.weight [0241/0325] saving model.layers.15.mlp.down_proj.q_weight [0242/0325] saving model.layers.15.mlp.down_proj.q_scale [0243/0325] saving model.layers.15.mlp.gate_up_proj.q_weight [0244/0325] saving model.layers.15.mlp.gate_up_proj.q_scale [0245/0325] saving model.layers.15.post_attention_layernorm.weight [0246/0325] saving model.layers.15.self_attn.qkv_proj.q_weight [0247/0325] saving model.layers.15.self_attn.qkv_proj.q_scale [0248/0325] saving model.layers.15.self_attn.o_proj.q_weight [0249/0325] saving model.layers.15.self_attn.o_proj.q_scale [0250/0325] saving model.layers.16.input_layernorm.weight [0251/0325] saving model.layers.16.mlp.down_proj.q_weight [0252/0325] saving model.layers.16.mlp.down_proj.q_scale [0253/0325] saving model.layers.16.mlp.gate_up_proj.q_weight [0254/0325] saving model.layers.16.mlp.gate_up_proj.q_scale [0255/0325] saving model.layers.16.post_attention_layernorm.weight [0256/0325] saving model.layers.16.self_attn.qkv_proj.q_weight [0257/0325] saving model.layers.16.self_attn.qkv_proj.q_scale [0258/0325] saving model.layers.16.self_attn.o_proj.q_weight [0259/0325] saving model.layers.16.self_attn.o_proj.q_scale [0260/0325] saving model.layers.17.input_layernorm.weight [0261/0325] saving model.layers.17.mlp.down_proj.q_weight [0262/0325] saving model.layers.17.mlp.down_proj.q_scale [0263/0325] saving model.layers.17.mlp.gate_up_proj.q_weight [0264/0325] saving model.layers.17.mlp.gate_up_proj.q_scale [0265/0325] saving model.layers.17.post_attention_layernorm.weight [0266/0325] saving model.layers.17.self_attn.qkv_proj.q_weight [0267/0325] saving model.layers.17.self_attn.qkv_proj.q_scale [0268/0325] saving model.layers.17.self_attn.o_proj.q_weight [0269/0325] saving model.layers.17.self_attn.o_proj.q_scale [0270/0325] saving model.layers.18.input_layernorm.weight [0271/0325] saving model.layers.18.mlp.down_proj.q_weight [0272/0325] saving model.layers.18.mlp.down_proj.q_scale [0273/0325] saving model.layers.18.mlp.gate_up_proj.q_weight [0274/0325] saving model.layers.18.mlp.gate_up_proj.q_scale [0275/0325] saving model.layers.18.post_attention_layernorm.weight [0276/0325] saving model.layers.18.self_attn.qkv_proj.q_weight [0277/0325] saving model.layers.18.self_attn.qkv_proj.q_scale [0278/0325] saving model.layers.18.self_attn.o_proj.q_weight [0279/0325] saving model.layers.18.self_attn.o_proj.q_scale [0280/0325] saving model.layers.19.input_layernorm.weight [0281/0325] saving model.layers.19.mlp.down_proj.q_weight [0282/0325] saving model.layers.19.mlp.down_proj.q_scale [0283/0325] saving model.layers.19.mlp.gate_up_proj.q_weight [0284/0325] saving model.layers.19.mlp.gate_up_proj.q_scale [0285/0325] saving model.layers.19.post_attention_layernorm.weight [0286/0325] saving model.layers.19.self_attn.qkv_proj.q_weight [0287/0325] saving model.layers.19.self_attn.qkv_proj.q_scale [0288/0325] saving model.layers.19.self_attn.o_proj.q_weight [0289/0325] saving model.layers.19.self_attn.o_proj.q_scale [0290/0325] saving model.layers.20.input_layernorm.weight [0291/0325] saving model.layers.20.mlp.down_proj.q_weight [0292/0325] saving model.layers.20.mlp.down_proj.q_scale [0293/0325] saving model.layers.20.mlp.gate_up_proj.q_weight [0294/0325] saving model.layers.20.mlp.gate_up_proj.q_scale [0295/0325] saving model.layers.20.post_attention_layernorm.weight [0296/0325] saving model.layers.20.self_attn.qkv_proj.q_weight [0297/0325] saving model.layers.20.self_attn.qkv_proj.q_scale [0298/0325] saving model.layers.20.self_attn.o_proj.q_weight [0299/0325] saving model.layers.20.self_attn.o_proj.q_scale [0300/0325] saving model.layers.21.input_layernorm.weight [0301/0325] saving model.layers.21.mlp.down_proj.q_weight [0302/0325] saving model.layers.21.mlp.down_proj.q_scale [0303/0325] saving model.layers.21.mlp.gate_up_proj.q_weight [0304/0325] saving model.layers.21.mlp.gate_up_proj.q_scale [0305/0325] saving model.layers.21.post_attention_layernorm.weight [0306/0325] saving model.layers.21.self_attn.qkv_proj.q_weight [0307/0325] saving model.layers.21.self_attn.qkv_proj.q_scale [0308/0325] saving model.layers.21.self_attn.o_proj.q_weight [0309/0325] saving model.layers.21.self_attn.o_proj.q_scale [0310/0325] saving model.layers.22.input_layernorm.weight [0311/0325] saving model.layers.22.mlp.down_proj.q_weight [0312/0325] saving model.layers.22.mlp.down_proj.q_scale [0313/0325] saving model.layers.22.mlp.gate_up_proj.q_weight [0314/0325] saving model.layers.22.mlp.gate_up_proj.q_scale [0315/0325] saving model.layers.22.post_attention_layernorm.weight [0316/0325] saving model.layers.22.self_attn.qkv_proj.q_weight [0317/0325] saving model.layers.22.self_attn.qkv_proj.q_scale [0318/0325] saving model.layers.22.self_attn.o_proj.q_weight [0319/0325] saving model.layers.22.self_attn.o_proj.q_scale [0320/0325] saving model.layers.23.mlp.gate_up_proj.q_weight [0321/0325] saving model.layers.23.mlp.gate_up_proj.q_scale[2023-12-17 15:54:57] INFO convert_weight.py:131: Saved to directory: /tmp/tmp3rxs2lx1
 [0322/0325] saving model.layers.23.self_attn.qkv_proj.q_weight [0323/0325] saving model.layers.23.self_attn.qkv_proj.q_scale [0324/0325] saving model.layers.23.self_attn.o_proj.q_weight [0325/0325] saving model.layers.23.self_attn.o_proj.q_scale
All finished, 114 total shards committed, record saved to /tmp/tmp3rxs2lx1/ndarray-cache.json