| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 1125, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.0026666666666666666, |
| "grad_norm": 0.31795796751976013, |
| "learning_rate": 5e-06, |
| "loss": 0.9198, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 0.2965499460697174, |
| "learning_rate": 1e-05, |
| "loss": 0.7987, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.008, |
| "grad_norm": 0.3073004186153412, |
| "learning_rate": 1.5e-05, |
| "loss": 0.8705, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 0.31582117080688477, |
| "learning_rate": 2e-05, |
| "loss": 0.897, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 0.32552069425582886, |
| "learning_rate": 2.5e-05, |
| "loss": 0.8281, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 0.3633013069629669, |
| "learning_rate": 3e-05, |
| "loss": 0.8817, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.018666666666666668, |
| "grad_norm": 0.30820131301879883, |
| "learning_rate": 3.5e-05, |
| "loss": 0.7883, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 0.2991103529930115, |
| "learning_rate": 4e-05, |
| "loss": 0.8451, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.024, |
| "grad_norm": 0.26918885111808777, |
| "learning_rate": 4.5e-05, |
| "loss": 0.703, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 0.2952805161476135, |
| "learning_rate": 5e-05, |
| "loss": 0.8525, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.029333333333333333, |
| "grad_norm": 0.158904567360878, |
| "learning_rate": 5.500000000000001e-05, |
| "loss": 0.4532, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 0.24053733050823212, |
| "learning_rate": 6e-05, |
| "loss": 0.7278, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.034666666666666665, |
| "grad_norm": 0.27588018774986267, |
| "learning_rate": 6.500000000000001e-05, |
| "loss": 0.809, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 0.23301595449447632, |
| "learning_rate": 7e-05, |
| "loss": 0.6729, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 0.28395819664001465, |
| "learning_rate": 7.500000000000001e-05, |
| "loss": 0.6929, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 0.22508470714092255, |
| "learning_rate": 8e-05, |
| "loss": 0.5131, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.04533333333333334, |
| "grad_norm": 0.24023814499378204, |
| "learning_rate": 8.5e-05, |
| "loss": 0.5204, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 0.2793164551258087, |
| "learning_rate": 9e-05, |
| "loss": 0.6796, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.050666666666666665, |
| "grad_norm": 0.2434774488210678, |
| "learning_rate": 9.5e-05, |
| "loss": 0.5698, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 0.2483493834733963, |
| "learning_rate": 0.0001, |
| "loss": 0.6554, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.056, |
| "grad_norm": 0.18770429491996765, |
| "learning_rate": 0.000105, |
| "loss": 0.5123, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 0.1788586527109146, |
| "learning_rate": 0.00011000000000000002, |
| "loss": 0.4737, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.06133333333333333, |
| "grad_norm": 0.19754257798194885, |
| "learning_rate": 0.00011499999999999999, |
| "loss": 0.4892, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 0.1977739930152893, |
| "learning_rate": 0.00012, |
| "loss": 0.5444, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 0.17434217035770416, |
| "learning_rate": 0.000125, |
| "loss": 0.4982, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 0.18169911205768585, |
| "learning_rate": 0.00013000000000000002, |
| "loss": 0.5444, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.072, |
| "grad_norm": 0.13374541699886322, |
| "learning_rate": 0.00013500000000000003, |
| "loss": 0.3858, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 0.23194445669651031, |
| "learning_rate": 0.00014, |
| "loss": 0.5971, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.07733333333333334, |
| "grad_norm": 0.226721853017807, |
| "learning_rate": 0.000145, |
| "loss": 0.5912, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 0.20221616327762604, |
| "learning_rate": 0.00015000000000000001, |
| "loss": 0.5778, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.08266666666666667, |
| "grad_norm": 0.20439280569553375, |
| "learning_rate": 0.000155, |
| "loss": 0.5955, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 0.1792367696762085, |
| "learning_rate": 0.00016, |
| "loss": 0.4539, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.088, |
| "grad_norm": 0.15801019966602325, |
| "learning_rate": 0.000165, |
| "loss": 0.4281, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 0.18995234370231628, |
| "learning_rate": 0.00017, |
| "loss": 0.4919, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 0.18301232159137726, |
| "learning_rate": 0.000175, |
| "loss": 0.4698, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 0.1516425907611847, |
| "learning_rate": 0.00018, |
| "loss": 0.4706, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.09866666666666667, |
| "grad_norm": 0.15232552587985992, |
| "learning_rate": 0.00018500000000000002, |
| "loss": 0.4412, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 0.18981625139713287, |
| "learning_rate": 0.00019, |
| "loss": 0.5323, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.104, |
| "grad_norm": 0.19589070975780487, |
| "learning_rate": 0.000195, |
| "loss": 0.5426, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 0.14144787192344666, |
| "learning_rate": 0.0002, |
| "loss": 0.3534, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.10933333333333334, |
| "grad_norm": 0.15018980205059052, |
| "learning_rate": 0.00019981566820276498, |
| "loss": 0.4385, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 0.18116328120231628, |
| "learning_rate": 0.00019963133640552995, |
| "loss": 0.4677, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.11466666666666667, |
| "grad_norm": 0.21125923097133636, |
| "learning_rate": 0.00019944700460829492, |
| "loss": 0.5415, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 0.194460928440094, |
| "learning_rate": 0.00019926267281105992, |
| "loss": 0.5013, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 0.17403055727481842, |
| "learning_rate": 0.0001990783410138249, |
| "loss": 0.5035, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 0.18710163235664368, |
| "learning_rate": 0.00019889400921658986, |
| "loss": 0.5231, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.12533333333333332, |
| "grad_norm": 0.17051705718040466, |
| "learning_rate": 0.00019870967741935483, |
| "loss": 0.4854, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 0.17382238805294037, |
| "learning_rate": 0.0001985253456221198, |
| "loss": 0.5179, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.13066666666666665, |
| "grad_norm": 0.15307123959064484, |
| "learning_rate": 0.0001983410138248848, |
| "loss": 0.4356, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.16687354445457458, |
| "learning_rate": 0.00019815668202764977, |
| "loss": 0.4648, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.136, |
| "grad_norm": 0.17127734422683716, |
| "learning_rate": 0.00019797235023041477, |
| "loss": 0.4643, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 0.19123542308807373, |
| "learning_rate": 0.00019778801843317974, |
| "loss": 0.4997, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.14133333333333334, |
| "grad_norm": 0.1482383906841278, |
| "learning_rate": 0.00019760368663594472, |
| "loss": 0.4334, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 0.19939680397510529, |
| "learning_rate": 0.00019741935483870969, |
| "loss": 0.5257, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.14666666666666667, |
| "grad_norm": 0.17752857506275177, |
| "learning_rate": 0.00019723502304147466, |
| "loss": 0.4896, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.17946895956993103, |
| "learning_rate": 0.00019705069124423966, |
| "loss": 0.4847, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.152, |
| "grad_norm": 0.15529927611351013, |
| "learning_rate": 0.00019686635944700463, |
| "loss": 0.4338, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 0.18879836797714233, |
| "learning_rate": 0.0001966820276497696, |
| "loss": 0.5359, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.15733333333333333, |
| "grad_norm": 0.12355278432369232, |
| "learning_rate": 0.00019649769585253457, |
| "loss": 0.3539, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.1591000109910965, |
| "learning_rate": 0.00019631336405529954, |
| "loss": 0.436, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.16266666666666665, |
| "grad_norm": 0.19238081574440002, |
| "learning_rate": 0.0001961290322580645, |
| "loss": 0.5082, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 0.12826350331306458, |
| "learning_rate": 0.0001959447004608295, |
| "loss": 0.3597, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.168, |
| "grad_norm": 0.16202542185783386, |
| "learning_rate": 0.00019576036866359448, |
| "loss": 0.4477, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 0.1811097115278244, |
| "learning_rate": 0.00019557603686635945, |
| "loss": 0.486, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.17333333333333334, |
| "grad_norm": 0.1537872850894928, |
| "learning_rate": 0.00019539170506912442, |
| "loss": 0.3969, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 0.16730304062366486, |
| "learning_rate": 0.0001952073732718894, |
| "loss": 0.4754, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.17866666666666667, |
| "grad_norm": 0.15688396990299225, |
| "learning_rate": 0.00019502304147465436, |
| "loss": 0.4211, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 0.15763093531131744, |
| "learning_rate": 0.00019483870967741936, |
| "loss": 0.4411, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.184, |
| "grad_norm": 0.17456284165382385, |
| "learning_rate": 0.00019465437788018433, |
| "loss": 0.5103, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 0.13075074553489685, |
| "learning_rate": 0.00019447004608294933, |
| "loss": 0.3768, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.18933333333333333, |
| "grad_norm": 0.14194084703922272, |
| "learning_rate": 0.0001942857142857143, |
| "loss": 0.4023, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.1684679538011551, |
| "learning_rate": 0.00019410138248847927, |
| "loss": 0.4368, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.19466666666666665, |
| "grad_norm": 0.1637965440750122, |
| "learning_rate": 0.00019391705069124425, |
| "loss": 0.4172, |
| "step": 73 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 0.13393600285053253, |
| "learning_rate": 0.00019373271889400924, |
| "loss": 0.3464, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 0.160029336810112, |
| "learning_rate": 0.00019354838709677422, |
| "loss": 0.4253, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 0.14201787114143372, |
| "learning_rate": 0.00019336405529953919, |
| "loss": 0.3711, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.20533333333333334, |
| "grad_norm": 0.1976029872894287, |
| "learning_rate": 0.00019317972350230416, |
| "loss": 0.5179, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 0.1669568419456482, |
| "learning_rate": 0.00019299539170506913, |
| "loss": 0.435, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.21066666666666667, |
| "grad_norm": 0.15705814957618713, |
| "learning_rate": 0.0001928110599078341, |
| "loss": 0.4277, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.171238973736763, |
| "learning_rate": 0.0001926267281105991, |
| "loss": 0.4447, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.216, |
| "grad_norm": 0.18211324512958527, |
| "learning_rate": 0.00019244239631336407, |
| "loss": 0.4871, |
| "step": 81 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 0.17166893184185028, |
| "learning_rate": 0.00019225806451612904, |
| "loss": 0.4585, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.22133333333333333, |
| "grad_norm": 0.13666407763957977, |
| "learning_rate": 0.000192073732718894, |
| "loss": 0.3296, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 0.14897605776786804, |
| "learning_rate": 0.00019188940092165898, |
| "loss": 0.419, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.22666666666666666, |
| "grad_norm": 0.18019717931747437, |
| "learning_rate": 0.00019170506912442395, |
| "loss": 0.4178, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 0.11701514571905136, |
| "learning_rate": 0.00019152073732718895, |
| "loss": 0.2964, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.232, |
| "grad_norm": 0.178730309009552, |
| "learning_rate": 0.00019133640552995392, |
| "loss": 0.44, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.19901369512081146, |
| "learning_rate": 0.0001911520737327189, |
| "loss": 0.4994, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.23733333333333334, |
| "grad_norm": 0.17634202539920807, |
| "learning_rate": 0.0001909677419354839, |
| "loss": 0.4579, |
| "step": 89 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 0.1528671830892563, |
| "learning_rate": 0.00019078341013824886, |
| "loss": 0.4276, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.24266666666666667, |
| "grad_norm": 0.17885848879814148, |
| "learning_rate": 0.00019059907834101383, |
| "loss": 0.4692, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 0.18216568231582642, |
| "learning_rate": 0.00019041474654377883, |
| "loss": 0.4661, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.248, |
| "grad_norm": 0.14913441240787506, |
| "learning_rate": 0.0001902304147465438, |
| "loss": 0.4069, |
| "step": 93 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 0.14006248116493225, |
| "learning_rate": 0.00019004608294930877, |
| "loss": 0.3241, |
| "step": 94 |
| }, |
| { |
| "epoch": 0.25333333333333335, |
| "grad_norm": 0.17819872498512268, |
| "learning_rate": 0.00018986175115207375, |
| "loss": 0.4391, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 0.14914186298847198, |
| "learning_rate": 0.00018967741935483872, |
| "loss": 0.3717, |
| "step": 96 |
| }, |
| { |
| "epoch": 0.25866666666666666, |
| "grad_norm": 0.16637903451919556, |
| "learning_rate": 0.0001894930875576037, |
| "loss": 0.4084, |
| "step": 97 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 0.17099635303020477, |
| "learning_rate": 0.00018930875576036869, |
| "loss": 0.4276, |
| "step": 98 |
| }, |
| { |
| "epoch": 0.264, |
| "grad_norm": 0.16819758713245392, |
| "learning_rate": 0.00018912442396313366, |
| "loss": 0.4467, |
| "step": 99 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.16596156358718872, |
| "learning_rate": 0.00018894009216589863, |
| "loss": 0.4514, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.2693333333333333, |
| "grad_norm": 0.16137051582336426, |
| "learning_rate": 0.0001887557603686636, |
| "loss": 0.4481, |
| "step": 101 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 0.17070400714874268, |
| "learning_rate": 0.00018857142857142857, |
| "loss": 0.4799, |
| "step": 102 |
| }, |
| { |
| "epoch": 0.27466666666666667, |
| "grad_norm": 0.1253652125597, |
| "learning_rate": 0.00018838709677419354, |
| "loss": 0.3078, |
| "step": 103 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 0.16735614836215973, |
| "learning_rate": 0.0001882027649769585, |
| "loss": 0.4204, |
| "step": 104 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 0.16524048149585724, |
| "learning_rate": 0.0001880184331797235, |
| "loss": 0.4001, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 0.1721852570772171, |
| "learning_rate": 0.00018783410138248848, |
| "loss": 0.4256, |
| "step": 106 |
| }, |
| { |
| "epoch": 0.2853333333333333, |
| "grad_norm": 0.18015016615390778, |
| "learning_rate": 0.00018764976958525345, |
| "loss": 0.4357, |
| "step": 107 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.11961845308542252, |
| "learning_rate": 0.00018746543778801845, |
| "loss": 0.3225, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.2906666666666667, |
| "grad_norm": 0.15067099034786224, |
| "learning_rate": 0.00018728110599078342, |
| "loss": 0.3627, |
| "step": 109 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 0.15339131653308868, |
| "learning_rate": 0.0001870967741935484, |
| "loss": 0.3721, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.296, |
| "grad_norm": 0.18400989472866058, |
| "learning_rate": 0.0001869124423963134, |
| "loss": 0.4597, |
| "step": 111 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 0.16479958593845367, |
| "learning_rate": 0.00018672811059907836, |
| "loss": 0.4118, |
| "step": 112 |
| }, |
| { |
| "epoch": 0.30133333333333334, |
| "grad_norm": 0.17011751234531403, |
| "learning_rate": 0.00018654377880184333, |
| "loss": 0.4262, |
| "step": 113 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 0.1493382602930069, |
| "learning_rate": 0.0001863594470046083, |
| "loss": 0.3703, |
| "step": 114 |
| }, |
| { |
| "epoch": 0.30666666666666664, |
| "grad_norm": 0.1860666126012802, |
| "learning_rate": 0.00018617511520737328, |
| "loss": 0.4457, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 0.1524077206850052, |
| "learning_rate": 0.00018599078341013825, |
| "loss": 0.3729, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.312, |
| "grad_norm": 0.17037904262542725, |
| "learning_rate": 0.00018580645161290325, |
| "loss": 0.4107, |
| "step": 117 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 0.18302559852600098, |
| "learning_rate": 0.00018562211981566822, |
| "loss": 0.4487, |
| "step": 118 |
| }, |
| { |
| "epoch": 0.31733333333333336, |
| "grad_norm": 0.17528630793094635, |
| "learning_rate": 0.0001854377880184332, |
| "loss": 0.4688, |
| "step": 119 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.14254267513751984, |
| "learning_rate": 0.00018525345622119816, |
| "loss": 0.3642, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.32266666666666666, |
| "grad_norm": 0.15180109441280365, |
| "learning_rate": 0.00018506912442396313, |
| "loss": 0.4103, |
| "step": 121 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 0.17394393682479858, |
| "learning_rate": 0.0001848847926267281, |
| "loss": 0.431, |
| "step": 122 |
| }, |
| { |
| "epoch": 0.328, |
| "grad_norm": 0.17153407633304596, |
| "learning_rate": 0.0001847004608294931, |
| "loss": 0.4114, |
| "step": 123 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.1269201636314392, |
| "learning_rate": 0.00018451612903225807, |
| "loss": 0.3106, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.17708918452262878, |
| "learning_rate": 0.00018433179723502304, |
| "loss": 0.425, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 0.14768198132514954, |
| "learning_rate": 0.000184147465437788, |
| "loss": 0.3671, |
| "step": 126 |
| }, |
| { |
| "epoch": 0.33866666666666667, |
| "grad_norm": 0.14497029781341553, |
| "learning_rate": 0.000183963133640553, |
| "loss": 0.3541, |
| "step": 127 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 0.16288724541664124, |
| "learning_rate": 0.00018377880184331798, |
| "loss": 0.401, |
| "step": 128 |
| }, |
| { |
| "epoch": 0.344, |
| "grad_norm": 0.16115567088127136, |
| "learning_rate": 0.00018359447004608298, |
| "loss": 0.3901, |
| "step": 129 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 0.1626514345407486, |
| "learning_rate": 0.00018341013824884795, |
| "loss": 0.3974, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.34933333333333333, |
| "grad_norm": 0.17566069960594177, |
| "learning_rate": 0.00018322580645161292, |
| "loss": 0.4441, |
| "step": 131 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 0.15314380824565887, |
| "learning_rate": 0.0001830414746543779, |
| "loss": 0.3879, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.3546666666666667, |
| "grad_norm": 0.17474164068698883, |
| "learning_rate": 0.00018285714285714286, |
| "loss": 0.4216, |
| "step": 133 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 0.16597336530685425, |
| "learning_rate": 0.00018267281105990784, |
| "loss": 0.4064, |
| "step": 134 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 0.1585386097431183, |
| "learning_rate": 0.00018248847926267283, |
| "loss": 0.3648, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 0.15614689886569977, |
| "learning_rate": 0.0001823041474654378, |
| "loss": 0.3763, |
| "step": 136 |
| }, |
| { |
| "epoch": 0.36533333333333334, |
| "grad_norm": 0.17746753990650177, |
| "learning_rate": 0.00018211981566820278, |
| "loss": 0.4342, |
| "step": 137 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 0.14107246696949005, |
| "learning_rate": 0.00018193548387096775, |
| "loss": 0.3201, |
| "step": 138 |
| }, |
| { |
| "epoch": 0.37066666666666664, |
| "grad_norm": 0.18644823133945465, |
| "learning_rate": 0.00018175115207373272, |
| "loss": 0.4427, |
| "step": 139 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 0.1781357079744339, |
| "learning_rate": 0.0001815668202764977, |
| "loss": 0.4406, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.376, |
| "grad_norm": 0.19284285604953766, |
| "learning_rate": 0.0001813824884792627, |
| "loss": 0.4717, |
| "step": 141 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 0.17701680958271027, |
| "learning_rate": 0.00018119815668202766, |
| "loss": 0.4465, |
| "step": 142 |
| }, |
| { |
| "epoch": 0.38133333333333336, |
| "grad_norm": 0.15814925730228424, |
| "learning_rate": 0.00018101382488479263, |
| "loss": 0.3935, |
| "step": 143 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.18513131141662598, |
| "learning_rate": 0.0001808294930875576, |
| "loss": 0.4571, |
| "step": 144 |
| }, |
| { |
| "epoch": 0.38666666666666666, |
| "grad_norm": 0.1542840451002121, |
| "learning_rate": 0.00018064516129032257, |
| "loss": 0.3723, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 0.18084360659122467, |
| "learning_rate": 0.00018046082949308757, |
| "loss": 0.4772, |
| "step": 146 |
| }, |
| { |
| "epoch": 0.392, |
| "grad_norm": 0.16495780646800995, |
| "learning_rate": 0.00018027649769585254, |
| "loss": 0.4235, |
| "step": 147 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 0.17143410444259644, |
| "learning_rate": 0.00018009216589861754, |
| "loss": 0.412, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.3973333333333333, |
| "grad_norm": 0.15966279804706573, |
| "learning_rate": 0.0001799078341013825, |
| "loss": 0.3773, |
| "step": 149 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.17885254323482513, |
| "learning_rate": 0.00017972350230414748, |
| "loss": 0.4526, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.4026666666666667, |
| "grad_norm": 0.14771834015846252, |
| "learning_rate": 0.00017953917050691245, |
| "loss": 0.3577, |
| "step": 151 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.19173817336559296, |
| "learning_rate": 0.00017935483870967742, |
| "loss": 0.4465, |
| "step": 152 |
| }, |
| { |
| "epoch": 0.408, |
| "grad_norm": 0.15796253085136414, |
| "learning_rate": 0.00017917050691244242, |
| "loss": 0.389, |
| "step": 153 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 0.19969353079795837, |
| "learning_rate": 0.0001789861751152074, |
| "loss": 0.4537, |
| "step": 154 |
| }, |
| { |
| "epoch": 0.41333333333333333, |
| "grad_norm": 0.17320533096790314, |
| "learning_rate": 0.00017880184331797236, |
| "loss": 0.4191, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 0.13411633670330048, |
| "learning_rate": 0.00017861751152073734, |
| "loss": 0.3375, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.4186666666666667, |
| "grad_norm": 0.15305060148239136, |
| "learning_rate": 0.0001784331797235023, |
| "loss": 0.3905, |
| "step": 157 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 0.1757674217224121, |
| "learning_rate": 0.00017824884792626728, |
| "loss": 0.4461, |
| "step": 158 |
| }, |
| { |
| "epoch": 0.424, |
| "grad_norm": 0.17182041704654694, |
| "learning_rate": 0.00017806451612903228, |
| "loss": 0.4341, |
| "step": 159 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.16976647078990936, |
| "learning_rate": 0.00017788018433179725, |
| "loss": 0.4369, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.42933333333333334, |
| "grad_norm": 0.15003015100955963, |
| "learning_rate": 0.00017769585253456222, |
| "loss": 0.3677, |
| "step": 161 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 0.15240909159183502, |
| "learning_rate": 0.0001775115207373272, |
| "loss": 0.3564, |
| "step": 162 |
| }, |
| { |
| "epoch": 0.43466666666666665, |
| "grad_norm": 0.12969525158405304, |
| "learning_rate": 0.00017732718894009216, |
| "loss": 0.306, |
| "step": 163 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 0.18351611495018005, |
| "learning_rate": 0.00017714285714285713, |
| "loss": 0.4116, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 0.1526956856250763, |
| "learning_rate": 0.00017695852534562213, |
| "loss": 0.3528, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 0.15024355053901672, |
| "learning_rate": 0.0001767741935483871, |
| "loss": 0.3712, |
| "step": 166 |
| }, |
| { |
| "epoch": 0.44533333333333336, |
| "grad_norm": 0.15281909704208374, |
| "learning_rate": 0.0001765898617511521, |
| "loss": 0.3551, |
| "step": 167 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.1667689085006714, |
| "learning_rate": 0.00017640552995391707, |
| "loss": 0.3865, |
| "step": 168 |
| }, |
| { |
| "epoch": 0.45066666666666666, |
| "grad_norm": 0.103152796626091, |
| "learning_rate": 0.00017622119815668204, |
| "loss": 0.2435, |
| "step": 169 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 0.1343197375535965, |
| "learning_rate": 0.000176036866359447, |
| "loss": 0.3289, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.456, |
| "grad_norm": 0.1691158562898636, |
| "learning_rate": 0.00017585253456221198, |
| "loss": 0.3897, |
| "step": 171 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 0.16926874220371246, |
| "learning_rate": 0.00017566820276497698, |
| "loss": 0.4109, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.4613333333333333, |
| "grad_norm": 0.14672289788722992, |
| "learning_rate": 0.00017548387096774195, |
| "loss": 0.3582, |
| "step": 173 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 0.17479246854782104, |
| "learning_rate": 0.00017529953917050692, |
| "loss": 0.4371, |
| "step": 174 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 0.15855465829372406, |
| "learning_rate": 0.0001751152073732719, |
| "loss": 0.3856, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.14391499757766724, |
| "learning_rate": 0.00017493087557603687, |
| "loss": 0.3245, |
| "step": 176 |
| }, |
| { |
| "epoch": 0.472, |
| "grad_norm": 0.16085828840732574, |
| "learning_rate": 0.00017474654377880184, |
| "loss": 0.366, |
| "step": 177 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 0.19197571277618408, |
| "learning_rate": 0.00017456221198156684, |
| "loss": 0.4311, |
| "step": 178 |
| }, |
| { |
| "epoch": 0.47733333333333333, |
| "grad_norm": 0.17153812944889069, |
| "learning_rate": 0.0001743778801843318, |
| "loss": 0.4236, |
| "step": 179 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.17264418303966522, |
| "learning_rate": 0.00017419354838709678, |
| "loss": 0.4349, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.4826666666666667, |
| "grad_norm": 0.1292308270931244, |
| "learning_rate": 0.00017400921658986175, |
| "loss": 0.3148, |
| "step": 181 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 0.16159938275814056, |
| "learning_rate": 0.00017382488479262672, |
| "loss": 0.418, |
| "step": 182 |
| }, |
| { |
| "epoch": 0.488, |
| "grad_norm": 0.16956357657909393, |
| "learning_rate": 0.0001736405529953917, |
| "loss": 0.4, |
| "step": 183 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 0.18391053378582, |
| "learning_rate": 0.0001734562211981567, |
| "loss": 0.4406, |
| "step": 184 |
| }, |
| { |
| "epoch": 0.49333333333333335, |
| "grad_norm": 0.1496499478816986, |
| "learning_rate": 0.00017327188940092166, |
| "loss": 0.378, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 0.1665787696838379, |
| "learning_rate": 0.00017308755760368666, |
| "loss": 0.3853, |
| "step": 186 |
| }, |
| { |
| "epoch": 0.49866666666666665, |
| "grad_norm": 0.20489759743213654, |
| "learning_rate": 0.00017290322580645163, |
| "loss": 0.4377, |
| "step": 187 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 0.14827361702919006, |
| "learning_rate": 0.0001727188940092166, |
| "loss": 0.3546, |
| "step": 188 |
| }, |
| { |
| "epoch": 0.504, |
| "grad_norm": 0.15462061762809753, |
| "learning_rate": 0.00017253456221198157, |
| "loss": 0.349, |
| "step": 189 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 0.15933746099472046, |
| "learning_rate": 0.00017235023041474657, |
| "loss": 0.3949, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.5093333333333333, |
| "grad_norm": 0.1423114538192749, |
| "learning_rate": 0.00017216589861751154, |
| "loss": 0.3282, |
| "step": 191 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.15322059392929077, |
| "learning_rate": 0.0001719815668202765, |
| "loss": 0.3708, |
| "step": 192 |
| }, |
| { |
| "epoch": 0.5146666666666667, |
| "grad_norm": 0.14829488098621368, |
| "learning_rate": 0.00017179723502304148, |
| "loss": 0.3686, |
| "step": 193 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 0.18233701586723328, |
| "learning_rate": 0.00017161290322580645, |
| "loss": 0.4355, |
| "step": 194 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 0.1339682787656784, |
| "learning_rate": 0.00017142857142857143, |
| "loss": 0.3366, |
| "step": 195 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 0.19841143488883972, |
| "learning_rate": 0.00017124423963133642, |
| "loss": 0.4227, |
| "step": 196 |
| }, |
| { |
| "epoch": 0.5253333333333333, |
| "grad_norm": 0.14212489128112793, |
| "learning_rate": 0.0001710599078341014, |
| "loss": 0.3427, |
| "step": 197 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 0.173259899020195, |
| "learning_rate": 0.00017087557603686637, |
| "loss": 0.3791, |
| "step": 198 |
| }, |
| { |
| "epoch": 0.5306666666666666, |
| "grad_norm": 0.15233451128005981, |
| "learning_rate": 0.00017069124423963134, |
| "loss": 0.3414, |
| "step": 199 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.17846983671188354, |
| "learning_rate": 0.0001705069124423963, |
| "loss": 0.4373, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.536, |
| "grad_norm": 0.1585446149110794, |
| "learning_rate": 0.00017032258064516128, |
| "loss": 0.3765, |
| "step": 201 |
| }, |
| { |
| "epoch": 0.5386666666666666, |
| "grad_norm": 0.13464581966400146, |
| "learning_rate": 0.00017013824884792628, |
| "loss": 0.3006, |
| "step": 202 |
| }, |
| { |
| "epoch": 0.5413333333333333, |
| "grad_norm": 0.14662134647369385, |
| "learning_rate": 0.00016995391705069125, |
| "loss": 0.3567, |
| "step": 203 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 0.15118283033370972, |
| "learning_rate": 0.00016976958525345622, |
| "loss": 0.3475, |
| "step": 204 |
| }, |
| { |
| "epoch": 0.5466666666666666, |
| "grad_norm": 0.17972949147224426, |
| "learning_rate": 0.00016958525345622122, |
| "loss": 0.4418, |
| "step": 205 |
| }, |
| { |
| "epoch": 0.5493333333333333, |
| "grad_norm": 0.14408893883228302, |
| "learning_rate": 0.0001694009216589862, |
| "loss": 0.3507, |
| "step": 206 |
| }, |
| { |
| "epoch": 0.552, |
| "grad_norm": 0.13158614933490753, |
| "learning_rate": 0.00016921658986175116, |
| "loss": 0.3166, |
| "step": 207 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 0.15383560955524445, |
| "learning_rate": 0.00016903225806451616, |
| "loss": 0.329, |
| "step": 208 |
| }, |
| { |
| "epoch": 0.5573333333333333, |
| "grad_norm": 0.15465512871742249, |
| "learning_rate": 0.00016884792626728113, |
| "loss": 0.3615, |
| "step": 209 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.15681861340999603, |
| "learning_rate": 0.0001686635944700461, |
| "loss": 0.3466, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.5626666666666666, |
| "grad_norm": 0.1434970200061798, |
| "learning_rate": 0.00016847926267281107, |
| "loss": 0.3278, |
| "step": 211 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 0.15641628205776215, |
| "learning_rate": 0.00016829493087557604, |
| "loss": 0.3569, |
| "step": 212 |
| }, |
| { |
| "epoch": 0.568, |
| "grad_norm": 0.1346403956413269, |
| "learning_rate": 0.000168110599078341, |
| "loss": 0.3148, |
| "step": 213 |
| }, |
| { |
| "epoch": 0.5706666666666667, |
| "grad_norm": 0.15052050352096558, |
| "learning_rate": 0.000167926267281106, |
| "loss": 0.366, |
| "step": 214 |
| }, |
| { |
| "epoch": 0.5733333333333334, |
| "grad_norm": 0.1652543991804123, |
| "learning_rate": 0.00016774193548387098, |
| "loss": 0.378, |
| "step": 215 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.1317535787820816, |
| "learning_rate": 0.00016755760368663595, |
| "loss": 0.3063, |
| "step": 216 |
| }, |
| { |
| "epoch": 0.5786666666666667, |
| "grad_norm": 0.16040165722370148, |
| "learning_rate": 0.00016737327188940092, |
| "loss": 0.3696, |
| "step": 217 |
| }, |
| { |
| "epoch": 0.5813333333333334, |
| "grad_norm": 0.16351503133773804, |
| "learning_rate": 0.0001671889400921659, |
| "loss": 0.3619, |
| "step": 218 |
| }, |
| { |
| "epoch": 0.584, |
| "grad_norm": 0.1512780487537384, |
| "learning_rate": 0.00016700460829493087, |
| "loss": 0.3553, |
| "step": 219 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.1684075891971588, |
| "learning_rate": 0.00016682027649769587, |
| "loss": 0.4111, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.5893333333333334, |
| "grad_norm": 0.17556628584861755, |
| "learning_rate": 0.00016663594470046084, |
| "loss": 0.3937, |
| "step": 221 |
| }, |
| { |
| "epoch": 0.592, |
| "grad_norm": 0.1315503865480423, |
| "learning_rate": 0.0001664516129032258, |
| "loss": 0.2994, |
| "step": 222 |
| }, |
| { |
| "epoch": 0.5946666666666667, |
| "grad_norm": 0.1683577597141266, |
| "learning_rate": 0.00016626728110599078, |
| "loss": 0.3825, |
| "step": 223 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 0.13307073712348938, |
| "learning_rate": 0.00016608294930875578, |
| "loss": 0.3101, |
| "step": 224 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.182749941945076, |
| "learning_rate": 0.00016589861751152075, |
| "loss": 0.4399, |
| "step": 225 |
| }, |
| { |
| "epoch": 0.6026666666666667, |
| "grad_norm": 0.13908226788043976, |
| "learning_rate": 0.00016571428571428575, |
| "loss": 0.2907, |
| "step": 226 |
| }, |
| { |
| "epoch": 0.6053333333333333, |
| "grad_norm": 0.1431780457496643, |
| "learning_rate": 0.00016552995391705072, |
| "loss": 0.3256, |
| "step": 227 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 0.1415647268295288, |
| "learning_rate": 0.0001653456221198157, |
| "loss": 0.3539, |
| "step": 228 |
| }, |
| { |
| "epoch": 0.6106666666666667, |
| "grad_norm": 0.16500137746334076, |
| "learning_rate": 0.00016516129032258066, |
| "loss": 0.3995, |
| "step": 229 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.14294126629829407, |
| "learning_rate": 0.00016497695852534563, |
| "loss": 0.3516, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.616, |
| "grad_norm": 0.16912704706192017, |
| "learning_rate": 0.0001647926267281106, |
| "loss": 0.3701, |
| "step": 231 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 0.171602264046669, |
| "learning_rate": 0.00016460829493087557, |
| "loss": 0.3902, |
| "step": 232 |
| }, |
| { |
| "epoch": 0.6213333333333333, |
| "grad_norm": 0.139840230345726, |
| "learning_rate": 0.00016442396313364057, |
| "loss": 0.3207, |
| "step": 233 |
| }, |
| { |
| "epoch": 0.624, |
| "grad_norm": 0.1817532330751419, |
| "learning_rate": 0.00016423963133640554, |
| "loss": 0.3992, |
| "step": 234 |
| }, |
| { |
| "epoch": 0.6266666666666667, |
| "grad_norm": 0.15684981644153595, |
| "learning_rate": 0.0001640552995391705, |
| "loss": 0.3728, |
| "step": 235 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 0.1692310869693756, |
| "learning_rate": 0.00016387096774193548, |
| "loss": 0.3749, |
| "step": 236 |
| }, |
| { |
| "epoch": 0.632, |
| "grad_norm": 0.15905971825122833, |
| "learning_rate": 0.00016368663594470046, |
| "loss": 0.3447, |
| "step": 237 |
| }, |
| { |
| "epoch": 0.6346666666666667, |
| "grad_norm": 0.1193050667643547, |
| "learning_rate": 0.00016350230414746543, |
| "loss": 0.2671, |
| "step": 238 |
| }, |
| { |
| "epoch": 0.6373333333333333, |
| "grad_norm": 0.15694352984428406, |
| "learning_rate": 0.00016331797235023042, |
| "loss": 0.3459, |
| "step": 239 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.17581601440906525, |
| "learning_rate": 0.0001631336405529954, |
| "loss": 0.3871, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.6426666666666667, |
| "grad_norm": 0.15232494473457336, |
| "learning_rate": 0.00016294930875576037, |
| "loss": 0.3693, |
| "step": 241 |
| }, |
| { |
| "epoch": 0.6453333333333333, |
| "grad_norm": 0.1606399416923523, |
| "learning_rate": 0.00016276497695852534, |
| "loss": 0.381, |
| "step": 242 |
| }, |
| { |
| "epoch": 0.648, |
| "grad_norm": 0.1719520092010498, |
| "learning_rate": 0.00016258064516129034, |
| "loss": 0.3592, |
| "step": 243 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 0.16019819676876068, |
| "learning_rate": 0.0001623963133640553, |
| "loss": 0.3744, |
| "step": 244 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 0.17567366361618042, |
| "learning_rate": 0.0001622119815668203, |
| "loss": 0.3805, |
| "step": 245 |
| }, |
| { |
| "epoch": 0.656, |
| "grad_norm": 0.14169426262378693, |
| "learning_rate": 0.00016202764976958528, |
| "loss": 0.3137, |
| "step": 246 |
| }, |
| { |
| "epoch": 0.6586666666666666, |
| "grad_norm": 0.14895136654376984, |
| "learning_rate": 0.00016184331797235025, |
| "loss": 0.3569, |
| "step": 247 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 0.16148167848587036, |
| "learning_rate": 0.00016165898617511522, |
| "loss": 0.3638, |
| "step": 248 |
| }, |
| { |
| "epoch": 0.664, |
| "grad_norm": 0.16838644444942474, |
| "learning_rate": 0.0001614746543778802, |
| "loss": 0.388, |
| "step": 249 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.15224848687648773, |
| "learning_rate": 0.00016129032258064516, |
| "loss": 0.3545, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.6693333333333333, |
| "grad_norm": 0.16191022098064423, |
| "learning_rate": 0.00016110599078341016, |
| "loss": 0.3816, |
| "step": 251 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 0.1257759928703308, |
| "learning_rate": 0.00016092165898617513, |
| "loss": 0.2883, |
| "step": 252 |
| }, |
| { |
| "epoch": 0.6746666666666666, |
| "grad_norm": 0.15058423578739166, |
| "learning_rate": 0.0001607373271889401, |
| "loss": 0.3538, |
| "step": 253 |
| }, |
| { |
| "epoch": 0.6773333333333333, |
| "grad_norm": 0.16297395527362823, |
| "learning_rate": 0.00016055299539170507, |
| "loss": 0.3149, |
| "step": 254 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 0.13175536692142487, |
| "learning_rate": 0.00016036866359447004, |
| "loss": 0.2967, |
| "step": 255 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 0.1673828512430191, |
| "learning_rate": 0.00016018433179723501, |
| "loss": 0.3832, |
| "step": 256 |
| }, |
| { |
| "epoch": 0.6853333333333333, |
| "grad_norm": 0.1622629463672638, |
| "learning_rate": 0.00016, |
| "loss": 0.3682, |
| "step": 257 |
| }, |
| { |
| "epoch": 0.688, |
| "grad_norm": 0.16801975667476654, |
| "learning_rate": 0.00015981566820276498, |
| "loss": 0.3816, |
| "step": 258 |
| }, |
| { |
| "epoch": 0.6906666666666667, |
| "grad_norm": 0.16025444865226746, |
| "learning_rate": 0.00015963133640552996, |
| "loss": 0.4015, |
| "step": 259 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.15624813735485077, |
| "learning_rate": 0.00015944700460829493, |
| "loss": 0.3423, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.696, |
| "grad_norm": 0.15024392306804657, |
| "learning_rate": 0.0001592626728110599, |
| "loss": 0.3559, |
| "step": 261 |
| }, |
| { |
| "epoch": 0.6986666666666667, |
| "grad_norm": 0.13429264724254608, |
| "learning_rate": 0.0001590783410138249, |
| "loss": 0.3287, |
| "step": 262 |
| }, |
| { |
| "epoch": 0.7013333333333334, |
| "grad_norm": 0.15059643983840942, |
| "learning_rate": 0.00015889400921658987, |
| "loss": 0.3721, |
| "step": 263 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 0.16725251078605652, |
| "learning_rate": 0.00015870967741935487, |
| "loss": 0.4083, |
| "step": 264 |
| }, |
| { |
| "epoch": 0.7066666666666667, |
| "grad_norm": 0.17089051008224487, |
| "learning_rate": 0.00015852534562211984, |
| "loss": 0.3818, |
| "step": 265 |
| }, |
| { |
| "epoch": 0.7093333333333334, |
| "grad_norm": 0.16191141307353973, |
| "learning_rate": 0.0001583410138248848, |
| "loss": 0.3877, |
| "step": 266 |
| }, |
| { |
| "epoch": 0.712, |
| "grad_norm": 0.10652066022157669, |
| "learning_rate": 0.00015815668202764978, |
| "loss": 0.2472, |
| "step": 267 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 0.14809884130954742, |
| "learning_rate": 0.00015797235023041475, |
| "loss": 0.3437, |
| "step": 268 |
| }, |
| { |
| "epoch": 0.7173333333333334, |
| "grad_norm": 0.15298527479171753, |
| "learning_rate": 0.00015778801843317975, |
| "loss": 0.3451, |
| "step": 269 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.16368281841278076, |
| "learning_rate": 0.00015760368663594472, |
| "loss": 0.3707, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.7226666666666667, |
| "grad_norm": 0.16910625994205475, |
| "learning_rate": 0.0001574193548387097, |
| "loss": 0.3814, |
| "step": 271 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 0.13161355257034302, |
| "learning_rate": 0.00015723502304147466, |
| "loss": 0.2906, |
| "step": 272 |
| }, |
| { |
| "epoch": 0.728, |
| "grad_norm": 0.15623870491981506, |
| "learning_rate": 0.00015705069124423963, |
| "loss": 0.3569, |
| "step": 273 |
| }, |
| { |
| "epoch": 0.7306666666666667, |
| "grad_norm": 0.1901761293411255, |
| "learning_rate": 0.0001568663594470046, |
| "loss": 0.4412, |
| "step": 274 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 0.17372649908065796, |
| "learning_rate": 0.0001566820276497696, |
| "loss": 0.3818, |
| "step": 275 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 0.1698993593454361, |
| "learning_rate": 0.00015649769585253457, |
| "loss": 0.3946, |
| "step": 276 |
| }, |
| { |
| "epoch": 0.7386666666666667, |
| "grad_norm": 0.1353125125169754, |
| "learning_rate": 0.00015631336405529954, |
| "loss": 0.3024, |
| "step": 277 |
| }, |
| { |
| "epoch": 0.7413333333333333, |
| "grad_norm": 0.15039609372615814, |
| "learning_rate": 0.00015612903225806451, |
| "loss": 0.344, |
| "step": 278 |
| }, |
| { |
| "epoch": 0.744, |
| "grad_norm": 0.14630864560604095, |
| "learning_rate": 0.00015594470046082949, |
| "loss": 0.3164, |
| "step": 279 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.1768413931131363, |
| "learning_rate": 0.00015576036866359446, |
| "loss": 0.4039, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.7493333333333333, |
| "grad_norm": 0.18967677652835846, |
| "learning_rate": 0.00015557603686635946, |
| "loss": 0.3934, |
| "step": 281 |
| }, |
| { |
| "epoch": 0.752, |
| "grad_norm": 0.1499478965997696, |
| "learning_rate": 0.00015539170506912443, |
| "loss": 0.3396, |
| "step": 282 |
| }, |
| { |
| "epoch": 0.7546666666666667, |
| "grad_norm": 0.1615721583366394, |
| "learning_rate": 0.00015520737327188942, |
| "loss": 0.3923, |
| "step": 283 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 0.18911497294902802, |
| "learning_rate": 0.0001550230414746544, |
| "loss": 0.4161, |
| "step": 284 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 0.1700778603553772, |
| "learning_rate": 0.00015483870967741937, |
| "loss": 0.3802, |
| "step": 285 |
| }, |
| { |
| "epoch": 0.7626666666666667, |
| "grad_norm": 0.16611550748348236, |
| "learning_rate": 0.00015465437788018434, |
| "loss": 0.4055, |
| "step": 286 |
| }, |
| { |
| "epoch": 0.7653333333333333, |
| "grad_norm": 0.11968239396810532, |
| "learning_rate": 0.00015447004608294934, |
| "loss": 0.2623, |
| "step": 287 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 0.14020052552223206, |
| "learning_rate": 0.0001542857142857143, |
| "loss": 0.3312, |
| "step": 288 |
| }, |
| { |
| "epoch": 0.7706666666666667, |
| "grad_norm": 0.1645808219909668, |
| "learning_rate": 0.00015410138248847928, |
| "loss": 0.3723, |
| "step": 289 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 0.14945979416370392, |
| "learning_rate": 0.00015391705069124425, |
| "loss": 0.3437, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.776, |
| "grad_norm": 0.15359844267368317, |
| "learning_rate": 0.00015373271889400922, |
| "loss": 0.3416, |
| "step": 291 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 0.15382947027683258, |
| "learning_rate": 0.0001535483870967742, |
| "loss": 0.35, |
| "step": 292 |
| }, |
| { |
| "epoch": 0.7813333333333333, |
| "grad_norm": 0.1751420497894287, |
| "learning_rate": 0.0001533640552995392, |
| "loss": 0.3934, |
| "step": 293 |
| }, |
| { |
| "epoch": 0.784, |
| "grad_norm": 0.17973610758781433, |
| "learning_rate": 0.00015317972350230416, |
| "loss": 0.4028, |
| "step": 294 |
| }, |
| { |
| "epoch": 0.7866666666666666, |
| "grad_norm": 0.13859035074710846, |
| "learning_rate": 0.00015299539170506913, |
| "loss": 0.2822, |
| "step": 295 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 0.159519225358963, |
| "learning_rate": 0.0001528110599078341, |
| "loss": 0.3618, |
| "step": 296 |
| }, |
| { |
| "epoch": 0.792, |
| "grad_norm": 0.1519719660282135, |
| "learning_rate": 0.00015262672811059907, |
| "loss": 0.3135, |
| "step": 297 |
| }, |
| { |
| "epoch": 0.7946666666666666, |
| "grad_norm": 0.1638742834329605, |
| "learning_rate": 0.00015244239631336405, |
| "loss": 0.3436, |
| "step": 298 |
| }, |
| { |
| "epoch": 0.7973333333333333, |
| "grad_norm": 0.16452346742153168, |
| "learning_rate": 0.00015225806451612902, |
| "loss": 0.3554, |
| "step": 299 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.1377478837966919, |
| "learning_rate": 0.00015207373271889401, |
| "loss": 0.316, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.8026666666666666, |
| "grad_norm": 0.14339123666286469, |
| "learning_rate": 0.00015188940092165899, |
| "loss": 0.3205, |
| "step": 301 |
| }, |
| { |
| "epoch": 0.8053333333333333, |
| "grad_norm": 0.1550448089838028, |
| "learning_rate": 0.00015170506912442398, |
| "loss": 0.3596, |
| "step": 302 |
| }, |
| { |
| "epoch": 0.808, |
| "grad_norm": 0.17551767826080322, |
| "learning_rate": 0.00015152073732718895, |
| "loss": 0.3962, |
| "step": 303 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 0.12701982259750366, |
| "learning_rate": 0.00015133640552995393, |
| "loss": 0.3008, |
| "step": 304 |
| }, |
| { |
| "epoch": 0.8133333333333334, |
| "grad_norm": 0.16174665093421936, |
| "learning_rate": 0.0001511520737327189, |
| "loss": 0.3806, |
| "step": 305 |
| }, |
| { |
| "epoch": 0.816, |
| "grad_norm": 0.1501130908727646, |
| "learning_rate": 0.0001509677419354839, |
| "loss": 0.3329, |
| "step": 306 |
| }, |
| { |
| "epoch": 0.8186666666666667, |
| "grad_norm": 0.1546219438314438, |
| "learning_rate": 0.00015078341013824887, |
| "loss": 0.35, |
| "step": 307 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 0.15842264890670776, |
| "learning_rate": 0.00015059907834101384, |
| "loss": 0.3464, |
| "step": 308 |
| }, |
| { |
| "epoch": 0.824, |
| "grad_norm": 0.15754717588424683, |
| "learning_rate": 0.0001504147465437788, |
| "loss": 0.3328, |
| "step": 309 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.2010168433189392, |
| "learning_rate": 0.00015023041474654378, |
| "loss": 0.376, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.8293333333333334, |
| "grad_norm": 0.15599404275417328, |
| "learning_rate": 0.00015004608294930875, |
| "loss": 0.3522, |
| "step": 311 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 0.2657049298286438, |
| "learning_rate": 0.00014986175115207375, |
| "loss": 0.3294, |
| "step": 312 |
| }, |
| { |
| "epoch": 0.8346666666666667, |
| "grad_norm": 0.16477878391742706, |
| "learning_rate": 0.00014967741935483872, |
| "loss": 0.3409, |
| "step": 313 |
| }, |
| { |
| "epoch": 0.8373333333333334, |
| "grad_norm": 0.16392506659030914, |
| "learning_rate": 0.0001494930875576037, |
| "loss": 0.3374, |
| "step": 314 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 0.1208295077085495, |
| "learning_rate": 0.00014930875576036866, |
| "loss": 0.2801, |
| "step": 315 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 0.12793493270874023, |
| "learning_rate": 0.00014912442396313363, |
| "loss": 0.2754, |
| "step": 316 |
| }, |
| { |
| "epoch": 0.8453333333333334, |
| "grad_norm": 0.14537736773490906, |
| "learning_rate": 0.0001489400921658986, |
| "loss": 0.3408, |
| "step": 317 |
| }, |
| { |
| "epoch": 0.848, |
| "grad_norm": 0.15252535045146942, |
| "learning_rate": 0.0001487557603686636, |
| "loss": 0.3493, |
| "step": 318 |
| }, |
| { |
| "epoch": 0.8506666666666667, |
| "grad_norm": 0.14754997193813324, |
| "learning_rate": 0.00014857142857142857, |
| "loss": 0.324, |
| "step": 319 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.15408839285373688, |
| "learning_rate": 0.00014838709677419355, |
| "loss": 0.3557, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.856, |
| "grad_norm": 0.15192221105098724, |
| "learning_rate": 0.00014820276497695854, |
| "loss": 0.335, |
| "step": 321 |
| }, |
| { |
| "epoch": 0.8586666666666667, |
| "grad_norm": 0.12445574253797531, |
| "learning_rate": 0.00014801843317972351, |
| "loss": 0.2915, |
| "step": 322 |
| }, |
| { |
| "epoch": 0.8613333333333333, |
| "grad_norm": 0.15413238108158112, |
| "learning_rate": 0.00014783410138248849, |
| "loss": 0.3332, |
| "step": 323 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 0.14998595416545868, |
| "learning_rate": 0.00014764976958525348, |
| "loss": 0.335, |
| "step": 324 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 0.1280187964439392, |
| "learning_rate": 0.00014746543778801845, |
| "loss": 0.2979, |
| "step": 325 |
| }, |
| { |
| "epoch": 0.8693333333333333, |
| "grad_norm": 0.16464708745479584, |
| "learning_rate": 0.00014728110599078343, |
| "loss": 0.3571, |
| "step": 326 |
| }, |
| { |
| "epoch": 0.872, |
| "grad_norm": 0.15211057662963867, |
| "learning_rate": 0.0001470967741935484, |
| "loss": 0.3678, |
| "step": 327 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 0.15790687501430511, |
| "learning_rate": 0.00014691244239631337, |
| "loss": 0.3479, |
| "step": 328 |
| }, |
| { |
| "epoch": 0.8773333333333333, |
| "grad_norm": 0.17375443875789642, |
| "learning_rate": 0.00014672811059907834, |
| "loss": 0.404, |
| "step": 329 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.14624124765396118, |
| "learning_rate": 0.00014654377880184334, |
| "loss": 0.3035, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.8826666666666667, |
| "grad_norm": 0.12936308979988098, |
| "learning_rate": 0.0001463594470046083, |
| "loss": 0.2838, |
| "step": 331 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 0.13163194060325623, |
| "learning_rate": 0.00014617511520737328, |
| "loss": 0.3032, |
| "step": 332 |
| }, |
| { |
| "epoch": 0.888, |
| "grad_norm": 0.12900876998901367, |
| "learning_rate": 0.00014599078341013825, |
| "loss": 0.2964, |
| "step": 333 |
| }, |
| { |
| "epoch": 0.8906666666666667, |
| "grad_norm": 0.1418975293636322, |
| "learning_rate": 0.00014580645161290322, |
| "loss": 0.325, |
| "step": 334 |
| }, |
| { |
| "epoch": 0.8933333333333333, |
| "grad_norm": 0.15901930630207062, |
| "learning_rate": 0.0001456221198156682, |
| "loss": 0.3485, |
| "step": 335 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 0.12917467951774597, |
| "learning_rate": 0.0001454377880184332, |
| "loss": 0.3101, |
| "step": 336 |
| }, |
| { |
| "epoch": 0.8986666666666666, |
| "grad_norm": 0.1307375133037567, |
| "learning_rate": 0.00014525345622119816, |
| "loss": 0.2692, |
| "step": 337 |
| }, |
| { |
| "epoch": 0.9013333333333333, |
| "grad_norm": 0.15659134089946747, |
| "learning_rate": 0.00014506912442396313, |
| "loss": 0.3562, |
| "step": 338 |
| }, |
| { |
| "epoch": 0.904, |
| "grad_norm": 0.1662200689315796, |
| "learning_rate": 0.0001448847926267281, |
| "loss": 0.3789, |
| "step": 339 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.184801384806633, |
| "learning_rate": 0.0001447004608294931, |
| "loss": 0.4033, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.9093333333333333, |
| "grad_norm": 0.14836148917675018, |
| "learning_rate": 0.00014451612903225807, |
| "loss": 0.3323, |
| "step": 341 |
| }, |
| { |
| "epoch": 0.912, |
| "grad_norm": 0.1291496455669403, |
| "learning_rate": 0.00014433179723502307, |
| "loss": 0.2878, |
| "step": 342 |
| }, |
| { |
| "epoch": 0.9146666666666666, |
| "grad_norm": 0.1760437786579132, |
| "learning_rate": 0.00014414746543778804, |
| "loss": 0.4028, |
| "step": 343 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 0.1543797254562378, |
| "learning_rate": 0.00014396313364055301, |
| "loss": 0.3523, |
| "step": 344 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 0.11840101331472397, |
| "learning_rate": 0.00014377880184331799, |
| "loss": 0.2498, |
| "step": 345 |
| }, |
| { |
| "epoch": 0.9226666666666666, |
| "grad_norm": 0.17368434369564056, |
| "learning_rate": 0.00014359447004608296, |
| "loss": 0.4288, |
| "step": 346 |
| }, |
| { |
| "epoch": 0.9253333333333333, |
| "grad_norm": 0.14866364002227783, |
| "learning_rate": 0.00014341013824884793, |
| "loss": 0.3427, |
| "step": 347 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 0.15044787526130676, |
| "learning_rate": 0.00014322580645161293, |
| "loss": 0.3048, |
| "step": 348 |
| }, |
| { |
| "epoch": 0.9306666666666666, |
| "grad_norm": 0.17984692752361298, |
| "learning_rate": 0.0001430414746543779, |
| "loss": 0.3875, |
| "step": 349 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.17136484384536743, |
| "learning_rate": 0.00014285714285714287, |
| "loss": 0.4113, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.936, |
| "grad_norm": 0.1462949514389038, |
| "learning_rate": 0.00014267281105990784, |
| "loss": 0.3223, |
| "step": 351 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 0.13263173401355743, |
| "learning_rate": 0.0001424884792626728, |
| "loss": 0.2964, |
| "step": 352 |
| }, |
| { |
| "epoch": 0.9413333333333334, |
| "grad_norm": 0.16512326896190643, |
| "learning_rate": 0.00014230414746543778, |
| "loss": 0.382, |
| "step": 353 |
| }, |
| { |
| "epoch": 0.944, |
| "grad_norm": 0.15281005203723907, |
| "learning_rate": 0.00014211981566820278, |
| "loss": 0.3237, |
| "step": 354 |
| }, |
| { |
| "epoch": 0.9466666666666667, |
| "grad_norm": 0.16622225940227509, |
| "learning_rate": 0.00014193548387096775, |
| "loss": 0.3476, |
| "step": 355 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 0.14663656055927277, |
| "learning_rate": 0.00014175115207373272, |
| "loss": 0.3256, |
| "step": 356 |
| }, |
| { |
| "epoch": 0.952, |
| "grad_norm": 0.14011381566524506, |
| "learning_rate": 0.0001415668202764977, |
| "loss": 0.2808, |
| "step": 357 |
| }, |
| { |
| "epoch": 0.9546666666666667, |
| "grad_norm": 0.17868131399154663, |
| "learning_rate": 0.00014138248847926266, |
| "loss": 0.4023, |
| "step": 358 |
| }, |
| { |
| "epoch": 0.9573333333333334, |
| "grad_norm": 0.14108337461948395, |
| "learning_rate": 0.00014119815668202766, |
| "loss": 0.2917, |
| "step": 359 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.14999185502529144, |
| "learning_rate": 0.00014101382488479263, |
| "loss": 0.3405, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.9626666666666667, |
| "grad_norm": 0.1410456895828247, |
| "learning_rate": 0.00014082949308755763, |
| "loss": 0.296, |
| "step": 361 |
| }, |
| { |
| "epoch": 0.9653333333333334, |
| "grad_norm": 0.19141064584255219, |
| "learning_rate": 0.0001406451612903226, |
| "loss": 0.4072, |
| "step": 362 |
| }, |
| { |
| "epoch": 0.968, |
| "grad_norm": 0.16611899435520172, |
| "learning_rate": 0.00014046082949308757, |
| "loss": 0.3783, |
| "step": 363 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 0.16892562806606293, |
| "learning_rate": 0.00014027649769585254, |
| "loss": 0.392, |
| "step": 364 |
| }, |
| { |
| "epoch": 0.9733333333333334, |
| "grad_norm": 0.14543844759464264, |
| "learning_rate": 0.00014009216589861752, |
| "loss": 0.3362, |
| "step": 365 |
| }, |
| { |
| "epoch": 0.976, |
| "grad_norm": 0.1536979377269745, |
| "learning_rate": 0.0001399078341013825, |
| "loss": 0.3294, |
| "step": 366 |
| }, |
| { |
| "epoch": 0.9786666666666667, |
| "grad_norm": 0.17454853653907776, |
| "learning_rate": 0.00013972350230414749, |
| "loss": 0.3937, |
| "step": 367 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 0.13380491733551025, |
| "learning_rate": 0.00013953917050691246, |
| "loss": 0.3028, |
| "step": 368 |
| }, |
| { |
| "epoch": 0.984, |
| "grad_norm": 0.18040022253990173, |
| "learning_rate": 0.00013935483870967743, |
| "loss": 0.3761, |
| "step": 369 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.15009883046150208, |
| "learning_rate": 0.0001391705069124424, |
| "loss": 0.3319, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.9893333333333333, |
| "grad_norm": 0.18103910982608795, |
| "learning_rate": 0.00013898617511520737, |
| "loss": 0.402, |
| "step": 371 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 0.1751798838376999, |
| "learning_rate": 0.00013880184331797234, |
| "loss": 0.368, |
| "step": 372 |
| }, |
| { |
| "epoch": 0.9946666666666667, |
| "grad_norm": 0.13354599475860596, |
| "learning_rate": 0.00013861751152073734, |
| "loss": 0.2981, |
| "step": 373 |
| }, |
| { |
| "epoch": 0.9973333333333333, |
| "grad_norm": 0.1821356564760208, |
| "learning_rate": 0.0001384331797235023, |
| "loss": 0.3774, |
| "step": 374 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.17267672717571259, |
| "learning_rate": 0.00013824884792626728, |
| "loss": 0.3519, |
| "step": 375 |
| }, |
| { |
| "epoch": 1.0026666666666666, |
| "grad_norm": 0.16836708784103394, |
| "learning_rate": 0.00013806451612903225, |
| "loss": 0.3253, |
| "step": 376 |
| }, |
| { |
| "epoch": 1.0053333333333334, |
| "grad_norm": 0.17477719485759735, |
| "learning_rate": 0.00013788018433179722, |
| "loss": 0.3608, |
| "step": 377 |
| }, |
| { |
| "epoch": 1.008, |
| "grad_norm": 0.1772724837064743, |
| "learning_rate": 0.00013769585253456222, |
| "loss": 0.3447, |
| "step": 378 |
| }, |
| { |
| "epoch": 1.0106666666666666, |
| "grad_norm": 0.12257684767246246, |
| "learning_rate": 0.0001375115207373272, |
| "loss": 0.2177, |
| "step": 379 |
| }, |
| { |
| "epoch": 1.0133333333333334, |
| "grad_norm": 0.16612914204597473, |
| "learning_rate": 0.0001373271889400922, |
| "loss": 0.29, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.016, |
| "grad_norm": 0.1659669578075409, |
| "learning_rate": 0.00013714285714285716, |
| "loss": 0.2863, |
| "step": 381 |
| }, |
| { |
| "epoch": 1.0186666666666666, |
| "grad_norm": 0.10684580355882645, |
| "learning_rate": 0.00013695852534562213, |
| "loss": 0.2036, |
| "step": 382 |
| }, |
| { |
| "epoch": 1.0213333333333334, |
| "grad_norm": 0.18086634576320648, |
| "learning_rate": 0.0001367741935483871, |
| "loss": 0.3264, |
| "step": 383 |
| }, |
| { |
| "epoch": 1.024, |
| "grad_norm": 0.18370379507541656, |
| "learning_rate": 0.00013658986175115208, |
| "loss": 0.3345, |
| "step": 384 |
| }, |
| { |
| "epoch": 1.0266666666666666, |
| "grad_norm": 0.12735684216022491, |
| "learning_rate": 0.00013640552995391707, |
| "loss": 0.2282, |
| "step": 385 |
| }, |
| { |
| "epoch": 1.0293333333333334, |
| "grad_norm": 0.19155777990818024, |
| "learning_rate": 0.00013622119815668204, |
| "loss": 0.3451, |
| "step": 386 |
| }, |
| { |
| "epoch": 1.032, |
| "grad_norm": 0.15170736610889435, |
| "learning_rate": 0.00013603686635944702, |
| "loss": 0.3117, |
| "step": 387 |
| }, |
| { |
| "epoch": 1.0346666666666666, |
| "grad_norm": 0.1189170852303505, |
| "learning_rate": 0.000135852534562212, |
| "loss": 0.2301, |
| "step": 388 |
| }, |
| { |
| "epoch": 1.0373333333333334, |
| "grad_norm": 0.18579140305519104, |
| "learning_rate": 0.00013566820276497696, |
| "loss": 0.35, |
| "step": 389 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 0.17958171665668488, |
| "learning_rate": 0.00013548387096774193, |
| "loss": 0.3784, |
| "step": 390 |
| }, |
| { |
| "epoch": 1.0426666666666666, |
| "grad_norm": 0.14446499943733215, |
| "learning_rate": 0.00013529953917050693, |
| "loss": 0.2612, |
| "step": 391 |
| }, |
| { |
| "epoch": 1.0453333333333332, |
| "grad_norm": 0.14457960426807404, |
| "learning_rate": 0.0001351152073732719, |
| "loss": 0.2652, |
| "step": 392 |
| }, |
| { |
| "epoch": 1.048, |
| "grad_norm": 0.15731191635131836, |
| "learning_rate": 0.00013493087557603687, |
| "loss": 0.2775, |
| "step": 393 |
| }, |
| { |
| "epoch": 1.0506666666666666, |
| "grad_norm": 0.16172131896018982, |
| "learning_rate": 0.00013474654377880184, |
| "loss": 0.306, |
| "step": 394 |
| }, |
| { |
| "epoch": 1.0533333333333332, |
| "grad_norm": 0.14943663775920868, |
| "learning_rate": 0.0001345622119815668, |
| "loss": 0.2754, |
| "step": 395 |
| }, |
| { |
| "epoch": 1.056, |
| "grad_norm": 0.15502700209617615, |
| "learning_rate": 0.00013437788018433178, |
| "loss": 0.2944, |
| "step": 396 |
| }, |
| { |
| "epoch": 1.0586666666666666, |
| "grad_norm": 0.12555833160877228, |
| "learning_rate": 0.00013419354838709678, |
| "loss": 0.2273, |
| "step": 397 |
| }, |
| { |
| "epoch": 1.0613333333333332, |
| "grad_norm": 0.18065771460533142, |
| "learning_rate": 0.00013400921658986175, |
| "loss": 0.3267, |
| "step": 398 |
| }, |
| { |
| "epoch": 1.064, |
| "grad_norm": 0.18832246959209442, |
| "learning_rate": 0.00013382488479262675, |
| "loss": 0.3257, |
| "step": 399 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 0.1641506552696228, |
| "learning_rate": 0.00013364055299539172, |
| "loss": 0.2909, |
| "step": 400 |
| }, |
| { |
| "epoch": 1.0693333333333332, |
| "grad_norm": 0.1466669887304306, |
| "learning_rate": 0.0001334562211981567, |
| "loss": 0.2769, |
| "step": 401 |
| }, |
| { |
| "epoch": 1.072, |
| "grad_norm": 0.19785748422145844, |
| "learning_rate": 0.00013327188940092166, |
| "loss": 0.3788, |
| "step": 402 |
| }, |
| { |
| "epoch": 1.0746666666666667, |
| "grad_norm": 0.1749541014432907, |
| "learning_rate": 0.00013308755760368666, |
| "loss": 0.3467, |
| "step": 403 |
| }, |
| { |
| "epoch": 1.0773333333333333, |
| "grad_norm": 0.1550755649805069, |
| "learning_rate": 0.00013290322580645163, |
| "loss": 0.3002, |
| "step": 404 |
| }, |
| { |
| "epoch": 1.08, |
| "grad_norm": 0.1549319177865982, |
| "learning_rate": 0.0001327188940092166, |
| "loss": 0.265, |
| "step": 405 |
| }, |
| { |
| "epoch": 1.0826666666666667, |
| "grad_norm": 0.1888841986656189, |
| "learning_rate": 0.00013253456221198157, |
| "loss": 0.3656, |
| "step": 406 |
| }, |
| { |
| "epoch": 1.0853333333333333, |
| "grad_norm": 0.19269292056560516, |
| "learning_rate": 0.00013235023041474655, |
| "loss": 0.3399, |
| "step": 407 |
| }, |
| { |
| "epoch": 1.088, |
| "grad_norm": 0.17310786247253418, |
| "learning_rate": 0.00013216589861751152, |
| "loss": 0.3404, |
| "step": 408 |
| }, |
| { |
| "epoch": 1.0906666666666667, |
| "grad_norm": 0.17707963287830353, |
| "learning_rate": 0.00013198156682027652, |
| "loss": 0.3144, |
| "step": 409 |
| }, |
| { |
| "epoch": 1.0933333333333333, |
| "grad_norm": 0.18884608149528503, |
| "learning_rate": 0.0001317972350230415, |
| "loss": 0.3545, |
| "step": 410 |
| }, |
| { |
| "epoch": 1.096, |
| "grad_norm": 0.17003734409809113, |
| "learning_rate": 0.00013161290322580646, |
| "loss": 0.3041, |
| "step": 411 |
| }, |
| { |
| "epoch": 1.0986666666666667, |
| "grad_norm": 0.15582703053951263, |
| "learning_rate": 0.00013142857142857143, |
| "loss": 0.2777, |
| "step": 412 |
| }, |
| { |
| "epoch": 1.1013333333333333, |
| "grad_norm": 0.19669969379901886, |
| "learning_rate": 0.0001312442396313364, |
| "loss": 0.3497, |
| "step": 413 |
| }, |
| { |
| "epoch": 1.104, |
| "grad_norm": 0.1748334765434265, |
| "learning_rate": 0.00013105990783410137, |
| "loss": 0.3194, |
| "step": 414 |
| }, |
| { |
| "epoch": 1.1066666666666667, |
| "grad_norm": 0.13625746965408325, |
| "learning_rate": 0.00013087557603686637, |
| "loss": 0.2262, |
| "step": 415 |
| }, |
| { |
| "epoch": 1.1093333333333333, |
| "grad_norm": 0.1757451295852661, |
| "learning_rate": 0.00013069124423963134, |
| "loss": 0.3111, |
| "step": 416 |
| }, |
| { |
| "epoch": 1.112, |
| "grad_norm": 0.18365788459777832, |
| "learning_rate": 0.0001305069124423963, |
| "loss": 0.3498, |
| "step": 417 |
| }, |
| { |
| "epoch": 1.1146666666666667, |
| "grad_norm": 0.15181052684783936, |
| "learning_rate": 0.0001303225806451613, |
| "loss": 0.2915, |
| "step": 418 |
| }, |
| { |
| "epoch": 1.1173333333333333, |
| "grad_norm": 0.12344007194042206, |
| "learning_rate": 0.00013013824884792628, |
| "loss": 0.2209, |
| "step": 419 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 0.15274471044540405, |
| "learning_rate": 0.00012995391705069125, |
| "loss": 0.3069, |
| "step": 420 |
| }, |
| { |
| "epoch": 1.1226666666666667, |
| "grad_norm": 0.18239013850688934, |
| "learning_rate": 0.00012976958525345625, |
| "loss": 0.3499, |
| "step": 421 |
| }, |
| { |
| "epoch": 1.1253333333333333, |
| "grad_norm": 0.1746266633272171, |
| "learning_rate": 0.00012958525345622122, |
| "loss": 0.3441, |
| "step": 422 |
| }, |
| { |
| "epoch": 1.1280000000000001, |
| "grad_norm": 0.18905861675739288, |
| "learning_rate": 0.0001294009216589862, |
| "loss": 0.3507, |
| "step": 423 |
| }, |
| { |
| "epoch": 1.1306666666666667, |
| "grad_norm": 0.18351832032203674, |
| "learning_rate": 0.00012921658986175116, |
| "loss": 0.3473, |
| "step": 424 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 0.1772531270980835, |
| "learning_rate": 0.00012903225806451613, |
| "loss": 0.3138, |
| "step": 425 |
| }, |
| { |
| "epoch": 1.1360000000000001, |
| "grad_norm": 0.17047764360904694, |
| "learning_rate": 0.0001288479262672811, |
| "loss": 0.3033, |
| "step": 426 |
| }, |
| { |
| "epoch": 1.1386666666666667, |
| "grad_norm": 0.16869769990444183, |
| "learning_rate": 0.00012866359447004608, |
| "loss": 0.31, |
| "step": 427 |
| }, |
| { |
| "epoch": 1.1413333333333333, |
| "grad_norm": 0.17232246696949005, |
| "learning_rate": 0.00012847926267281107, |
| "loss": 0.3352, |
| "step": 428 |
| }, |
| { |
| "epoch": 1.144, |
| "grad_norm": 0.18078351020812988, |
| "learning_rate": 0.00012829493087557605, |
| "loss": 0.3201, |
| "step": 429 |
| }, |
| { |
| "epoch": 1.1466666666666667, |
| "grad_norm": 0.16152624785900116, |
| "learning_rate": 0.00012811059907834102, |
| "loss": 0.289, |
| "step": 430 |
| }, |
| { |
| "epoch": 1.1493333333333333, |
| "grad_norm": 0.18361586332321167, |
| "learning_rate": 0.000127926267281106, |
| "loss": 0.3131, |
| "step": 431 |
| }, |
| { |
| "epoch": 1.152, |
| "grad_norm": 0.1870482712984085, |
| "learning_rate": 0.00012774193548387096, |
| "loss": 0.3364, |
| "step": 432 |
| }, |
| { |
| "epoch": 1.1546666666666667, |
| "grad_norm": 0.16466543078422546, |
| "learning_rate": 0.00012755760368663593, |
| "loss": 0.2986, |
| "step": 433 |
| }, |
| { |
| "epoch": 1.1573333333333333, |
| "grad_norm": 0.16390617191791534, |
| "learning_rate": 0.00012737327188940093, |
| "loss": 0.2853, |
| "step": 434 |
| }, |
| { |
| "epoch": 1.16, |
| "grad_norm": 0.1582307517528534, |
| "learning_rate": 0.0001271889400921659, |
| "loss": 0.3015, |
| "step": 435 |
| }, |
| { |
| "epoch": 1.1626666666666667, |
| "grad_norm": 0.18881578743457794, |
| "learning_rate": 0.00012700460829493087, |
| "loss": 0.35, |
| "step": 436 |
| }, |
| { |
| "epoch": 1.1653333333333333, |
| "grad_norm": 0.17530585825443268, |
| "learning_rate": 0.00012682027649769587, |
| "loss": 0.3165, |
| "step": 437 |
| }, |
| { |
| "epoch": 1.168, |
| "grad_norm": 0.1683303713798523, |
| "learning_rate": 0.00012663594470046084, |
| "loss": 0.3147, |
| "step": 438 |
| }, |
| { |
| "epoch": 1.1706666666666667, |
| "grad_norm": 0.15983852744102478, |
| "learning_rate": 0.0001264516129032258, |
| "loss": 0.2814, |
| "step": 439 |
| }, |
| { |
| "epoch": 1.1733333333333333, |
| "grad_norm": 0.12463359534740448, |
| "learning_rate": 0.0001262672811059908, |
| "loss": 0.2101, |
| "step": 440 |
| }, |
| { |
| "epoch": 1.176, |
| "grad_norm": 0.17620094120502472, |
| "learning_rate": 0.00012608294930875578, |
| "loss": 0.3078, |
| "step": 441 |
| }, |
| { |
| "epoch": 1.1786666666666668, |
| "grad_norm": 0.15961304306983948, |
| "learning_rate": 0.00012589861751152075, |
| "loss": 0.2751, |
| "step": 442 |
| }, |
| { |
| "epoch": 1.1813333333333333, |
| "grad_norm": 0.1611575037240982, |
| "learning_rate": 0.00012571428571428572, |
| "loss": 0.2848, |
| "step": 443 |
| }, |
| { |
| "epoch": 1.184, |
| "grad_norm": 0.18253649771213531, |
| "learning_rate": 0.0001255299539170507, |
| "loss": 0.3026, |
| "step": 444 |
| }, |
| { |
| "epoch": 1.1866666666666668, |
| "grad_norm": 0.16647040843963623, |
| "learning_rate": 0.00012534562211981566, |
| "loss": 0.2895, |
| "step": 445 |
| }, |
| { |
| "epoch": 1.1893333333333334, |
| "grad_norm": 0.1810285449028015, |
| "learning_rate": 0.00012516129032258066, |
| "loss": 0.3118, |
| "step": 446 |
| }, |
| { |
| "epoch": 1.192, |
| "grad_norm": 0.16052526235580444, |
| "learning_rate": 0.00012497695852534563, |
| "loss": 0.2812, |
| "step": 447 |
| }, |
| { |
| "epoch": 1.1946666666666665, |
| "grad_norm": 0.14483848214149475, |
| "learning_rate": 0.0001247926267281106, |
| "loss": 0.2484, |
| "step": 448 |
| }, |
| { |
| "epoch": 1.1973333333333334, |
| "grad_norm": 0.16969628632068634, |
| "learning_rate": 0.00012460829493087558, |
| "loss": 0.2916, |
| "step": 449 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.14120320975780487, |
| "learning_rate": 0.00012442396313364055, |
| "loss": 0.2576, |
| "step": 450 |
| }, |
| { |
| "epoch": 1.2026666666666666, |
| "grad_norm": 0.19954310357570648, |
| "learning_rate": 0.00012423963133640552, |
| "loss": 0.3632, |
| "step": 451 |
| }, |
| { |
| "epoch": 1.2053333333333334, |
| "grad_norm": 0.18150478601455688, |
| "learning_rate": 0.00012405529953917052, |
| "loss": 0.3408, |
| "step": 452 |
| }, |
| { |
| "epoch": 1.208, |
| "grad_norm": 0.15250132977962494, |
| "learning_rate": 0.0001238709677419355, |
| "loss": 0.3005, |
| "step": 453 |
| }, |
| { |
| "epoch": 1.2106666666666666, |
| "grad_norm": 0.17641334235668182, |
| "learning_rate": 0.00012368663594470046, |
| "loss": 0.3168, |
| "step": 454 |
| }, |
| { |
| "epoch": 1.2133333333333334, |
| "grad_norm": 0.14669710397720337, |
| "learning_rate": 0.00012350230414746543, |
| "loss": 0.2718, |
| "step": 455 |
| }, |
| { |
| "epoch": 1.216, |
| "grad_norm": 0.18148992955684662, |
| "learning_rate": 0.00012331797235023043, |
| "loss": 0.3446, |
| "step": 456 |
| }, |
| { |
| "epoch": 1.2186666666666666, |
| "grad_norm": 0.19267897307872772, |
| "learning_rate": 0.0001231336405529954, |
| "loss": 0.3368, |
| "step": 457 |
| }, |
| { |
| "epoch": 1.2213333333333334, |
| "grad_norm": 0.16317573189735413, |
| "learning_rate": 0.00012294930875576037, |
| "loss": 0.2787, |
| "step": 458 |
| }, |
| { |
| "epoch": 1.224, |
| "grad_norm": 0.13813409209251404, |
| "learning_rate": 0.00012276497695852537, |
| "loss": 0.237, |
| "step": 459 |
| }, |
| { |
| "epoch": 1.2266666666666666, |
| "grad_norm": 0.19543218612670898, |
| "learning_rate": 0.00012258064516129034, |
| "loss": 0.3286, |
| "step": 460 |
| }, |
| { |
| "epoch": 1.2293333333333334, |
| "grad_norm": 0.16882073879241943, |
| "learning_rate": 0.0001223963133640553, |
| "loss": 0.2783, |
| "step": 461 |
| }, |
| { |
| "epoch": 1.232, |
| "grad_norm": 0.16801773011684418, |
| "learning_rate": 0.00012221198156682028, |
| "loss": 0.3018, |
| "step": 462 |
| }, |
| { |
| "epoch": 1.2346666666666666, |
| "grad_norm": 0.17224004864692688, |
| "learning_rate": 0.00012202764976958525, |
| "loss": 0.2982, |
| "step": 463 |
| }, |
| { |
| "epoch": 1.2373333333333334, |
| "grad_norm": 0.15956328809261322, |
| "learning_rate": 0.00012184331797235025, |
| "loss": 0.3058, |
| "step": 464 |
| }, |
| { |
| "epoch": 1.24, |
| "grad_norm": 0.17795439064502716, |
| "learning_rate": 0.00012165898617511522, |
| "loss": 0.3429, |
| "step": 465 |
| }, |
| { |
| "epoch": 1.2426666666666666, |
| "grad_norm": 0.1681850105524063, |
| "learning_rate": 0.0001214746543778802, |
| "loss": 0.2932, |
| "step": 466 |
| }, |
| { |
| "epoch": 1.2453333333333334, |
| "grad_norm": 0.14882837235927582, |
| "learning_rate": 0.00012129032258064516, |
| "loss": 0.2772, |
| "step": 467 |
| }, |
| { |
| "epoch": 1.248, |
| "grad_norm": 0.1865171641111374, |
| "learning_rate": 0.00012110599078341014, |
| "loss": 0.3526, |
| "step": 468 |
| }, |
| { |
| "epoch": 1.2506666666666666, |
| "grad_norm": 0.1419881284236908, |
| "learning_rate": 0.00012092165898617511, |
| "loss": 0.2556, |
| "step": 469 |
| }, |
| { |
| "epoch": 1.2533333333333334, |
| "grad_norm": 0.1949879229068756, |
| "learning_rate": 0.0001207373271889401, |
| "loss": 0.3512, |
| "step": 470 |
| }, |
| { |
| "epoch": 1.256, |
| "grad_norm": 0.1851123869419098, |
| "learning_rate": 0.00012055299539170508, |
| "loss": 0.3119, |
| "step": 471 |
| }, |
| { |
| "epoch": 1.2586666666666666, |
| "grad_norm": 0.16903844475746155, |
| "learning_rate": 0.00012036866359447006, |
| "loss": 0.2964, |
| "step": 472 |
| }, |
| { |
| "epoch": 1.2613333333333334, |
| "grad_norm": 0.15738247334957123, |
| "learning_rate": 0.00012018433179723503, |
| "loss": 0.3073, |
| "step": 473 |
| }, |
| { |
| "epoch": 1.264, |
| "grad_norm": 0.18394124507904053, |
| "learning_rate": 0.00012, |
| "loss": 0.3529, |
| "step": 474 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 0.16276584565639496, |
| "learning_rate": 0.00011981566820276497, |
| "loss": 0.2824, |
| "step": 475 |
| }, |
| { |
| "epoch": 1.2693333333333334, |
| "grad_norm": 0.19218119978904724, |
| "learning_rate": 0.00011963133640552997, |
| "loss": 0.3145, |
| "step": 476 |
| }, |
| { |
| "epoch": 1.272, |
| "grad_norm": 0.1617254912853241, |
| "learning_rate": 0.00011944700460829494, |
| "loss": 0.3048, |
| "step": 477 |
| }, |
| { |
| "epoch": 1.2746666666666666, |
| "grad_norm": 0.18363742530345917, |
| "learning_rate": 0.00011926267281105991, |
| "loss": 0.3495, |
| "step": 478 |
| }, |
| { |
| "epoch": 1.2773333333333334, |
| "grad_norm": 0.18322618305683136, |
| "learning_rate": 0.00011907834101382489, |
| "loss": 0.323, |
| "step": 479 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 0.19018413126468658, |
| "learning_rate": 0.00011889400921658986, |
| "loss": 0.3239, |
| "step": 480 |
| }, |
| { |
| "epoch": 1.2826666666666666, |
| "grad_norm": 0.18414224684238434, |
| "learning_rate": 0.00011870967741935484, |
| "loss": 0.3221, |
| "step": 481 |
| }, |
| { |
| "epoch": 1.2853333333333334, |
| "grad_norm": 0.1773815155029297, |
| "learning_rate": 0.00011852534562211983, |
| "loss": 0.2895, |
| "step": 482 |
| }, |
| { |
| "epoch": 1.288, |
| "grad_norm": 0.1861986517906189, |
| "learning_rate": 0.00011834101382488481, |
| "loss": 0.3544, |
| "step": 483 |
| }, |
| { |
| "epoch": 1.2906666666666666, |
| "grad_norm": 0.16993744671344757, |
| "learning_rate": 0.00011815668202764978, |
| "loss": 0.2809, |
| "step": 484 |
| }, |
| { |
| "epoch": 1.2933333333333334, |
| "grad_norm": 0.19634485244750977, |
| "learning_rate": 0.00011797235023041475, |
| "loss": 0.351, |
| "step": 485 |
| }, |
| { |
| "epoch": 1.296, |
| "grad_norm": 0.146186962723732, |
| "learning_rate": 0.00011778801843317972, |
| "loss": 0.2947, |
| "step": 486 |
| }, |
| { |
| "epoch": 1.2986666666666666, |
| "grad_norm": 0.1496630311012268, |
| "learning_rate": 0.0001176036866359447, |
| "loss": 0.24, |
| "step": 487 |
| }, |
| { |
| "epoch": 1.3013333333333335, |
| "grad_norm": 0.15881465375423431, |
| "learning_rate": 0.00011741935483870967, |
| "loss": 0.2679, |
| "step": 488 |
| }, |
| { |
| "epoch": 1.304, |
| "grad_norm": 0.14850527048110962, |
| "learning_rate": 0.00011723502304147466, |
| "loss": 0.2729, |
| "step": 489 |
| }, |
| { |
| "epoch": 1.3066666666666666, |
| "grad_norm": 0.18087144196033478, |
| "learning_rate": 0.00011705069124423964, |
| "loss": 0.3167, |
| "step": 490 |
| }, |
| { |
| "epoch": 1.3093333333333335, |
| "grad_norm": 0.18573027849197388, |
| "learning_rate": 0.00011686635944700462, |
| "loss": 0.3389, |
| "step": 491 |
| }, |
| { |
| "epoch": 1.312, |
| "grad_norm": 0.1348046511411667, |
| "learning_rate": 0.00011668202764976959, |
| "loss": 0.2417, |
| "step": 492 |
| }, |
| { |
| "epoch": 1.3146666666666667, |
| "grad_norm": 0.1142662763595581, |
| "learning_rate": 0.00011649769585253456, |
| "loss": 0.2001, |
| "step": 493 |
| }, |
| { |
| "epoch": 1.3173333333333335, |
| "grad_norm": 0.16688582301139832, |
| "learning_rate": 0.00011631336405529953, |
| "loss": 0.3011, |
| "step": 494 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 0.13561463356018066, |
| "learning_rate": 0.00011612903225806453, |
| "loss": 0.2247, |
| "step": 495 |
| }, |
| { |
| "epoch": 1.3226666666666667, |
| "grad_norm": 0.1808239072561264, |
| "learning_rate": 0.0001159447004608295, |
| "loss": 0.3396, |
| "step": 496 |
| }, |
| { |
| "epoch": 1.3253333333333333, |
| "grad_norm": 0.1843968629837036, |
| "learning_rate": 0.00011576036866359447, |
| "loss": 0.3445, |
| "step": 497 |
| }, |
| { |
| "epoch": 1.328, |
| "grad_norm": 0.18581481277942657, |
| "learning_rate": 0.00011557603686635945, |
| "loss": 0.3435, |
| "step": 498 |
| }, |
| { |
| "epoch": 1.3306666666666667, |
| "grad_norm": 0.12895582616329193, |
| "learning_rate": 0.00011539170506912442, |
| "loss": 0.2209, |
| "step": 499 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.19537444412708282, |
| "learning_rate": 0.0001152073732718894, |
| "loss": 0.3652, |
| "step": 500 |
| }, |
| { |
| "epoch": 1.336, |
| "grad_norm": 0.19190914928913116, |
| "learning_rate": 0.00011502304147465439, |
| "loss": 0.3434, |
| "step": 501 |
| }, |
| { |
| "epoch": 1.3386666666666667, |
| "grad_norm": 0.191707044839859, |
| "learning_rate": 0.00011483870967741937, |
| "loss": 0.3358, |
| "step": 502 |
| }, |
| { |
| "epoch": 1.3413333333333333, |
| "grad_norm": 0.2067241668701172, |
| "learning_rate": 0.00011465437788018434, |
| "loss": 0.34, |
| "step": 503 |
| }, |
| { |
| "epoch": 1.3439999999999999, |
| "grad_norm": 0.2064065933227539, |
| "learning_rate": 0.00011447004608294931, |
| "loss": 0.3692, |
| "step": 504 |
| }, |
| { |
| "epoch": 1.3466666666666667, |
| "grad_norm": 0.1637248992919922, |
| "learning_rate": 0.00011428571428571428, |
| "loss": 0.2737, |
| "step": 505 |
| }, |
| { |
| "epoch": 1.3493333333333333, |
| "grad_norm": 0.15855838358402252, |
| "learning_rate": 0.00011410138248847925, |
| "loss": 0.2843, |
| "step": 506 |
| }, |
| { |
| "epoch": 1.3519999999999999, |
| "grad_norm": 0.16639956831932068, |
| "learning_rate": 0.00011391705069124425, |
| "loss": 0.2998, |
| "step": 507 |
| }, |
| { |
| "epoch": 1.3546666666666667, |
| "grad_norm": 0.20358127355575562, |
| "learning_rate": 0.00011373271889400922, |
| "loss": 0.3536, |
| "step": 508 |
| }, |
| { |
| "epoch": 1.3573333333333333, |
| "grad_norm": 0.17078451812267303, |
| "learning_rate": 0.0001135483870967742, |
| "loss": 0.2982, |
| "step": 509 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 0.15411201119422913, |
| "learning_rate": 0.00011336405529953918, |
| "loss": 0.2828, |
| "step": 510 |
| }, |
| { |
| "epoch": 1.3626666666666667, |
| "grad_norm": 0.1941250115633011, |
| "learning_rate": 0.00011317972350230415, |
| "loss": 0.3128, |
| "step": 511 |
| }, |
| { |
| "epoch": 1.3653333333333333, |
| "grad_norm": 0.15264247357845306, |
| "learning_rate": 0.00011299539170506912, |
| "loss": 0.2604, |
| "step": 512 |
| }, |
| { |
| "epoch": 1.3679999999999999, |
| "grad_norm": 0.15597917139530182, |
| "learning_rate": 0.00011281105990783412, |
| "loss": 0.2838, |
| "step": 513 |
| }, |
| { |
| "epoch": 1.3706666666666667, |
| "grad_norm": 0.1368638128042221, |
| "learning_rate": 0.00011262672811059909, |
| "loss": 0.2389, |
| "step": 514 |
| }, |
| { |
| "epoch": 1.3733333333333333, |
| "grad_norm": 0.16181014478206635, |
| "learning_rate": 0.00011244239631336406, |
| "loss": 0.2864, |
| "step": 515 |
| }, |
| { |
| "epoch": 1.376, |
| "grad_norm": 0.18805274367332458, |
| "learning_rate": 0.00011225806451612903, |
| "loss": 0.3248, |
| "step": 516 |
| }, |
| { |
| "epoch": 1.3786666666666667, |
| "grad_norm": 0.19181305170059204, |
| "learning_rate": 0.000112073732718894, |
| "loss": 0.354, |
| "step": 517 |
| }, |
| { |
| "epoch": 1.3813333333333333, |
| "grad_norm": 0.18321382999420166, |
| "learning_rate": 0.00011188940092165898, |
| "loss": 0.3424, |
| "step": 518 |
| }, |
| { |
| "epoch": 1.384, |
| "grad_norm": 0.18562433123588562, |
| "learning_rate": 0.00011170506912442397, |
| "loss": 0.3392, |
| "step": 519 |
| }, |
| { |
| "epoch": 1.3866666666666667, |
| "grad_norm": 0.18313543498516083, |
| "learning_rate": 0.00011152073732718894, |
| "loss": 0.3298, |
| "step": 520 |
| }, |
| { |
| "epoch": 1.3893333333333333, |
| "grad_norm": 0.18686257302761078, |
| "learning_rate": 0.00011133640552995393, |
| "loss": 0.3415, |
| "step": 521 |
| }, |
| { |
| "epoch": 1.392, |
| "grad_norm": 0.19380803406238556, |
| "learning_rate": 0.0001111520737327189, |
| "loss": 0.3455, |
| "step": 522 |
| }, |
| { |
| "epoch": 1.3946666666666667, |
| "grad_norm": 0.19642230868339539, |
| "learning_rate": 0.00011096774193548387, |
| "loss": 0.3242, |
| "step": 523 |
| }, |
| { |
| "epoch": 1.3973333333333333, |
| "grad_norm": 0.1258707344532013, |
| "learning_rate": 0.00011078341013824884, |
| "loss": 0.2052, |
| "step": 524 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 0.16860158741474152, |
| "learning_rate": 0.00011059907834101384, |
| "loss": 0.2946, |
| "step": 525 |
| }, |
| { |
| "epoch": 1.4026666666666667, |
| "grad_norm": 0.16111595928668976, |
| "learning_rate": 0.00011041474654377881, |
| "loss": 0.2961, |
| "step": 526 |
| }, |
| { |
| "epoch": 1.4053333333333333, |
| "grad_norm": 0.1360962837934494, |
| "learning_rate": 0.00011023041474654378, |
| "loss": 0.2351, |
| "step": 527 |
| }, |
| { |
| "epoch": 1.408, |
| "grad_norm": 0.182793989777565, |
| "learning_rate": 0.00011004608294930875, |
| "loss": 0.3364, |
| "step": 528 |
| }, |
| { |
| "epoch": 1.4106666666666667, |
| "grad_norm": 0.15777157247066498, |
| "learning_rate": 0.00010986175115207374, |
| "loss": 0.2962, |
| "step": 529 |
| }, |
| { |
| "epoch": 1.4133333333333333, |
| "grad_norm": 0.16440604627132416, |
| "learning_rate": 0.00010967741935483871, |
| "loss": 0.2881, |
| "step": 530 |
| }, |
| { |
| "epoch": 1.416, |
| "grad_norm": 0.12915076315402985, |
| "learning_rate": 0.00010949308755760371, |
| "loss": 0.2443, |
| "step": 531 |
| }, |
| { |
| "epoch": 1.4186666666666667, |
| "grad_norm": 0.15730984508991241, |
| "learning_rate": 0.00010930875576036868, |
| "loss": 0.2861, |
| "step": 532 |
| }, |
| { |
| "epoch": 1.4213333333333333, |
| "grad_norm": 0.16304659843444824, |
| "learning_rate": 0.00010912442396313365, |
| "loss": 0.285, |
| "step": 533 |
| }, |
| { |
| "epoch": 1.424, |
| "grad_norm": 0.17006252706050873, |
| "learning_rate": 0.00010894009216589862, |
| "loss": 0.3, |
| "step": 534 |
| }, |
| { |
| "epoch": 1.4266666666666667, |
| "grad_norm": 0.17501677572727203, |
| "learning_rate": 0.00010875576036866359, |
| "loss": 0.3288, |
| "step": 535 |
| }, |
| { |
| "epoch": 1.4293333333333333, |
| "grad_norm": 0.1846413016319275, |
| "learning_rate": 0.00010857142857142856, |
| "loss": 0.3176, |
| "step": 536 |
| }, |
| { |
| "epoch": 1.432, |
| "grad_norm": 0.16259899735450745, |
| "learning_rate": 0.00010838709677419356, |
| "loss": 0.2782, |
| "step": 537 |
| }, |
| { |
| "epoch": 1.4346666666666668, |
| "grad_norm": 0.12844997644424438, |
| "learning_rate": 0.00010820276497695853, |
| "loss": 0.2297, |
| "step": 538 |
| }, |
| { |
| "epoch": 1.4373333333333334, |
| "grad_norm": 0.18608011305332184, |
| "learning_rate": 0.0001080184331797235, |
| "loss": 0.3139, |
| "step": 539 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 0.18185369670391083, |
| "learning_rate": 0.00010783410138248849, |
| "loss": 0.3294, |
| "step": 540 |
| }, |
| { |
| "epoch": 1.4426666666666668, |
| "grad_norm": 0.1800394356250763, |
| "learning_rate": 0.00010764976958525346, |
| "loss": 0.309, |
| "step": 541 |
| }, |
| { |
| "epoch": 1.4453333333333334, |
| "grad_norm": 0.1457604616880417, |
| "learning_rate": 0.00010746543778801843, |
| "loss": 0.2472, |
| "step": 542 |
| }, |
| { |
| "epoch": 1.448, |
| "grad_norm": 0.19006659090518951, |
| "learning_rate": 0.00010728110599078343, |
| "loss": 0.3275, |
| "step": 543 |
| }, |
| { |
| "epoch": 1.4506666666666668, |
| "grad_norm": 0.14114591479301453, |
| "learning_rate": 0.0001070967741935484, |
| "loss": 0.2403, |
| "step": 544 |
| }, |
| { |
| "epoch": 1.4533333333333334, |
| "grad_norm": 0.18253850936889648, |
| "learning_rate": 0.00010691244239631337, |
| "loss": 0.3201, |
| "step": 545 |
| }, |
| { |
| "epoch": 1.456, |
| "grad_norm": 0.19325825572013855, |
| "learning_rate": 0.00010672811059907834, |
| "loss": 0.3354, |
| "step": 546 |
| }, |
| { |
| "epoch": 1.4586666666666668, |
| "grad_norm": 0.1377699226140976, |
| "learning_rate": 0.00010654377880184331, |
| "loss": 0.2348, |
| "step": 547 |
| }, |
| { |
| "epoch": 1.4613333333333334, |
| "grad_norm": 0.16220860183238983, |
| "learning_rate": 0.0001063594470046083, |
| "loss": 0.2667, |
| "step": 548 |
| }, |
| { |
| "epoch": 1.464, |
| "grad_norm": 0.2003559172153473, |
| "learning_rate": 0.00010617511520737328, |
| "loss": 0.3381, |
| "step": 549 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 0.19134390354156494, |
| "learning_rate": 0.00010599078341013827, |
| "loss": 0.3281, |
| "step": 550 |
| }, |
| { |
| "epoch": 1.4693333333333334, |
| "grad_norm": 0.16237686574459076, |
| "learning_rate": 0.00010580645161290324, |
| "loss": 0.2751, |
| "step": 551 |
| }, |
| { |
| "epoch": 1.472, |
| "grad_norm": 0.1640011966228485, |
| "learning_rate": 0.00010562211981566821, |
| "loss": 0.2776, |
| "step": 552 |
| }, |
| { |
| "epoch": 1.4746666666666668, |
| "grad_norm": 0.1785988211631775, |
| "learning_rate": 0.00010543778801843318, |
| "loss": 0.3145, |
| "step": 553 |
| }, |
| { |
| "epoch": 1.4773333333333334, |
| "grad_norm": 0.17735683917999268, |
| "learning_rate": 0.00010525345622119815, |
| "loss": 0.3242, |
| "step": 554 |
| }, |
| { |
| "epoch": 1.48, |
| "grad_norm": 0.18513281643390656, |
| "learning_rate": 0.00010506912442396312, |
| "loss": 0.3, |
| "step": 555 |
| }, |
| { |
| "epoch": 1.4826666666666668, |
| "grad_norm": 0.14868293702602386, |
| "learning_rate": 0.00010488479262672812, |
| "loss": 0.2623, |
| "step": 556 |
| }, |
| { |
| "epoch": 1.4853333333333334, |
| "grad_norm": 0.17301423847675323, |
| "learning_rate": 0.00010470046082949309, |
| "loss": 0.3056, |
| "step": 557 |
| }, |
| { |
| "epoch": 1.488, |
| "grad_norm": 0.1782805174589157, |
| "learning_rate": 0.00010451612903225806, |
| "loss": 0.2882, |
| "step": 558 |
| }, |
| { |
| "epoch": 1.4906666666666666, |
| "grad_norm": 0.20248663425445557, |
| "learning_rate": 0.00010433179723502305, |
| "loss": 0.3328, |
| "step": 559 |
| }, |
| { |
| "epoch": 1.4933333333333334, |
| "grad_norm": 0.1364714354276657, |
| "learning_rate": 0.00010414746543778802, |
| "loss": 0.2335, |
| "step": 560 |
| }, |
| { |
| "epoch": 1.496, |
| "grad_norm": 0.2028850018978119, |
| "learning_rate": 0.00010396313364055299, |
| "loss": 0.3421, |
| "step": 561 |
| }, |
| { |
| "epoch": 1.4986666666666666, |
| "grad_norm": 0.13244207203388214, |
| "learning_rate": 0.00010377880184331799, |
| "loss": 0.2093, |
| "step": 562 |
| }, |
| { |
| "epoch": 1.5013333333333332, |
| "grad_norm": 0.15112577378749847, |
| "learning_rate": 0.00010359447004608296, |
| "loss": 0.2585, |
| "step": 563 |
| }, |
| { |
| "epoch": 1.504, |
| "grad_norm": 0.1993844211101532, |
| "learning_rate": 0.00010341013824884793, |
| "loss": 0.3446, |
| "step": 564 |
| }, |
| { |
| "epoch": 1.5066666666666668, |
| "grad_norm": 0.20823368430137634, |
| "learning_rate": 0.0001032258064516129, |
| "loss": 0.3542, |
| "step": 565 |
| }, |
| { |
| "epoch": 1.5093333333333332, |
| "grad_norm": 0.1457061916589737, |
| "learning_rate": 0.00010304147465437787, |
| "loss": 0.2666, |
| "step": 566 |
| }, |
| { |
| "epoch": 1.512, |
| "grad_norm": 0.16721977293491364, |
| "learning_rate": 0.00010285714285714286, |
| "loss": 0.2924, |
| "step": 567 |
| }, |
| { |
| "epoch": 1.5146666666666668, |
| "grad_norm": 0.14939866960048676, |
| "learning_rate": 0.00010267281105990784, |
| "loss": 0.2576, |
| "step": 568 |
| }, |
| { |
| "epoch": 1.5173333333333332, |
| "grad_norm": 0.17903192341327667, |
| "learning_rate": 0.00010248847926267283, |
| "loss": 0.3046, |
| "step": 569 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 0.1892293095588684, |
| "learning_rate": 0.0001023041474654378, |
| "loss": 0.3295, |
| "step": 570 |
| }, |
| { |
| "epoch": 1.5226666666666666, |
| "grad_norm": 0.1555367410182953, |
| "learning_rate": 0.00010211981566820277, |
| "loss": 0.2896, |
| "step": 571 |
| }, |
| { |
| "epoch": 1.5253333333333332, |
| "grad_norm": 0.17118369042873383, |
| "learning_rate": 0.00010193548387096774, |
| "loss": 0.2932, |
| "step": 572 |
| }, |
| { |
| "epoch": 1.528, |
| "grad_norm": 0.16877052187919617, |
| "learning_rate": 0.00010175115207373271, |
| "loss": 0.2812, |
| "step": 573 |
| }, |
| { |
| "epoch": 1.5306666666666666, |
| "grad_norm": 0.16168168187141418, |
| "learning_rate": 0.00010156682027649771, |
| "loss": 0.2816, |
| "step": 574 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 0.15879429876804352, |
| "learning_rate": 0.00010138248847926268, |
| "loss": 0.2616, |
| "step": 575 |
| }, |
| { |
| "epoch": 1.536, |
| "grad_norm": 0.19214673340320587, |
| "learning_rate": 0.00010119815668202765, |
| "loss": 0.3212, |
| "step": 576 |
| }, |
| { |
| "epoch": 1.5386666666666666, |
| "grad_norm": 0.17753440141677856, |
| "learning_rate": 0.00010101382488479262, |
| "loss": 0.3123, |
| "step": 577 |
| }, |
| { |
| "epoch": 1.5413333333333332, |
| "grad_norm": 0.19256196916103363, |
| "learning_rate": 0.00010082949308755761, |
| "loss": 0.3378, |
| "step": 578 |
| }, |
| { |
| "epoch": 1.544, |
| "grad_norm": 0.1846749186515808, |
| "learning_rate": 0.00010064516129032258, |
| "loss": 0.3174, |
| "step": 579 |
| }, |
| { |
| "epoch": 1.5466666666666666, |
| "grad_norm": 0.1619987040758133, |
| "learning_rate": 0.00010046082949308758, |
| "loss": 0.2987, |
| "step": 580 |
| }, |
| { |
| "epoch": 1.5493333333333332, |
| "grad_norm": 0.19737540185451508, |
| "learning_rate": 0.00010027649769585255, |
| "loss": 0.3267, |
| "step": 581 |
| }, |
| { |
| "epoch": 1.552, |
| "grad_norm": 0.16259047389030457, |
| "learning_rate": 0.00010009216589861752, |
| "loss": 0.2758, |
| "step": 582 |
| }, |
| { |
| "epoch": 1.5546666666666666, |
| "grad_norm": 0.14038518071174622, |
| "learning_rate": 9.990783410138249e-05, |
| "loss": 0.2349, |
| "step": 583 |
| }, |
| { |
| "epoch": 1.5573333333333332, |
| "grad_norm": 0.16080236434936523, |
| "learning_rate": 9.972350230414746e-05, |
| "loss": 0.271, |
| "step": 584 |
| }, |
| { |
| "epoch": 1.56, |
| "grad_norm": 0.15984351933002472, |
| "learning_rate": 9.953917050691245e-05, |
| "loss": 0.2751, |
| "step": 585 |
| }, |
| { |
| "epoch": 1.5626666666666666, |
| "grad_norm": 0.1513066291809082, |
| "learning_rate": 9.935483870967742e-05, |
| "loss": 0.2554, |
| "step": 586 |
| }, |
| { |
| "epoch": 1.5653333333333332, |
| "grad_norm": 0.1554606407880783, |
| "learning_rate": 9.91705069124424e-05, |
| "loss": 0.2765, |
| "step": 587 |
| }, |
| { |
| "epoch": 1.568, |
| "grad_norm": 0.12512949109077454, |
| "learning_rate": 9.898617511520739e-05, |
| "loss": 0.2205, |
| "step": 588 |
| }, |
| { |
| "epoch": 1.5706666666666667, |
| "grad_norm": 0.20193611085414886, |
| "learning_rate": 9.880184331797236e-05, |
| "loss": 0.3534, |
| "step": 589 |
| }, |
| { |
| "epoch": 1.5733333333333333, |
| "grad_norm": 0.15636083483695984, |
| "learning_rate": 9.861751152073733e-05, |
| "loss": 0.2636, |
| "step": 590 |
| }, |
| { |
| "epoch": 1.576, |
| "grad_norm": 0.14711397886276245, |
| "learning_rate": 9.843317972350231e-05, |
| "loss": 0.2547, |
| "step": 591 |
| }, |
| { |
| "epoch": 1.5786666666666667, |
| "grad_norm": 0.17024989426136017, |
| "learning_rate": 9.824884792626728e-05, |
| "loss": 0.2756, |
| "step": 592 |
| }, |
| { |
| "epoch": 1.5813333333333333, |
| "grad_norm": 0.19781805574893951, |
| "learning_rate": 9.806451612903226e-05, |
| "loss": 0.3388, |
| "step": 593 |
| }, |
| { |
| "epoch": 1.584, |
| "grad_norm": 0.15408025681972504, |
| "learning_rate": 9.788018433179724e-05, |
| "loss": 0.2663, |
| "step": 594 |
| }, |
| { |
| "epoch": 1.5866666666666667, |
| "grad_norm": 0.16658498346805573, |
| "learning_rate": 9.769585253456221e-05, |
| "loss": 0.289, |
| "step": 595 |
| }, |
| { |
| "epoch": 1.5893333333333333, |
| "grad_norm": 0.16545739769935608, |
| "learning_rate": 9.751152073732718e-05, |
| "loss": 0.2704, |
| "step": 596 |
| }, |
| { |
| "epoch": 1.592, |
| "grad_norm": 0.15740670263767242, |
| "learning_rate": 9.732718894009217e-05, |
| "loss": 0.2761, |
| "step": 597 |
| }, |
| { |
| "epoch": 1.5946666666666667, |
| "grad_norm": 0.1478232592344284, |
| "learning_rate": 9.714285714285715e-05, |
| "loss": 0.2421, |
| "step": 598 |
| }, |
| { |
| "epoch": 1.5973333333333333, |
| "grad_norm": 0.16017423570156097, |
| "learning_rate": 9.695852534562212e-05, |
| "loss": 0.2824, |
| "step": 599 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.15008029341697693, |
| "learning_rate": 9.677419354838711e-05, |
| "loss": 0.2515, |
| "step": 600 |
| }, |
| { |
| "epoch": 1.6026666666666667, |
| "grad_norm": 0.12063463777303696, |
| "learning_rate": 9.658986175115208e-05, |
| "loss": 0.2345, |
| "step": 601 |
| }, |
| { |
| "epoch": 1.6053333333333333, |
| "grad_norm": 0.17059485614299774, |
| "learning_rate": 9.640552995391705e-05, |
| "loss": 0.2789, |
| "step": 602 |
| }, |
| { |
| "epoch": 1.608, |
| "grad_norm": 0.16321353614330292, |
| "learning_rate": 9.622119815668203e-05, |
| "loss": 0.2656, |
| "step": 603 |
| }, |
| { |
| "epoch": 1.6106666666666667, |
| "grad_norm": 0.18542960286140442, |
| "learning_rate": 9.6036866359447e-05, |
| "loss": 0.3115, |
| "step": 604 |
| }, |
| { |
| "epoch": 1.6133333333333333, |
| "grad_norm": 0.16153669357299805, |
| "learning_rate": 9.585253456221198e-05, |
| "loss": 0.2717, |
| "step": 605 |
| }, |
| { |
| "epoch": 1.616, |
| "grad_norm": 0.16640391945838928, |
| "learning_rate": 9.566820276497696e-05, |
| "loss": 0.2856, |
| "step": 606 |
| }, |
| { |
| "epoch": 1.6186666666666667, |
| "grad_norm": 0.18094532191753387, |
| "learning_rate": 9.548387096774195e-05, |
| "loss": 0.3096, |
| "step": 607 |
| }, |
| { |
| "epoch": 1.6213333333333333, |
| "grad_norm": 0.20450171828269958, |
| "learning_rate": 9.529953917050692e-05, |
| "loss": 0.3556, |
| "step": 608 |
| }, |
| { |
| "epoch": 1.624, |
| "grad_norm": 0.15509480237960815, |
| "learning_rate": 9.51152073732719e-05, |
| "loss": 0.258, |
| "step": 609 |
| }, |
| { |
| "epoch": 1.6266666666666667, |
| "grad_norm": 0.13771817088127136, |
| "learning_rate": 9.493087557603687e-05, |
| "loss": 0.2276, |
| "step": 610 |
| }, |
| { |
| "epoch": 1.6293333333333333, |
| "grad_norm": 0.18167224526405334, |
| "learning_rate": 9.474654377880184e-05, |
| "loss": 0.3353, |
| "step": 611 |
| }, |
| { |
| "epoch": 1.6320000000000001, |
| "grad_norm": 0.16570347547531128, |
| "learning_rate": 9.456221198156683e-05, |
| "loss": 0.3024, |
| "step": 612 |
| }, |
| { |
| "epoch": 1.6346666666666667, |
| "grad_norm": 0.1634126901626587, |
| "learning_rate": 9.43778801843318e-05, |
| "loss": 0.2634, |
| "step": 613 |
| }, |
| { |
| "epoch": 1.6373333333333333, |
| "grad_norm": 0.14047156274318695, |
| "learning_rate": 9.419354838709677e-05, |
| "loss": 0.2543, |
| "step": 614 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 0.17529445886611938, |
| "learning_rate": 9.400921658986176e-05, |
| "loss": 0.3066, |
| "step": 615 |
| }, |
| { |
| "epoch": 1.6426666666666667, |
| "grad_norm": 0.16540557146072388, |
| "learning_rate": 9.382488479262673e-05, |
| "loss": 0.2781, |
| "step": 616 |
| }, |
| { |
| "epoch": 1.6453333333333333, |
| "grad_norm": 0.136048823595047, |
| "learning_rate": 9.364055299539171e-05, |
| "loss": 0.2245, |
| "step": 617 |
| }, |
| { |
| "epoch": 1.6480000000000001, |
| "grad_norm": 0.1329638659954071, |
| "learning_rate": 9.34562211981567e-05, |
| "loss": 0.2233, |
| "step": 618 |
| }, |
| { |
| "epoch": 1.6506666666666665, |
| "grad_norm": 0.18866053223609924, |
| "learning_rate": 9.327188940092167e-05, |
| "loss": 0.324, |
| "step": 619 |
| }, |
| { |
| "epoch": 1.6533333333333333, |
| "grad_norm": 0.1663501262664795, |
| "learning_rate": 9.308755760368664e-05, |
| "loss": 0.2974, |
| "step": 620 |
| }, |
| { |
| "epoch": 1.6560000000000001, |
| "grad_norm": 0.18084169924259186, |
| "learning_rate": 9.290322580645162e-05, |
| "loss": 0.3094, |
| "step": 621 |
| }, |
| { |
| "epoch": 1.6586666666666665, |
| "grad_norm": 0.1708952784538269, |
| "learning_rate": 9.27188940092166e-05, |
| "loss": 0.2672, |
| "step": 622 |
| }, |
| { |
| "epoch": 1.6613333333333333, |
| "grad_norm": 0.19692790508270264, |
| "learning_rate": 9.253456221198156e-05, |
| "loss": 0.3145, |
| "step": 623 |
| }, |
| { |
| "epoch": 1.6640000000000001, |
| "grad_norm": 0.1638392060995102, |
| "learning_rate": 9.235023041474655e-05, |
| "loss": 0.2395, |
| "step": 624 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.1826392114162445, |
| "learning_rate": 9.216589861751152e-05, |
| "loss": 0.3002, |
| "step": 625 |
| }, |
| { |
| "epoch": 1.6693333333333333, |
| "grad_norm": 0.18710032105445862, |
| "learning_rate": 9.19815668202765e-05, |
| "loss": 0.3199, |
| "step": 626 |
| }, |
| { |
| "epoch": 1.6720000000000002, |
| "grad_norm": 0.19243071973323822, |
| "learning_rate": 9.179723502304149e-05, |
| "loss": 0.3389, |
| "step": 627 |
| }, |
| { |
| "epoch": 1.6746666666666665, |
| "grad_norm": 0.18418751657009125, |
| "learning_rate": 9.161290322580646e-05, |
| "loss": 0.3178, |
| "step": 628 |
| }, |
| { |
| "epoch": 1.6773333333333333, |
| "grad_norm": 0.13324792683124542, |
| "learning_rate": 9.142857142857143e-05, |
| "loss": 0.2232, |
| "step": 629 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 0.1462545096874237, |
| "learning_rate": 9.124423963133642e-05, |
| "loss": 0.2511, |
| "step": 630 |
| }, |
| { |
| "epoch": 1.6826666666666665, |
| "grad_norm": 0.16245612502098083, |
| "learning_rate": 9.105990783410139e-05, |
| "loss": 0.2857, |
| "step": 631 |
| }, |
| { |
| "epoch": 1.6853333333333333, |
| "grad_norm": 0.19199031591415405, |
| "learning_rate": 9.087557603686636e-05, |
| "loss": 0.3476, |
| "step": 632 |
| }, |
| { |
| "epoch": 1.688, |
| "grad_norm": 0.17788994312286377, |
| "learning_rate": 9.069124423963134e-05, |
| "loss": 0.3118, |
| "step": 633 |
| }, |
| { |
| "epoch": 1.6906666666666665, |
| "grad_norm": 0.1903950423002243, |
| "learning_rate": 9.050691244239631e-05, |
| "loss": 0.3225, |
| "step": 634 |
| }, |
| { |
| "epoch": 1.6933333333333334, |
| "grad_norm": 0.18649978935718536, |
| "learning_rate": 9.032258064516129e-05, |
| "loss": 0.3162, |
| "step": 635 |
| }, |
| { |
| "epoch": 1.696, |
| "grad_norm": 0.16254623234272003, |
| "learning_rate": 9.013824884792627e-05, |
| "loss": 0.2781, |
| "step": 636 |
| }, |
| { |
| "epoch": 1.6986666666666665, |
| "grad_norm": 0.19232486188411713, |
| "learning_rate": 8.995391705069126e-05, |
| "loss": 0.3199, |
| "step": 637 |
| }, |
| { |
| "epoch": 1.7013333333333334, |
| "grad_norm": 0.18568578362464905, |
| "learning_rate": 8.976958525345623e-05, |
| "loss": 0.2928, |
| "step": 638 |
| }, |
| { |
| "epoch": 1.704, |
| "grad_norm": 0.16008365154266357, |
| "learning_rate": 8.958525345622121e-05, |
| "loss": 0.2833, |
| "step": 639 |
| }, |
| { |
| "epoch": 1.7066666666666666, |
| "grad_norm": 0.17495164275169373, |
| "learning_rate": 8.940092165898618e-05, |
| "loss": 0.2905, |
| "step": 640 |
| }, |
| { |
| "epoch": 1.7093333333333334, |
| "grad_norm": 0.1815049946308136, |
| "learning_rate": 8.921658986175115e-05, |
| "loss": 0.307, |
| "step": 641 |
| }, |
| { |
| "epoch": 1.712, |
| "grad_norm": 0.1830923706293106, |
| "learning_rate": 8.903225806451614e-05, |
| "loss": 0.3206, |
| "step": 642 |
| }, |
| { |
| "epoch": 1.7146666666666666, |
| "grad_norm": 0.1680733859539032, |
| "learning_rate": 8.884792626728111e-05, |
| "loss": 0.2792, |
| "step": 643 |
| }, |
| { |
| "epoch": 1.7173333333333334, |
| "grad_norm": 0.18931952118873596, |
| "learning_rate": 8.866359447004608e-05, |
| "loss": 0.3304, |
| "step": 644 |
| }, |
| { |
| "epoch": 1.72, |
| "grad_norm": 0.1606740653514862, |
| "learning_rate": 8.847926267281106e-05, |
| "loss": 0.2717, |
| "step": 645 |
| }, |
| { |
| "epoch": 1.7226666666666666, |
| "grad_norm": 0.35692843794822693, |
| "learning_rate": 8.829493087557605e-05, |
| "loss": 0.2815, |
| "step": 646 |
| }, |
| { |
| "epoch": 1.7253333333333334, |
| "grad_norm": 0.16885492205619812, |
| "learning_rate": 8.811059907834102e-05, |
| "loss": 0.2884, |
| "step": 647 |
| }, |
| { |
| "epoch": 1.728, |
| "grad_norm": 0.1640160083770752, |
| "learning_rate": 8.792626728110599e-05, |
| "loss": 0.2812, |
| "step": 648 |
| }, |
| { |
| "epoch": 1.7306666666666666, |
| "grad_norm": 0.1976490169763565, |
| "learning_rate": 8.774193548387098e-05, |
| "loss": 0.3546, |
| "step": 649 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.2002202719449997, |
| "learning_rate": 8.755760368663595e-05, |
| "loss": 0.3298, |
| "step": 650 |
| }, |
| { |
| "epoch": 1.736, |
| "grad_norm": 0.15389132499694824, |
| "learning_rate": 8.737327188940092e-05, |
| "loss": 0.269, |
| "step": 651 |
| }, |
| { |
| "epoch": 1.7386666666666666, |
| "grad_norm": 0.18483757972717285, |
| "learning_rate": 8.71889400921659e-05, |
| "loss": 0.3109, |
| "step": 652 |
| }, |
| { |
| "epoch": 1.7413333333333334, |
| "grad_norm": 0.20180675387382507, |
| "learning_rate": 8.700460829493087e-05, |
| "loss": 0.3371, |
| "step": 653 |
| }, |
| { |
| "epoch": 1.744, |
| "grad_norm": 0.18638424575328827, |
| "learning_rate": 8.682027649769585e-05, |
| "loss": 0.3345, |
| "step": 654 |
| }, |
| { |
| "epoch": 1.7466666666666666, |
| "grad_norm": 0.1799522340297699, |
| "learning_rate": 8.663594470046083e-05, |
| "loss": 0.3144, |
| "step": 655 |
| }, |
| { |
| "epoch": 1.7493333333333334, |
| "grad_norm": 0.16704382002353668, |
| "learning_rate": 8.645161290322581e-05, |
| "loss": 0.2767, |
| "step": 656 |
| }, |
| { |
| "epoch": 1.752, |
| "grad_norm": 0.14942538738250732, |
| "learning_rate": 8.626728110599079e-05, |
| "loss": 0.261, |
| "step": 657 |
| }, |
| { |
| "epoch": 1.7546666666666666, |
| "grad_norm": 0.16195400059223175, |
| "learning_rate": 8.608294930875577e-05, |
| "loss": 0.2732, |
| "step": 658 |
| }, |
| { |
| "epoch": 1.7573333333333334, |
| "grad_norm": 0.1898159235715866, |
| "learning_rate": 8.589861751152074e-05, |
| "loss": 0.3006, |
| "step": 659 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 0.1874152570962906, |
| "learning_rate": 8.571428571428571e-05, |
| "loss": 0.3053, |
| "step": 660 |
| }, |
| { |
| "epoch": 1.7626666666666666, |
| "grad_norm": 0.14272183179855347, |
| "learning_rate": 8.55299539170507e-05, |
| "loss": 0.2385, |
| "step": 661 |
| }, |
| { |
| "epoch": 1.7653333333333334, |
| "grad_norm": 0.17654938995838165, |
| "learning_rate": 8.534562211981567e-05, |
| "loss": 0.2819, |
| "step": 662 |
| }, |
| { |
| "epoch": 1.768, |
| "grad_norm": 0.1853097826242447, |
| "learning_rate": 8.516129032258064e-05, |
| "loss": 0.2927, |
| "step": 663 |
| }, |
| { |
| "epoch": 1.7706666666666666, |
| "grad_norm": 0.18819859623908997, |
| "learning_rate": 8.497695852534562e-05, |
| "loss": 0.3356, |
| "step": 664 |
| }, |
| { |
| "epoch": 1.7733333333333334, |
| "grad_norm": 0.1614430546760559, |
| "learning_rate": 8.479262672811061e-05, |
| "loss": 0.2602, |
| "step": 665 |
| }, |
| { |
| "epoch": 1.776, |
| "grad_norm": 0.15915413200855255, |
| "learning_rate": 8.460829493087558e-05, |
| "loss": 0.2595, |
| "step": 666 |
| }, |
| { |
| "epoch": 1.7786666666666666, |
| "grad_norm": 0.1936057060956955, |
| "learning_rate": 8.442396313364056e-05, |
| "loss": 0.3432, |
| "step": 667 |
| }, |
| { |
| "epoch": 1.7813333333333334, |
| "grad_norm": 0.17287862300872803, |
| "learning_rate": 8.423963133640554e-05, |
| "loss": 0.2871, |
| "step": 668 |
| }, |
| { |
| "epoch": 1.784, |
| "grad_norm": 0.18533234298229218, |
| "learning_rate": 8.40552995391705e-05, |
| "loss": 0.3259, |
| "step": 669 |
| }, |
| { |
| "epoch": 1.7866666666666666, |
| "grad_norm": 0.15584254264831543, |
| "learning_rate": 8.387096774193549e-05, |
| "loss": 0.2626, |
| "step": 670 |
| }, |
| { |
| "epoch": 1.7893333333333334, |
| "grad_norm": 0.1861247420310974, |
| "learning_rate": 8.368663594470046e-05, |
| "loss": 0.2885, |
| "step": 671 |
| }, |
| { |
| "epoch": 1.792, |
| "grad_norm": 0.17717666923999786, |
| "learning_rate": 8.350230414746543e-05, |
| "loss": 0.3124, |
| "step": 672 |
| }, |
| { |
| "epoch": 1.7946666666666666, |
| "grad_norm": 0.16185526549816132, |
| "learning_rate": 8.331797235023042e-05, |
| "loss": 0.2706, |
| "step": 673 |
| }, |
| { |
| "epoch": 1.7973333333333334, |
| "grad_norm": 0.16284199059009552, |
| "learning_rate": 8.313364055299539e-05, |
| "loss": 0.2698, |
| "step": 674 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 0.1703667789697647, |
| "learning_rate": 8.294930875576037e-05, |
| "loss": 0.274, |
| "step": 675 |
| }, |
| { |
| "epoch": 1.8026666666666666, |
| "grad_norm": 0.17197850346565247, |
| "learning_rate": 8.276497695852536e-05, |
| "loss": 0.2875, |
| "step": 676 |
| }, |
| { |
| "epoch": 1.8053333333333335, |
| "grad_norm": 0.19215679168701172, |
| "learning_rate": 8.258064516129033e-05, |
| "loss": 0.3228, |
| "step": 677 |
| }, |
| { |
| "epoch": 1.808, |
| "grad_norm": 0.16802360117435455, |
| "learning_rate": 8.23963133640553e-05, |
| "loss": 0.2952, |
| "step": 678 |
| }, |
| { |
| "epoch": 1.8106666666666666, |
| "grad_norm": 0.13980096578598022, |
| "learning_rate": 8.221198156682029e-05, |
| "loss": 0.2353, |
| "step": 679 |
| }, |
| { |
| "epoch": 1.8133333333333335, |
| "grad_norm": 0.1700064092874527, |
| "learning_rate": 8.202764976958526e-05, |
| "loss": 0.2796, |
| "step": 680 |
| }, |
| { |
| "epoch": 1.8159999999999998, |
| "grad_norm": 0.1647680103778839, |
| "learning_rate": 8.184331797235023e-05, |
| "loss": 0.266, |
| "step": 681 |
| }, |
| { |
| "epoch": 1.8186666666666667, |
| "grad_norm": 0.16847248375415802, |
| "learning_rate": 8.165898617511521e-05, |
| "loss": 0.2782, |
| "step": 682 |
| }, |
| { |
| "epoch": 1.8213333333333335, |
| "grad_norm": 0.17646561563014984, |
| "learning_rate": 8.147465437788018e-05, |
| "loss": 0.303, |
| "step": 683 |
| }, |
| { |
| "epoch": 1.8239999999999998, |
| "grad_norm": 0.18398386240005493, |
| "learning_rate": 8.129032258064517e-05, |
| "loss": 0.3125, |
| "step": 684 |
| }, |
| { |
| "epoch": 1.8266666666666667, |
| "grad_norm": 0.13090087473392487, |
| "learning_rate": 8.110599078341015e-05, |
| "loss": 0.2142, |
| "step": 685 |
| }, |
| { |
| "epoch": 1.8293333333333335, |
| "grad_norm": 0.1671331375837326, |
| "learning_rate": 8.092165898617512e-05, |
| "loss": 0.2859, |
| "step": 686 |
| }, |
| { |
| "epoch": 1.8319999999999999, |
| "grad_norm": 0.17385636270046234, |
| "learning_rate": 8.07373271889401e-05, |
| "loss": 0.2696, |
| "step": 687 |
| }, |
| { |
| "epoch": 1.8346666666666667, |
| "grad_norm": 0.1418769508600235, |
| "learning_rate": 8.055299539170508e-05, |
| "loss": 0.2291, |
| "step": 688 |
| }, |
| { |
| "epoch": 1.8373333333333335, |
| "grad_norm": 0.16654452681541443, |
| "learning_rate": 8.036866359447005e-05, |
| "loss": 0.2612, |
| "step": 689 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 0.18424147367477417, |
| "learning_rate": 8.018433179723502e-05, |
| "loss": 0.2876, |
| "step": 690 |
| }, |
| { |
| "epoch": 1.8426666666666667, |
| "grad_norm": 0.1604059934616089, |
| "learning_rate": 8e-05, |
| "loss": 0.2753, |
| "step": 691 |
| }, |
| { |
| "epoch": 1.8453333333333335, |
| "grad_norm": 0.13489925861358643, |
| "learning_rate": 7.981566820276498e-05, |
| "loss": 0.2152, |
| "step": 692 |
| }, |
| { |
| "epoch": 1.8479999999999999, |
| "grad_norm": 0.19340185821056366, |
| "learning_rate": 7.963133640552995e-05, |
| "loss": 0.324, |
| "step": 693 |
| }, |
| { |
| "epoch": 1.8506666666666667, |
| "grad_norm": 0.14436614513397217, |
| "learning_rate": 7.944700460829493e-05, |
| "loss": 0.2469, |
| "step": 694 |
| }, |
| { |
| "epoch": 1.8533333333333335, |
| "grad_norm": 0.12829948961734772, |
| "learning_rate": 7.926267281105992e-05, |
| "loss": 0.1984, |
| "step": 695 |
| }, |
| { |
| "epoch": 1.8559999999999999, |
| "grad_norm": 0.1294345259666443, |
| "learning_rate": 7.907834101382489e-05, |
| "loss": 0.2003, |
| "step": 696 |
| }, |
| { |
| "epoch": 1.8586666666666667, |
| "grad_norm": 0.17007410526275635, |
| "learning_rate": 7.889400921658987e-05, |
| "loss": 0.2927, |
| "step": 697 |
| }, |
| { |
| "epoch": 1.8613333333333333, |
| "grad_norm": 0.19229468703269958, |
| "learning_rate": 7.870967741935484e-05, |
| "loss": 0.3052, |
| "step": 698 |
| }, |
| { |
| "epoch": 1.8639999999999999, |
| "grad_norm": 0.15960730612277985, |
| "learning_rate": 7.852534562211982e-05, |
| "loss": 0.2567, |
| "step": 699 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.16838312149047852, |
| "learning_rate": 7.83410138248848e-05, |
| "loss": 0.2666, |
| "step": 700 |
| }, |
| { |
| "epoch": 1.8693333333333333, |
| "grad_norm": 0.1703864485025406, |
| "learning_rate": 7.815668202764977e-05, |
| "loss": 0.2814, |
| "step": 701 |
| }, |
| { |
| "epoch": 1.8719999999999999, |
| "grad_norm": 0.18116213381290436, |
| "learning_rate": 7.797235023041474e-05, |
| "loss": 0.2945, |
| "step": 702 |
| }, |
| { |
| "epoch": 1.8746666666666667, |
| "grad_norm": 0.16404111683368683, |
| "learning_rate": 7.778801843317973e-05, |
| "loss": 0.2628, |
| "step": 703 |
| }, |
| { |
| "epoch": 1.8773333333333333, |
| "grad_norm": 0.1620422750711441, |
| "learning_rate": 7.760368663594471e-05, |
| "loss": 0.2602, |
| "step": 704 |
| }, |
| { |
| "epoch": 1.88, |
| "grad_norm": 0.18525472283363342, |
| "learning_rate": 7.741935483870968e-05, |
| "loss": 0.297, |
| "step": 705 |
| }, |
| { |
| "epoch": 1.8826666666666667, |
| "grad_norm": 0.1908557265996933, |
| "learning_rate": 7.723502304147467e-05, |
| "loss": 0.3101, |
| "step": 706 |
| }, |
| { |
| "epoch": 1.8853333333333333, |
| "grad_norm": 0.14785411953926086, |
| "learning_rate": 7.705069124423964e-05, |
| "loss": 0.2466, |
| "step": 707 |
| }, |
| { |
| "epoch": 1.888, |
| "grad_norm": 0.16629411280155182, |
| "learning_rate": 7.686635944700461e-05, |
| "loss": 0.2686, |
| "step": 708 |
| }, |
| { |
| "epoch": 1.8906666666666667, |
| "grad_norm": 0.1894264668226242, |
| "learning_rate": 7.66820276497696e-05, |
| "loss": 0.3015, |
| "step": 709 |
| }, |
| { |
| "epoch": 1.8933333333333333, |
| "grad_norm": 0.19332143664360046, |
| "learning_rate": 7.649769585253457e-05, |
| "loss": 0.321, |
| "step": 710 |
| }, |
| { |
| "epoch": 1.896, |
| "grad_norm": 0.19467511773109436, |
| "learning_rate": 7.631336405529954e-05, |
| "loss": 0.329, |
| "step": 711 |
| }, |
| { |
| "epoch": 1.8986666666666667, |
| "grad_norm": 0.18550783395767212, |
| "learning_rate": 7.612903225806451e-05, |
| "loss": 0.3076, |
| "step": 712 |
| }, |
| { |
| "epoch": 1.9013333333333333, |
| "grad_norm": 0.17345988750457764, |
| "learning_rate": 7.594470046082949e-05, |
| "loss": 0.2648, |
| "step": 713 |
| }, |
| { |
| "epoch": 1.904, |
| "grad_norm": 0.1728450208902359, |
| "learning_rate": 7.576036866359448e-05, |
| "loss": 0.2763, |
| "step": 714 |
| }, |
| { |
| "epoch": 1.9066666666666667, |
| "grad_norm": 0.18159735202789307, |
| "learning_rate": 7.557603686635945e-05, |
| "loss": 0.2853, |
| "step": 715 |
| }, |
| { |
| "epoch": 1.9093333333333333, |
| "grad_norm": 0.17829135060310364, |
| "learning_rate": 7.539170506912443e-05, |
| "loss": 0.2922, |
| "step": 716 |
| }, |
| { |
| "epoch": 1.912, |
| "grad_norm": 0.15726618468761444, |
| "learning_rate": 7.52073732718894e-05, |
| "loss": 0.281, |
| "step": 717 |
| }, |
| { |
| "epoch": 1.9146666666666667, |
| "grad_norm": 0.1958702802658081, |
| "learning_rate": 7.502304147465438e-05, |
| "loss": 0.3326, |
| "step": 718 |
| }, |
| { |
| "epoch": 1.9173333333333333, |
| "grad_norm": 0.1737392097711563, |
| "learning_rate": 7.483870967741936e-05, |
| "loss": 0.2976, |
| "step": 719 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 0.12855935096740723, |
| "learning_rate": 7.465437788018433e-05, |
| "loss": 0.203, |
| "step": 720 |
| }, |
| { |
| "epoch": 1.9226666666666667, |
| "grad_norm": 0.13673973083496094, |
| "learning_rate": 7.44700460829493e-05, |
| "loss": 0.2099, |
| "step": 721 |
| }, |
| { |
| "epoch": 1.9253333333333333, |
| "grad_norm": 0.1838173270225525, |
| "learning_rate": 7.428571428571429e-05, |
| "loss": 0.2997, |
| "step": 722 |
| }, |
| { |
| "epoch": 1.928, |
| "grad_norm": 0.17235301434993744, |
| "learning_rate": 7.410138248847927e-05, |
| "loss": 0.2945, |
| "step": 723 |
| }, |
| { |
| "epoch": 1.9306666666666668, |
| "grad_norm": 0.13796474039554596, |
| "learning_rate": 7.391705069124424e-05, |
| "loss": 0.2097, |
| "step": 724 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 0.15858563780784607, |
| "learning_rate": 7.373271889400923e-05, |
| "loss": 0.2575, |
| "step": 725 |
| }, |
| { |
| "epoch": 1.936, |
| "grad_norm": 0.15040184557437897, |
| "learning_rate": 7.35483870967742e-05, |
| "loss": 0.234, |
| "step": 726 |
| }, |
| { |
| "epoch": 1.9386666666666668, |
| "grad_norm": 0.17520880699157715, |
| "learning_rate": 7.336405529953917e-05, |
| "loss": 0.272, |
| "step": 727 |
| }, |
| { |
| "epoch": 1.9413333333333334, |
| "grad_norm": 0.17100732028484344, |
| "learning_rate": 7.317972350230415e-05, |
| "loss": 0.2852, |
| "step": 728 |
| }, |
| { |
| "epoch": 1.944, |
| "grad_norm": 0.17124292254447937, |
| "learning_rate": 7.299539170506913e-05, |
| "loss": 0.2772, |
| "step": 729 |
| }, |
| { |
| "epoch": 1.9466666666666668, |
| "grad_norm": 0.16319064795970917, |
| "learning_rate": 7.28110599078341e-05, |
| "loss": 0.2668, |
| "step": 730 |
| }, |
| { |
| "epoch": 1.9493333333333334, |
| "grad_norm": 0.20069065690040588, |
| "learning_rate": 7.262672811059908e-05, |
| "loss": 0.3414, |
| "step": 731 |
| }, |
| { |
| "epoch": 1.952, |
| "grad_norm": 0.1877623200416565, |
| "learning_rate": 7.244239631336405e-05, |
| "loss": 0.3266, |
| "step": 732 |
| }, |
| { |
| "epoch": 1.9546666666666668, |
| "grad_norm": 0.18862102925777435, |
| "learning_rate": 7.225806451612904e-05, |
| "loss": 0.3233, |
| "step": 733 |
| }, |
| { |
| "epoch": 1.9573333333333334, |
| "grad_norm": 0.15602558851242065, |
| "learning_rate": 7.207373271889402e-05, |
| "loss": 0.2475, |
| "step": 734 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 0.18717564642429352, |
| "learning_rate": 7.188940092165899e-05, |
| "loss": 0.3177, |
| "step": 735 |
| }, |
| { |
| "epoch": 1.9626666666666668, |
| "grad_norm": 0.17257076501846313, |
| "learning_rate": 7.170506912442396e-05, |
| "loss": 0.2856, |
| "step": 736 |
| }, |
| { |
| "epoch": 1.9653333333333334, |
| "grad_norm": 0.19978205859661102, |
| "learning_rate": 7.152073732718895e-05, |
| "loss": 0.3055, |
| "step": 737 |
| }, |
| { |
| "epoch": 1.968, |
| "grad_norm": 0.15286576747894287, |
| "learning_rate": 7.133640552995392e-05, |
| "loss": 0.2541, |
| "step": 738 |
| }, |
| { |
| "epoch": 1.9706666666666668, |
| "grad_norm": 0.14955423772335052, |
| "learning_rate": 7.115207373271889e-05, |
| "loss": 0.2388, |
| "step": 739 |
| }, |
| { |
| "epoch": 1.9733333333333334, |
| "grad_norm": 0.16089631617069244, |
| "learning_rate": 7.096774193548388e-05, |
| "loss": 0.2674, |
| "step": 740 |
| }, |
| { |
| "epoch": 1.976, |
| "grad_norm": 0.15343688428401947, |
| "learning_rate": 7.078341013824885e-05, |
| "loss": 0.2409, |
| "step": 741 |
| }, |
| { |
| "epoch": 1.9786666666666668, |
| "grad_norm": 0.20841974020004272, |
| "learning_rate": 7.059907834101383e-05, |
| "loss": 0.3221, |
| "step": 742 |
| }, |
| { |
| "epoch": 1.9813333333333332, |
| "grad_norm": 0.13493113219738007, |
| "learning_rate": 7.041474654377882e-05, |
| "loss": 0.2305, |
| "step": 743 |
| }, |
| { |
| "epoch": 1.984, |
| "grad_norm": 0.19111666083335876, |
| "learning_rate": 7.023041474654379e-05, |
| "loss": 0.317, |
| "step": 744 |
| }, |
| { |
| "epoch": 1.9866666666666668, |
| "grad_norm": 0.1622893363237381, |
| "learning_rate": 7.004608294930876e-05, |
| "loss": 0.2782, |
| "step": 745 |
| }, |
| { |
| "epoch": 1.9893333333333332, |
| "grad_norm": 0.19591489434242249, |
| "learning_rate": 6.986175115207374e-05, |
| "loss": 0.3153, |
| "step": 746 |
| }, |
| { |
| "epoch": 1.992, |
| "grad_norm": 0.17614838480949402, |
| "learning_rate": 6.967741935483871e-05, |
| "loss": 0.2765, |
| "step": 747 |
| }, |
| { |
| "epoch": 1.9946666666666668, |
| "grad_norm": 0.16772747039794922, |
| "learning_rate": 6.949308755760368e-05, |
| "loss": 0.2801, |
| "step": 748 |
| }, |
| { |
| "epoch": 1.9973333333333332, |
| "grad_norm": 0.1799980103969574, |
| "learning_rate": 6.930875576036867e-05, |
| "loss": 0.2761, |
| "step": 749 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.17077715694904327, |
| "learning_rate": 6.912442396313364e-05, |
| "loss": 0.2639, |
| "step": 750 |
| }, |
| { |
| "epoch": 2.002666666666667, |
| "grad_norm": 0.1633124053478241, |
| "learning_rate": 6.894009216589861e-05, |
| "loss": 0.2513, |
| "step": 751 |
| }, |
| { |
| "epoch": 2.005333333333333, |
| "grad_norm": 0.1429387778043747, |
| "learning_rate": 6.87557603686636e-05, |
| "loss": 0.2027, |
| "step": 752 |
| }, |
| { |
| "epoch": 2.008, |
| "grad_norm": 0.16289448738098145, |
| "learning_rate": 6.857142857142858e-05, |
| "loss": 0.2562, |
| "step": 753 |
| }, |
| { |
| "epoch": 2.010666666666667, |
| "grad_norm": 0.1556294858455658, |
| "learning_rate": 6.838709677419355e-05, |
| "loss": 0.2149, |
| "step": 754 |
| }, |
| { |
| "epoch": 2.013333333333333, |
| "grad_norm": 0.1885160356760025, |
| "learning_rate": 6.820276497695854e-05, |
| "loss": 0.2674, |
| "step": 755 |
| }, |
| { |
| "epoch": 2.016, |
| "grad_norm": 0.19256852567195892, |
| "learning_rate": 6.801843317972351e-05, |
| "loss": 0.2617, |
| "step": 756 |
| }, |
| { |
| "epoch": 2.018666666666667, |
| "grad_norm": 0.1802372932434082, |
| "learning_rate": 6.783410138248848e-05, |
| "loss": 0.228, |
| "step": 757 |
| }, |
| { |
| "epoch": 2.021333333333333, |
| "grad_norm": 0.16299250721931458, |
| "learning_rate": 6.764976958525346e-05, |
| "loss": 0.2062, |
| "step": 758 |
| }, |
| { |
| "epoch": 2.024, |
| "grad_norm": 0.19721713662147522, |
| "learning_rate": 6.746543778801843e-05, |
| "loss": 0.2525, |
| "step": 759 |
| }, |
| { |
| "epoch": 2.026666666666667, |
| "grad_norm": 0.18933512270450592, |
| "learning_rate": 6.72811059907834e-05, |
| "loss": 0.2271, |
| "step": 760 |
| }, |
| { |
| "epoch": 2.029333333333333, |
| "grad_norm": 0.20451472699642181, |
| "learning_rate": 6.709677419354839e-05, |
| "loss": 0.2562, |
| "step": 761 |
| }, |
| { |
| "epoch": 2.032, |
| "grad_norm": 0.21521085500717163, |
| "learning_rate": 6.691244239631338e-05, |
| "loss": 0.2778, |
| "step": 762 |
| }, |
| { |
| "epoch": 2.034666666666667, |
| "grad_norm": 0.20355567336082458, |
| "learning_rate": 6.672811059907835e-05, |
| "loss": 0.256, |
| "step": 763 |
| }, |
| { |
| "epoch": 2.037333333333333, |
| "grad_norm": 0.16054679453372955, |
| "learning_rate": 6.654377880184333e-05, |
| "loss": 0.211, |
| "step": 764 |
| }, |
| { |
| "epoch": 2.04, |
| "grad_norm": 0.14381106197834015, |
| "learning_rate": 6.63594470046083e-05, |
| "loss": 0.1887, |
| "step": 765 |
| }, |
| { |
| "epoch": 2.042666666666667, |
| "grad_norm": 0.14563830196857452, |
| "learning_rate": 6.617511520737327e-05, |
| "loss": 0.1937, |
| "step": 766 |
| }, |
| { |
| "epoch": 2.0453333333333332, |
| "grad_norm": 0.18439652025699615, |
| "learning_rate": 6.599078341013826e-05, |
| "loss": 0.2438, |
| "step": 767 |
| }, |
| { |
| "epoch": 2.048, |
| "grad_norm": 0.1898227483034134, |
| "learning_rate": 6.580645161290323e-05, |
| "loss": 0.2817, |
| "step": 768 |
| }, |
| { |
| "epoch": 2.050666666666667, |
| "grad_norm": 0.1713884174823761, |
| "learning_rate": 6.56221198156682e-05, |
| "loss": 0.2442, |
| "step": 769 |
| }, |
| { |
| "epoch": 2.0533333333333332, |
| "grad_norm": 0.1894504874944687, |
| "learning_rate": 6.543778801843318e-05, |
| "loss": 0.2559, |
| "step": 770 |
| }, |
| { |
| "epoch": 2.056, |
| "grad_norm": 0.16358236968517303, |
| "learning_rate": 6.525345622119816e-05, |
| "loss": 0.2433, |
| "step": 771 |
| }, |
| { |
| "epoch": 2.058666666666667, |
| "grad_norm": 0.1549631506204605, |
| "learning_rate": 6.506912442396314e-05, |
| "loss": 0.2048, |
| "step": 772 |
| }, |
| { |
| "epoch": 2.0613333333333332, |
| "grad_norm": 0.1814451813697815, |
| "learning_rate": 6.488479262672812e-05, |
| "loss": 0.2471, |
| "step": 773 |
| }, |
| { |
| "epoch": 2.064, |
| "grad_norm": 0.19335006177425385, |
| "learning_rate": 6.47004608294931e-05, |
| "loss": 0.2539, |
| "step": 774 |
| }, |
| { |
| "epoch": 2.066666666666667, |
| "grad_norm": 0.1451120376586914, |
| "learning_rate": 6.451612903225807e-05, |
| "loss": 0.1764, |
| "step": 775 |
| }, |
| { |
| "epoch": 2.0693333333333332, |
| "grad_norm": 0.183383509516716, |
| "learning_rate": 6.433179723502304e-05, |
| "loss": 0.2498, |
| "step": 776 |
| }, |
| { |
| "epoch": 2.072, |
| "grad_norm": 0.203846737742424, |
| "learning_rate": 6.414746543778802e-05, |
| "loss": 0.2632, |
| "step": 777 |
| }, |
| { |
| "epoch": 2.074666666666667, |
| "grad_norm": 0.19181352853775024, |
| "learning_rate": 6.3963133640553e-05, |
| "loss": 0.2435, |
| "step": 778 |
| }, |
| { |
| "epoch": 2.0773333333333333, |
| "grad_norm": 0.20587021112442017, |
| "learning_rate": 6.377880184331797e-05, |
| "loss": 0.2688, |
| "step": 779 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 0.15669092535972595, |
| "learning_rate": 6.359447004608295e-05, |
| "loss": 0.2011, |
| "step": 780 |
| }, |
| { |
| "epoch": 2.0826666666666664, |
| "grad_norm": 0.2003069370985031, |
| "learning_rate": 6.341013824884793e-05, |
| "loss": 0.2603, |
| "step": 781 |
| }, |
| { |
| "epoch": 2.0853333333333333, |
| "grad_norm": 0.20385725796222687, |
| "learning_rate": 6.32258064516129e-05, |
| "loss": 0.2776, |
| "step": 782 |
| }, |
| { |
| "epoch": 2.088, |
| "grad_norm": 0.13983668386936188, |
| "learning_rate": 6.304147465437789e-05, |
| "loss": 0.187, |
| "step": 783 |
| }, |
| { |
| "epoch": 2.0906666666666665, |
| "grad_norm": 0.201290100812912, |
| "learning_rate": 6.285714285714286e-05, |
| "loss": 0.2611, |
| "step": 784 |
| }, |
| { |
| "epoch": 2.0933333333333333, |
| "grad_norm": 0.18335093557834625, |
| "learning_rate": 6.267281105990783e-05, |
| "loss": 0.2391, |
| "step": 785 |
| }, |
| { |
| "epoch": 2.096, |
| "grad_norm": 0.20194748044013977, |
| "learning_rate": 6.248847926267282e-05, |
| "loss": 0.2538, |
| "step": 786 |
| }, |
| { |
| "epoch": 2.0986666666666665, |
| "grad_norm": 0.19379591941833496, |
| "learning_rate": 6.230414746543779e-05, |
| "loss": 0.2501, |
| "step": 787 |
| }, |
| { |
| "epoch": 2.1013333333333333, |
| "grad_norm": 0.20342446863651276, |
| "learning_rate": 6.211981566820276e-05, |
| "loss": 0.2662, |
| "step": 788 |
| }, |
| { |
| "epoch": 2.104, |
| "grad_norm": 0.1956428438425064, |
| "learning_rate": 6.193548387096774e-05, |
| "loss": 0.2667, |
| "step": 789 |
| }, |
| { |
| "epoch": 2.1066666666666665, |
| "grad_norm": 0.17669370770454407, |
| "learning_rate": 6.175115207373272e-05, |
| "loss": 0.2279, |
| "step": 790 |
| }, |
| { |
| "epoch": 2.1093333333333333, |
| "grad_norm": 0.17823144793510437, |
| "learning_rate": 6.15668202764977e-05, |
| "loss": 0.232, |
| "step": 791 |
| }, |
| { |
| "epoch": 2.112, |
| "grad_norm": 0.1824260950088501, |
| "learning_rate": 6.138248847926268e-05, |
| "loss": 0.2311, |
| "step": 792 |
| }, |
| { |
| "epoch": 2.1146666666666665, |
| "grad_norm": 0.17422372102737427, |
| "learning_rate": 6.119815668202766e-05, |
| "loss": 0.2281, |
| "step": 793 |
| }, |
| { |
| "epoch": 2.1173333333333333, |
| "grad_norm": 0.13453565537929535, |
| "learning_rate": 6.1013824884792627e-05, |
| "loss": 0.1645, |
| "step": 794 |
| }, |
| { |
| "epoch": 2.12, |
| "grad_norm": 0.20188812911510468, |
| "learning_rate": 6.082949308755761e-05, |
| "loss": 0.2517, |
| "step": 795 |
| }, |
| { |
| "epoch": 2.1226666666666665, |
| "grad_norm": 0.1845582127571106, |
| "learning_rate": 6.064516129032258e-05, |
| "loss": 0.2381, |
| "step": 796 |
| }, |
| { |
| "epoch": 2.1253333333333333, |
| "grad_norm": 0.1728835552930832, |
| "learning_rate": 6.0460829493087553e-05, |
| "loss": 0.2357, |
| "step": 797 |
| }, |
| { |
| "epoch": 2.128, |
| "grad_norm": 0.14682193100452423, |
| "learning_rate": 6.027649769585254e-05, |
| "loss": 0.2004, |
| "step": 798 |
| }, |
| { |
| "epoch": 2.1306666666666665, |
| "grad_norm": 0.1783488243818283, |
| "learning_rate": 6.0092165898617516e-05, |
| "loss": 0.2211, |
| "step": 799 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.1575060933828354, |
| "learning_rate": 5.990783410138249e-05, |
| "loss": 0.2036, |
| "step": 800 |
| }, |
| { |
| "epoch": 2.136, |
| "grad_norm": 0.17132887244224548, |
| "learning_rate": 5.972350230414747e-05, |
| "loss": 0.2132, |
| "step": 801 |
| }, |
| { |
| "epoch": 2.1386666666666665, |
| "grad_norm": 0.19641931354999542, |
| "learning_rate": 5.953917050691244e-05, |
| "loss": 0.2392, |
| "step": 802 |
| }, |
| { |
| "epoch": 2.1413333333333333, |
| "grad_norm": 0.1785760372877121, |
| "learning_rate": 5.935483870967742e-05, |
| "loss": 0.2305, |
| "step": 803 |
| }, |
| { |
| "epoch": 2.144, |
| "grad_norm": 0.1902862936258316, |
| "learning_rate": 5.9170506912442405e-05, |
| "loss": 0.2601, |
| "step": 804 |
| }, |
| { |
| "epoch": 2.1466666666666665, |
| "grad_norm": 0.19646671414375305, |
| "learning_rate": 5.8986175115207376e-05, |
| "loss": 0.2677, |
| "step": 805 |
| }, |
| { |
| "epoch": 2.1493333333333333, |
| "grad_norm": 0.17630285024642944, |
| "learning_rate": 5.880184331797235e-05, |
| "loss": 0.2344, |
| "step": 806 |
| }, |
| { |
| "epoch": 2.152, |
| "grad_norm": 0.181659534573555, |
| "learning_rate": 5.861751152073733e-05, |
| "loss": 0.2417, |
| "step": 807 |
| }, |
| { |
| "epoch": 2.1546666666666665, |
| "grad_norm": 0.18842129409313202, |
| "learning_rate": 5.843317972350231e-05, |
| "loss": 0.2484, |
| "step": 808 |
| }, |
| { |
| "epoch": 2.1573333333333333, |
| "grad_norm": 0.2049228847026825, |
| "learning_rate": 5.824884792626728e-05, |
| "loss": 0.276, |
| "step": 809 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 0.17357228696346283, |
| "learning_rate": 5.8064516129032266e-05, |
| "loss": 0.2241, |
| "step": 810 |
| }, |
| { |
| "epoch": 2.1626666666666665, |
| "grad_norm": 0.1905251294374466, |
| "learning_rate": 5.788018433179724e-05, |
| "loss": 0.2499, |
| "step": 811 |
| }, |
| { |
| "epoch": 2.1653333333333333, |
| "grad_norm": 0.20603859424591064, |
| "learning_rate": 5.769585253456221e-05, |
| "loss": 0.2763, |
| "step": 812 |
| }, |
| { |
| "epoch": 2.168, |
| "grad_norm": 0.17379043996334076, |
| "learning_rate": 5.751152073732719e-05, |
| "loss": 0.2302, |
| "step": 813 |
| }, |
| { |
| "epoch": 2.1706666666666665, |
| "grad_norm": 0.18704932928085327, |
| "learning_rate": 5.732718894009217e-05, |
| "loss": 0.2562, |
| "step": 814 |
| }, |
| { |
| "epoch": 2.1733333333333333, |
| "grad_norm": 0.16581858694553375, |
| "learning_rate": 5.714285714285714e-05, |
| "loss": 0.2051, |
| "step": 815 |
| }, |
| { |
| "epoch": 2.176, |
| "grad_norm": 0.1519721895456314, |
| "learning_rate": 5.6958525345622126e-05, |
| "loss": 0.2044, |
| "step": 816 |
| }, |
| { |
| "epoch": 2.1786666666666665, |
| "grad_norm": 0.21112124621868134, |
| "learning_rate": 5.67741935483871e-05, |
| "loss": 0.2724, |
| "step": 817 |
| }, |
| { |
| "epoch": 2.1813333333333333, |
| "grad_norm": 0.1688368320465088, |
| "learning_rate": 5.6589861751152075e-05, |
| "loss": 0.2125, |
| "step": 818 |
| }, |
| { |
| "epoch": 2.184, |
| "grad_norm": 0.14428474009037018, |
| "learning_rate": 5.640552995391706e-05, |
| "loss": 0.1864, |
| "step": 819 |
| }, |
| { |
| "epoch": 2.1866666666666665, |
| "grad_norm": 0.19987855851650238, |
| "learning_rate": 5.622119815668203e-05, |
| "loss": 0.2616, |
| "step": 820 |
| }, |
| { |
| "epoch": 2.1893333333333334, |
| "grad_norm": 0.1781335175037384, |
| "learning_rate": 5.6036866359447e-05, |
| "loss": 0.2172, |
| "step": 821 |
| }, |
| { |
| "epoch": 2.192, |
| "grad_norm": 0.21375764906406403, |
| "learning_rate": 5.585253456221199e-05, |
| "loss": 0.2767, |
| "step": 822 |
| }, |
| { |
| "epoch": 2.1946666666666665, |
| "grad_norm": 0.16845765709877014, |
| "learning_rate": 5.5668202764976965e-05, |
| "loss": 0.2116, |
| "step": 823 |
| }, |
| { |
| "epoch": 2.1973333333333334, |
| "grad_norm": 0.16581523418426514, |
| "learning_rate": 5.5483870967741936e-05, |
| "loss": 0.2091, |
| "step": 824 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 0.14831623435020447, |
| "learning_rate": 5.529953917050692e-05, |
| "loss": 0.1929, |
| "step": 825 |
| }, |
| { |
| "epoch": 2.2026666666666666, |
| "grad_norm": 0.19845634698867798, |
| "learning_rate": 5.511520737327189e-05, |
| "loss": 0.241, |
| "step": 826 |
| }, |
| { |
| "epoch": 2.2053333333333334, |
| "grad_norm": 0.21646803617477417, |
| "learning_rate": 5.493087557603687e-05, |
| "loss": 0.272, |
| "step": 827 |
| }, |
| { |
| "epoch": 2.208, |
| "grad_norm": 0.20370185375213623, |
| "learning_rate": 5.4746543778801854e-05, |
| "loss": 0.2581, |
| "step": 828 |
| }, |
| { |
| "epoch": 2.2106666666666666, |
| "grad_norm": 0.19999898970127106, |
| "learning_rate": 5.4562211981566825e-05, |
| "loss": 0.2595, |
| "step": 829 |
| }, |
| { |
| "epoch": 2.2133333333333334, |
| "grad_norm": 0.17947052419185638, |
| "learning_rate": 5.4377880184331796e-05, |
| "loss": 0.2322, |
| "step": 830 |
| }, |
| { |
| "epoch": 2.216, |
| "grad_norm": 0.1837109476327896, |
| "learning_rate": 5.419354838709678e-05, |
| "loss": 0.2449, |
| "step": 831 |
| }, |
| { |
| "epoch": 2.2186666666666666, |
| "grad_norm": 0.19303138554096222, |
| "learning_rate": 5.400921658986175e-05, |
| "loss": 0.2328, |
| "step": 832 |
| }, |
| { |
| "epoch": 2.2213333333333334, |
| "grad_norm": 0.1741858273744583, |
| "learning_rate": 5.382488479262673e-05, |
| "loss": 0.2093, |
| "step": 833 |
| }, |
| { |
| "epoch": 2.224, |
| "grad_norm": 0.1743488311767578, |
| "learning_rate": 5.3640552995391715e-05, |
| "loss": 0.2199, |
| "step": 834 |
| }, |
| { |
| "epoch": 2.2266666666666666, |
| "grad_norm": 0.1816837638616562, |
| "learning_rate": 5.3456221198156686e-05, |
| "loss": 0.2231, |
| "step": 835 |
| }, |
| { |
| "epoch": 2.2293333333333334, |
| "grad_norm": 0.21669088304042816, |
| "learning_rate": 5.327188940092166e-05, |
| "loss": 0.2814, |
| "step": 836 |
| }, |
| { |
| "epoch": 2.232, |
| "grad_norm": 0.2027190774679184, |
| "learning_rate": 5.308755760368664e-05, |
| "loss": 0.2676, |
| "step": 837 |
| }, |
| { |
| "epoch": 2.2346666666666666, |
| "grad_norm": 0.21678215265274048, |
| "learning_rate": 5.290322580645162e-05, |
| "loss": 0.2812, |
| "step": 838 |
| }, |
| { |
| "epoch": 2.2373333333333334, |
| "grad_norm": 0.2116953581571579, |
| "learning_rate": 5.271889400921659e-05, |
| "loss": 0.252, |
| "step": 839 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.16538837552070618, |
| "learning_rate": 5.253456221198156e-05, |
| "loss": 0.2023, |
| "step": 840 |
| }, |
| { |
| "epoch": 2.2426666666666666, |
| "grad_norm": 0.20609216392040253, |
| "learning_rate": 5.2350230414746546e-05, |
| "loss": 0.2567, |
| "step": 841 |
| }, |
| { |
| "epoch": 2.2453333333333334, |
| "grad_norm": 0.19656263291835785, |
| "learning_rate": 5.2165898617511524e-05, |
| "loss": 0.2375, |
| "step": 842 |
| }, |
| { |
| "epoch": 2.248, |
| "grad_norm": 0.1345873922109604, |
| "learning_rate": 5.1981566820276495e-05, |
| "loss": 0.164, |
| "step": 843 |
| }, |
| { |
| "epoch": 2.2506666666666666, |
| "grad_norm": 0.2203885316848755, |
| "learning_rate": 5.179723502304148e-05, |
| "loss": 0.2648, |
| "step": 844 |
| }, |
| { |
| "epoch": 2.2533333333333334, |
| "grad_norm": 0.14984656870365143, |
| "learning_rate": 5.161290322580645e-05, |
| "loss": 0.1788, |
| "step": 845 |
| }, |
| { |
| "epoch": 2.2560000000000002, |
| "grad_norm": 0.1774144321680069, |
| "learning_rate": 5.142857142857143e-05, |
| "loss": 0.2132, |
| "step": 846 |
| }, |
| { |
| "epoch": 2.2586666666666666, |
| "grad_norm": 0.18027524650096893, |
| "learning_rate": 5.1244239631336414e-05, |
| "loss": 0.219, |
| "step": 847 |
| }, |
| { |
| "epoch": 2.2613333333333334, |
| "grad_norm": 0.19028416275978088, |
| "learning_rate": 5.1059907834101385e-05, |
| "loss": 0.2423, |
| "step": 848 |
| }, |
| { |
| "epoch": 2.2640000000000002, |
| "grad_norm": 0.17942991852760315, |
| "learning_rate": 5.0875576036866356e-05, |
| "loss": 0.2256, |
| "step": 849 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 0.20197415351867676, |
| "learning_rate": 5.069124423963134e-05, |
| "loss": 0.252, |
| "step": 850 |
| }, |
| { |
| "epoch": 2.2693333333333334, |
| "grad_norm": 0.18713517487049103, |
| "learning_rate": 5.050691244239631e-05, |
| "loss": 0.225, |
| "step": 851 |
| }, |
| { |
| "epoch": 2.2720000000000002, |
| "grad_norm": 0.1841951459646225, |
| "learning_rate": 5.032258064516129e-05, |
| "loss": 0.2431, |
| "step": 852 |
| }, |
| { |
| "epoch": 2.2746666666666666, |
| "grad_norm": 0.15105000138282776, |
| "learning_rate": 5.0138248847926274e-05, |
| "loss": 0.1915, |
| "step": 853 |
| }, |
| { |
| "epoch": 2.2773333333333334, |
| "grad_norm": 0.19592095911502838, |
| "learning_rate": 4.9953917050691245e-05, |
| "loss": 0.2614, |
| "step": 854 |
| }, |
| { |
| "epoch": 2.2800000000000002, |
| "grad_norm": 0.1877017617225647, |
| "learning_rate": 4.976958525345622e-05, |
| "loss": 0.2327, |
| "step": 855 |
| }, |
| { |
| "epoch": 2.2826666666666666, |
| "grad_norm": 0.18034368753433228, |
| "learning_rate": 4.95852534562212e-05, |
| "loss": 0.2277, |
| "step": 856 |
| }, |
| { |
| "epoch": 2.2853333333333334, |
| "grad_norm": 0.16614337265491486, |
| "learning_rate": 4.940092165898618e-05, |
| "loss": 0.2111, |
| "step": 857 |
| }, |
| { |
| "epoch": 2.288, |
| "grad_norm": 0.17970016598701477, |
| "learning_rate": 4.921658986175116e-05, |
| "loss": 0.2379, |
| "step": 858 |
| }, |
| { |
| "epoch": 2.2906666666666666, |
| "grad_norm": 0.18170355260372162, |
| "learning_rate": 4.903225806451613e-05, |
| "loss": 0.2276, |
| "step": 859 |
| }, |
| { |
| "epoch": 2.2933333333333334, |
| "grad_norm": 0.2110476791858673, |
| "learning_rate": 4.8847926267281106e-05, |
| "loss": 0.28, |
| "step": 860 |
| }, |
| { |
| "epoch": 2.296, |
| "grad_norm": 0.187066912651062, |
| "learning_rate": 4.8663594470046084e-05, |
| "loss": 0.2414, |
| "step": 861 |
| }, |
| { |
| "epoch": 2.2986666666666666, |
| "grad_norm": 0.20503658056259155, |
| "learning_rate": 4.847926267281106e-05, |
| "loss": 0.2541, |
| "step": 862 |
| }, |
| { |
| "epoch": 2.3013333333333335, |
| "grad_norm": 0.2017541378736496, |
| "learning_rate": 4.829493087557604e-05, |
| "loss": 0.2718, |
| "step": 863 |
| }, |
| { |
| "epoch": 2.304, |
| "grad_norm": 0.19818656146526337, |
| "learning_rate": 4.811059907834102e-05, |
| "loss": 0.2548, |
| "step": 864 |
| }, |
| { |
| "epoch": 2.3066666666666666, |
| "grad_norm": 0.16166555881500244, |
| "learning_rate": 4.792626728110599e-05, |
| "loss": 0.2041, |
| "step": 865 |
| }, |
| { |
| "epoch": 2.3093333333333335, |
| "grad_norm": 0.14913567900657654, |
| "learning_rate": 4.774193548387097e-05, |
| "loss": 0.199, |
| "step": 866 |
| }, |
| { |
| "epoch": 2.312, |
| "grad_norm": 0.20874328911304474, |
| "learning_rate": 4.755760368663595e-05, |
| "loss": 0.2819, |
| "step": 867 |
| }, |
| { |
| "epoch": 2.3146666666666667, |
| "grad_norm": 0.17748108506202698, |
| "learning_rate": 4.737327188940092e-05, |
| "loss": 0.2074, |
| "step": 868 |
| }, |
| { |
| "epoch": 2.3173333333333335, |
| "grad_norm": 0.21842896938323975, |
| "learning_rate": 4.71889400921659e-05, |
| "loss": 0.2826, |
| "step": 869 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 0.1887705773115158, |
| "learning_rate": 4.700460829493088e-05, |
| "loss": 0.2449, |
| "step": 870 |
| }, |
| { |
| "epoch": 2.3226666666666667, |
| "grad_norm": 0.22282104194164276, |
| "learning_rate": 4.6820276497695856e-05, |
| "loss": 0.2927, |
| "step": 871 |
| }, |
| { |
| "epoch": 2.3253333333333335, |
| "grad_norm": 0.18185733258724213, |
| "learning_rate": 4.6635944700460833e-05, |
| "loss": 0.2146, |
| "step": 872 |
| }, |
| { |
| "epoch": 2.328, |
| "grad_norm": 0.1490703970193863, |
| "learning_rate": 4.645161290322581e-05, |
| "loss": 0.1961, |
| "step": 873 |
| }, |
| { |
| "epoch": 2.3306666666666667, |
| "grad_norm": 0.22330021858215332, |
| "learning_rate": 4.626728110599078e-05, |
| "loss": 0.3005, |
| "step": 874 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.17974190413951874, |
| "learning_rate": 4.608294930875576e-05, |
| "loss": 0.2045, |
| "step": 875 |
| }, |
| { |
| "epoch": 2.336, |
| "grad_norm": 0.2200198769569397, |
| "learning_rate": 4.5898617511520745e-05, |
| "loss": 0.2775, |
| "step": 876 |
| }, |
| { |
| "epoch": 2.3386666666666667, |
| "grad_norm": 0.18184606730937958, |
| "learning_rate": 4.5714285714285716e-05, |
| "loss": 0.2342, |
| "step": 877 |
| }, |
| { |
| "epoch": 2.3413333333333335, |
| "grad_norm": 0.17221882939338684, |
| "learning_rate": 4.5529953917050694e-05, |
| "loss": 0.197, |
| "step": 878 |
| }, |
| { |
| "epoch": 2.344, |
| "grad_norm": 0.16531214118003845, |
| "learning_rate": 4.534562211981567e-05, |
| "loss": 0.194, |
| "step": 879 |
| }, |
| { |
| "epoch": 2.3466666666666667, |
| "grad_norm": 0.19332168996334076, |
| "learning_rate": 4.516129032258064e-05, |
| "loss": 0.2434, |
| "step": 880 |
| }, |
| { |
| "epoch": 2.3493333333333335, |
| "grad_norm": 0.17500852048397064, |
| "learning_rate": 4.497695852534563e-05, |
| "loss": 0.2248, |
| "step": 881 |
| }, |
| { |
| "epoch": 2.352, |
| "grad_norm": 0.21124567091464996, |
| "learning_rate": 4.4792626728110605e-05, |
| "loss": 0.2718, |
| "step": 882 |
| }, |
| { |
| "epoch": 2.3546666666666667, |
| "grad_norm": 0.217422217130661, |
| "learning_rate": 4.4608294930875577e-05, |
| "loss": 0.2611, |
| "step": 883 |
| }, |
| { |
| "epoch": 2.3573333333333335, |
| "grad_norm": 0.18603922426700592, |
| "learning_rate": 4.4423963133640554e-05, |
| "loss": 0.2242, |
| "step": 884 |
| }, |
| { |
| "epoch": 2.36, |
| "grad_norm": 0.20880885422229767, |
| "learning_rate": 4.423963133640553e-05, |
| "loss": 0.2487, |
| "step": 885 |
| }, |
| { |
| "epoch": 2.3626666666666667, |
| "grad_norm": 0.1718357503414154, |
| "learning_rate": 4.405529953917051e-05, |
| "loss": 0.219, |
| "step": 886 |
| }, |
| { |
| "epoch": 2.3653333333333335, |
| "grad_norm": 0.17314431071281433, |
| "learning_rate": 4.387096774193549e-05, |
| "loss": 0.2087, |
| "step": 887 |
| }, |
| { |
| "epoch": 2.368, |
| "grad_norm": 0.1635102778673172, |
| "learning_rate": 4.368663594470046e-05, |
| "loss": 0.2035, |
| "step": 888 |
| }, |
| { |
| "epoch": 2.3706666666666667, |
| "grad_norm": 0.20796184241771698, |
| "learning_rate": 4.350230414746544e-05, |
| "loss": 0.2579, |
| "step": 889 |
| }, |
| { |
| "epoch": 2.3733333333333335, |
| "grad_norm": 0.20987685024738312, |
| "learning_rate": 4.3317972350230415e-05, |
| "loss": 0.264, |
| "step": 890 |
| }, |
| { |
| "epoch": 2.376, |
| "grad_norm": 0.2164434939622879, |
| "learning_rate": 4.313364055299539e-05, |
| "loss": 0.275, |
| "step": 891 |
| }, |
| { |
| "epoch": 2.3786666666666667, |
| "grad_norm": 0.13395971059799194, |
| "learning_rate": 4.294930875576037e-05, |
| "loss": 0.1686, |
| "step": 892 |
| }, |
| { |
| "epoch": 2.3813333333333335, |
| "grad_norm": 0.17936541140079498, |
| "learning_rate": 4.276497695852535e-05, |
| "loss": 0.2244, |
| "step": 893 |
| }, |
| { |
| "epoch": 2.384, |
| "grad_norm": 0.20712970197200775, |
| "learning_rate": 4.258064516129032e-05, |
| "loss": 0.2779, |
| "step": 894 |
| }, |
| { |
| "epoch": 2.3866666666666667, |
| "grad_norm": 0.20002251863479614, |
| "learning_rate": 4.2396313364055304e-05, |
| "loss": 0.2728, |
| "step": 895 |
| }, |
| { |
| "epoch": 2.389333333333333, |
| "grad_norm": 0.1540747731924057, |
| "learning_rate": 4.221198156682028e-05, |
| "loss": 0.1943, |
| "step": 896 |
| }, |
| { |
| "epoch": 2.392, |
| "grad_norm": 0.21586114168167114, |
| "learning_rate": 4.202764976958525e-05, |
| "loss": 0.2682, |
| "step": 897 |
| }, |
| { |
| "epoch": 2.3946666666666667, |
| "grad_norm": 0.20333416759967804, |
| "learning_rate": 4.184331797235023e-05, |
| "loss": 0.2434, |
| "step": 898 |
| }, |
| { |
| "epoch": 2.397333333333333, |
| "grad_norm": 0.21139296889305115, |
| "learning_rate": 4.165898617511521e-05, |
| "loss": 0.2833, |
| "step": 899 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.21288971602916718, |
| "learning_rate": 4.147465437788019e-05, |
| "loss": 0.2474, |
| "step": 900 |
| }, |
| { |
| "epoch": 2.4026666666666667, |
| "grad_norm": 0.19103677570819855, |
| "learning_rate": 4.1290322580645165e-05, |
| "loss": 0.2288, |
| "step": 901 |
| }, |
| { |
| "epoch": 2.405333333333333, |
| "grad_norm": 0.17376349866390228, |
| "learning_rate": 4.110599078341014e-05, |
| "loss": 0.2106, |
| "step": 902 |
| }, |
| { |
| "epoch": 2.408, |
| "grad_norm": 0.1701132208108902, |
| "learning_rate": 4.0921658986175114e-05, |
| "loss": 0.2051, |
| "step": 903 |
| }, |
| { |
| "epoch": 2.4106666666666667, |
| "grad_norm": 0.21110019087791443, |
| "learning_rate": 4.073732718894009e-05, |
| "loss": 0.2508, |
| "step": 904 |
| }, |
| { |
| "epoch": 2.413333333333333, |
| "grad_norm": 0.1796679049730301, |
| "learning_rate": 4.0552995391705076e-05, |
| "loss": 0.2193, |
| "step": 905 |
| }, |
| { |
| "epoch": 2.416, |
| "grad_norm": 0.22056160867214203, |
| "learning_rate": 4.036866359447005e-05, |
| "loss": 0.2807, |
| "step": 906 |
| }, |
| { |
| "epoch": 2.4186666666666667, |
| "grad_norm": 0.1826774775981903, |
| "learning_rate": 4.0184331797235025e-05, |
| "loss": 0.2211, |
| "step": 907 |
| }, |
| { |
| "epoch": 2.421333333333333, |
| "grad_norm": 0.1666688472032547, |
| "learning_rate": 4e-05, |
| "loss": 0.2135, |
| "step": 908 |
| }, |
| { |
| "epoch": 2.424, |
| "grad_norm": 0.18800964951515198, |
| "learning_rate": 3.9815668202764974e-05, |
| "loss": 0.2225, |
| "step": 909 |
| }, |
| { |
| "epoch": 2.4266666666666667, |
| "grad_norm": 0.19935664534568787, |
| "learning_rate": 3.963133640552996e-05, |
| "loss": 0.2376, |
| "step": 910 |
| }, |
| { |
| "epoch": 2.429333333333333, |
| "grad_norm": 0.17138448357582092, |
| "learning_rate": 3.944700460829494e-05, |
| "loss": 0.2089, |
| "step": 911 |
| }, |
| { |
| "epoch": 2.432, |
| "grad_norm": 0.1743897944688797, |
| "learning_rate": 3.926267281105991e-05, |
| "loss": 0.1951, |
| "step": 912 |
| }, |
| { |
| "epoch": 2.4346666666666668, |
| "grad_norm": 0.17688778042793274, |
| "learning_rate": 3.9078341013824886e-05, |
| "loss": 0.242, |
| "step": 913 |
| }, |
| { |
| "epoch": 2.437333333333333, |
| "grad_norm": 0.21720516681671143, |
| "learning_rate": 3.8894009216589864e-05, |
| "loss": 0.2439, |
| "step": 914 |
| }, |
| { |
| "epoch": 2.44, |
| "grad_norm": 0.1564093679189682, |
| "learning_rate": 3.870967741935484e-05, |
| "loss": 0.1977, |
| "step": 915 |
| }, |
| { |
| "epoch": 2.4426666666666668, |
| "grad_norm": 0.20037341117858887, |
| "learning_rate": 3.852534562211982e-05, |
| "loss": 0.2764, |
| "step": 916 |
| }, |
| { |
| "epoch": 2.445333333333333, |
| "grad_norm": 0.2075718194246292, |
| "learning_rate": 3.83410138248848e-05, |
| "loss": 0.2488, |
| "step": 917 |
| }, |
| { |
| "epoch": 2.448, |
| "grad_norm": 0.21193648874759674, |
| "learning_rate": 3.815668202764977e-05, |
| "loss": 0.2591, |
| "step": 918 |
| }, |
| { |
| "epoch": 2.4506666666666668, |
| "grad_norm": 0.20360888540744781, |
| "learning_rate": 3.7972350230414746e-05, |
| "loss": 0.247, |
| "step": 919 |
| }, |
| { |
| "epoch": 2.453333333333333, |
| "grad_norm": 0.2143157422542572, |
| "learning_rate": 3.7788018433179724e-05, |
| "loss": 0.2698, |
| "step": 920 |
| }, |
| { |
| "epoch": 2.456, |
| "grad_norm": 0.19040510058403015, |
| "learning_rate": 3.76036866359447e-05, |
| "loss": 0.2372, |
| "step": 921 |
| }, |
| { |
| "epoch": 2.458666666666667, |
| "grad_norm": 0.18285666406154633, |
| "learning_rate": 3.741935483870968e-05, |
| "loss": 0.2211, |
| "step": 922 |
| }, |
| { |
| "epoch": 2.461333333333333, |
| "grad_norm": 0.20220457017421722, |
| "learning_rate": 3.723502304147465e-05, |
| "loss": 0.2466, |
| "step": 923 |
| }, |
| { |
| "epoch": 2.464, |
| "grad_norm": 0.15328292548656464, |
| "learning_rate": 3.7050691244239636e-05, |
| "loss": 0.1782, |
| "step": 924 |
| }, |
| { |
| "epoch": 2.466666666666667, |
| "grad_norm": 0.1970095932483673, |
| "learning_rate": 3.6866359447004614e-05, |
| "loss": 0.2221, |
| "step": 925 |
| }, |
| { |
| "epoch": 2.469333333333333, |
| "grad_norm": 0.1428355723619461, |
| "learning_rate": 3.6682027649769585e-05, |
| "loss": 0.1735, |
| "step": 926 |
| }, |
| { |
| "epoch": 2.472, |
| "grad_norm": 0.16083119809627533, |
| "learning_rate": 3.649769585253456e-05, |
| "loss": 0.1959, |
| "step": 927 |
| }, |
| { |
| "epoch": 2.474666666666667, |
| "grad_norm": 0.15381105244159698, |
| "learning_rate": 3.631336405529954e-05, |
| "loss": 0.1856, |
| "step": 928 |
| }, |
| { |
| "epoch": 2.477333333333333, |
| "grad_norm": 0.2157757729291916, |
| "learning_rate": 3.612903225806452e-05, |
| "loss": 0.2459, |
| "step": 929 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 0.16414602100849152, |
| "learning_rate": 3.5944700460829496e-05, |
| "loss": 0.1991, |
| "step": 930 |
| }, |
| { |
| "epoch": 2.482666666666667, |
| "grad_norm": 0.17288298904895782, |
| "learning_rate": 3.5760368663594474e-05, |
| "loss": 0.2145, |
| "step": 931 |
| }, |
| { |
| "epoch": 2.485333333333333, |
| "grad_norm": 0.21028447151184082, |
| "learning_rate": 3.5576036866359445e-05, |
| "loss": 0.2544, |
| "step": 932 |
| }, |
| { |
| "epoch": 2.488, |
| "grad_norm": 0.20613770186901093, |
| "learning_rate": 3.539170506912442e-05, |
| "loss": 0.2563, |
| "step": 933 |
| }, |
| { |
| "epoch": 2.490666666666667, |
| "grad_norm": 0.1776965856552124, |
| "learning_rate": 3.520737327188941e-05, |
| "loss": 0.2262, |
| "step": 934 |
| }, |
| { |
| "epoch": 2.493333333333333, |
| "grad_norm": 0.2085586041212082, |
| "learning_rate": 3.502304147465438e-05, |
| "loss": 0.2762, |
| "step": 935 |
| }, |
| { |
| "epoch": 2.496, |
| "grad_norm": 0.19237564504146576, |
| "learning_rate": 3.483870967741936e-05, |
| "loss": 0.2315, |
| "step": 936 |
| }, |
| { |
| "epoch": 2.498666666666667, |
| "grad_norm": 0.21122056245803833, |
| "learning_rate": 3.4654377880184335e-05, |
| "loss": 0.2505, |
| "step": 937 |
| }, |
| { |
| "epoch": 2.501333333333333, |
| "grad_norm": 0.19145233929157257, |
| "learning_rate": 3.4470046082949306e-05, |
| "loss": 0.2419, |
| "step": 938 |
| }, |
| { |
| "epoch": 2.504, |
| "grad_norm": 0.18055494129657745, |
| "learning_rate": 3.428571428571429e-05, |
| "loss": 0.2142, |
| "step": 939 |
| }, |
| { |
| "epoch": 2.506666666666667, |
| "grad_norm": 0.21248942613601685, |
| "learning_rate": 3.410138248847927e-05, |
| "loss": 0.2635, |
| "step": 940 |
| }, |
| { |
| "epoch": 2.509333333333333, |
| "grad_norm": 0.1798650324344635, |
| "learning_rate": 3.391705069124424e-05, |
| "loss": 0.2319, |
| "step": 941 |
| }, |
| { |
| "epoch": 2.512, |
| "grad_norm": 0.2010336071252823, |
| "learning_rate": 3.373271889400922e-05, |
| "loss": 0.2508, |
| "step": 942 |
| }, |
| { |
| "epoch": 2.514666666666667, |
| "grad_norm": 0.2169940322637558, |
| "learning_rate": 3.3548387096774195e-05, |
| "loss": 0.2535, |
| "step": 943 |
| }, |
| { |
| "epoch": 2.517333333333333, |
| "grad_norm": 0.1709452122449875, |
| "learning_rate": 3.336405529953917e-05, |
| "loss": 0.2023, |
| "step": 944 |
| }, |
| { |
| "epoch": 2.52, |
| "grad_norm": 0.1932317465543747, |
| "learning_rate": 3.317972350230415e-05, |
| "loss": 0.2381, |
| "step": 945 |
| }, |
| { |
| "epoch": 2.522666666666667, |
| "grad_norm": 0.16008716821670532, |
| "learning_rate": 3.299539170506913e-05, |
| "loss": 0.1883, |
| "step": 946 |
| }, |
| { |
| "epoch": 2.525333333333333, |
| "grad_norm": 0.1866675168275833, |
| "learning_rate": 3.28110599078341e-05, |
| "loss": 0.2264, |
| "step": 947 |
| }, |
| { |
| "epoch": 2.528, |
| "grad_norm": 0.22268185019493103, |
| "learning_rate": 3.262672811059908e-05, |
| "loss": 0.2701, |
| "step": 948 |
| }, |
| { |
| "epoch": 2.530666666666667, |
| "grad_norm": 0.1895384043455124, |
| "learning_rate": 3.244239631336406e-05, |
| "loss": 0.2323, |
| "step": 949 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.19184856116771698, |
| "learning_rate": 3.2258064516129034e-05, |
| "loss": 0.2307, |
| "step": 950 |
| }, |
| { |
| "epoch": 2.536, |
| "grad_norm": 0.1593741774559021, |
| "learning_rate": 3.207373271889401e-05, |
| "loss": 0.1978, |
| "step": 951 |
| }, |
| { |
| "epoch": 2.538666666666667, |
| "grad_norm": 0.21028544008731842, |
| "learning_rate": 3.188940092165898e-05, |
| "loss": 0.2517, |
| "step": 952 |
| }, |
| { |
| "epoch": 2.541333333333333, |
| "grad_norm": 0.17770890891551971, |
| "learning_rate": 3.170506912442397e-05, |
| "loss": 0.2168, |
| "step": 953 |
| }, |
| { |
| "epoch": 2.544, |
| "grad_norm": 0.21473906934261322, |
| "learning_rate": 3.1520737327188945e-05, |
| "loss": 0.259, |
| "step": 954 |
| }, |
| { |
| "epoch": 2.546666666666667, |
| "grad_norm": 0.16704760491847992, |
| "learning_rate": 3.1336405529953916e-05, |
| "loss": 0.1952, |
| "step": 955 |
| }, |
| { |
| "epoch": 2.5493333333333332, |
| "grad_norm": 0.19720260798931122, |
| "learning_rate": 3.1152073732718894e-05, |
| "loss": 0.2388, |
| "step": 956 |
| }, |
| { |
| "epoch": 2.552, |
| "grad_norm": 0.19212587177753448, |
| "learning_rate": 3.096774193548387e-05, |
| "loss": 0.2425, |
| "step": 957 |
| }, |
| { |
| "epoch": 2.554666666666667, |
| "grad_norm": 0.23281149566173553, |
| "learning_rate": 3.078341013824885e-05, |
| "loss": 0.2674, |
| "step": 958 |
| }, |
| { |
| "epoch": 2.5573333333333332, |
| "grad_norm": 0.15486465394496918, |
| "learning_rate": 3.059907834101383e-05, |
| "loss": 0.1979, |
| "step": 959 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 0.1730332374572754, |
| "learning_rate": 3.0414746543778806e-05, |
| "loss": 0.2132, |
| "step": 960 |
| }, |
| { |
| "epoch": 2.562666666666667, |
| "grad_norm": 0.15302078425884247, |
| "learning_rate": 3.0230414746543777e-05, |
| "loss": 0.1883, |
| "step": 961 |
| }, |
| { |
| "epoch": 2.5653333333333332, |
| "grad_norm": 0.1920948028564453, |
| "learning_rate": 3.0046082949308758e-05, |
| "loss": 0.2335, |
| "step": 962 |
| }, |
| { |
| "epoch": 2.568, |
| "grad_norm": 0.19951973855495453, |
| "learning_rate": 2.9861751152073736e-05, |
| "loss": 0.2308, |
| "step": 963 |
| }, |
| { |
| "epoch": 2.570666666666667, |
| "grad_norm": 0.20758463442325592, |
| "learning_rate": 2.967741935483871e-05, |
| "loss": 0.2425, |
| "step": 964 |
| }, |
| { |
| "epoch": 2.5733333333333333, |
| "grad_norm": 0.20747657120227814, |
| "learning_rate": 2.9493087557603688e-05, |
| "loss": 0.2539, |
| "step": 965 |
| }, |
| { |
| "epoch": 2.576, |
| "grad_norm": 0.20756056904792786, |
| "learning_rate": 2.9308755760368666e-05, |
| "loss": 0.2335, |
| "step": 966 |
| }, |
| { |
| "epoch": 2.578666666666667, |
| "grad_norm": 0.19419220089912415, |
| "learning_rate": 2.912442396313364e-05, |
| "loss": 0.2401, |
| "step": 967 |
| }, |
| { |
| "epoch": 2.5813333333333333, |
| "grad_norm": 0.17146585881710052, |
| "learning_rate": 2.894009216589862e-05, |
| "loss": 0.2113, |
| "step": 968 |
| }, |
| { |
| "epoch": 2.584, |
| "grad_norm": 0.23277591168880463, |
| "learning_rate": 2.8755760368663596e-05, |
| "loss": 0.2754, |
| "step": 969 |
| }, |
| { |
| "epoch": 2.586666666666667, |
| "grad_norm": 0.18789474666118622, |
| "learning_rate": 2.857142857142857e-05, |
| "loss": 0.2352, |
| "step": 970 |
| }, |
| { |
| "epoch": 2.5893333333333333, |
| "grad_norm": 0.2088879495859146, |
| "learning_rate": 2.838709677419355e-05, |
| "loss": 0.2717, |
| "step": 971 |
| }, |
| { |
| "epoch": 2.592, |
| "grad_norm": 0.2042110413312912, |
| "learning_rate": 2.820276497695853e-05, |
| "loss": 0.239, |
| "step": 972 |
| }, |
| { |
| "epoch": 2.594666666666667, |
| "grad_norm": 0.1706562489271164, |
| "learning_rate": 2.80184331797235e-05, |
| "loss": 0.1999, |
| "step": 973 |
| }, |
| { |
| "epoch": 2.5973333333333333, |
| "grad_norm": 0.14103630185127258, |
| "learning_rate": 2.7834101382488482e-05, |
| "loss": 0.1716, |
| "step": 974 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 0.21575360000133514, |
| "learning_rate": 2.764976958525346e-05, |
| "loss": 0.2647, |
| "step": 975 |
| }, |
| { |
| "epoch": 2.602666666666667, |
| "grad_norm": 0.18506750464439392, |
| "learning_rate": 2.7465437788018435e-05, |
| "loss": 0.2325, |
| "step": 976 |
| }, |
| { |
| "epoch": 2.6053333333333333, |
| "grad_norm": 0.21291320025920868, |
| "learning_rate": 2.7281105990783413e-05, |
| "loss": 0.2477, |
| "step": 977 |
| }, |
| { |
| "epoch": 2.608, |
| "grad_norm": 0.1804783195257187, |
| "learning_rate": 2.709677419354839e-05, |
| "loss": 0.2205, |
| "step": 978 |
| }, |
| { |
| "epoch": 2.610666666666667, |
| "grad_norm": 0.1673409789800644, |
| "learning_rate": 2.6912442396313365e-05, |
| "loss": 0.2066, |
| "step": 979 |
| }, |
| { |
| "epoch": 2.6133333333333333, |
| "grad_norm": 0.18242265284061432, |
| "learning_rate": 2.6728110599078343e-05, |
| "loss": 0.2267, |
| "step": 980 |
| }, |
| { |
| "epoch": 2.616, |
| "grad_norm": 0.18229256570339203, |
| "learning_rate": 2.654377880184332e-05, |
| "loss": 0.2292, |
| "step": 981 |
| }, |
| { |
| "epoch": 2.618666666666667, |
| "grad_norm": 0.16991081833839417, |
| "learning_rate": 2.6359447004608295e-05, |
| "loss": 0.2012, |
| "step": 982 |
| }, |
| { |
| "epoch": 2.6213333333333333, |
| "grad_norm": 0.2170930951833725, |
| "learning_rate": 2.6175115207373273e-05, |
| "loss": 0.2554, |
| "step": 983 |
| }, |
| { |
| "epoch": 2.624, |
| "grad_norm": 0.23414736986160278, |
| "learning_rate": 2.5990783410138248e-05, |
| "loss": 0.2678, |
| "step": 984 |
| }, |
| { |
| "epoch": 2.626666666666667, |
| "grad_norm": 0.20255883038043976, |
| "learning_rate": 2.5806451612903226e-05, |
| "loss": 0.2276, |
| "step": 985 |
| }, |
| { |
| "epoch": 2.6293333333333333, |
| "grad_norm": 0.21123245358467102, |
| "learning_rate": 2.5622119815668207e-05, |
| "loss": 0.2691, |
| "step": 986 |
| }, |
| { |
| "epoch": 2.632, |
| "grad_norm": 0.1825953722000122, |
| "learning_rate": 2.5437788018433178e-05, |
| "loss": 0.2138, |
| "step": 987 |
| }, |
| { |
| "epoch": 2.634666666666667, |
| "grad_norm": 0.17699141800403595, |
| "learning_rate": 2.5253456221198156e-05, |
| "loss": 0.2106, |
| "step": 988 |
| }, |
| { |
| "epoch": 2.6373333333333333, |
| "grad_norm": 0.18593303859233856, |
| "learning_rate": 2.5069124423963137e-05, |
| "loss": 0.2108, |
| "step": 989 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 0.2082303762435913, |
| "learning_rate": 2.488479262672811e-05, |
| "loss": 0.2423, |
| "step": 990 |
| }, |
| { |
| "epoch": 2.642666666666667, |
| "grad_norm": 0.17860785126686096, |
| "learning_rate": 2.470046082949309e-05, |
| "loss": 0.224, |
| "step": 991 |
| }, |
| { |
| "epoch": 2.6453333333333333, |
| "grad_norm": 0.1743408441543579, |
| "learning_rate": 2.4516129032258064e-05, |
| "loss": 0.1911, |
| "step": 992 |
| }, |
| { |
| "epoch": 2.648, |
| "grad_norm": 0.16802458465099335, |
| "learning_rate": 2.4331797235023042e-05, |
| "loss": 0.1942, |
| "step": 993 |
| }, |
| { |
| "epoch": 2.6506666666666665, |
| "grad_norm": 0.20897972583770752, |
| "learning_rate": 2.414746543778802e-05, |
| "loss": 0.2459, |
| "step": 994 |
| }, |
| { |
| "epoch": 2.6533333333333333, |
| "grad_norm": 0.19246900081634521, |
| "learning_rate": 2.3963133640552994e-05, |
| "loss": 0.223, |
| "step": 995 |
| }, |
| { |
| "epoch": 2.656, |
| "grad_norm": 0.1829095482826233, |
| "learning_rate": 2.3778801843317975e-05, |
| "loss": 0.2105, |
| "step": 996 |
| }, |
| { |
| "epoch": 2.6586666666666665, |
| "grad_norm": 0.21779794991016388, |
| "learning_rate": 2.359447004608295e-05, |
| "loss": 0.2497, |
| "step": 997 |
| }, |
| { |
| "epoch": 2.6613333333333333, |
| "grad_norm": 0.16111710667610168, |
| "learning_rate": 2.3410138248847928e-05, |
| "loss": 0.1858, |
| "step": 998 |
| }, |
| { |
| "epoch": 2.664, |
| "grad_norm": 0.20577044785022736, |
| "learning_rate": 2.3225806451612906e-05, |
| "loss": 0.2343, |
| "step": 999 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.18634682893753052, |
| "learning_rate": 2.304147465437788e-05, |
| "loss": 0.2227, |
| "step": 1000 |
| }, |
| { |
| "epoch": 2.6693333333333333, |
| "grad_norm": 0.17292581498622894, |
| "learning_rate": 2.2857142857142858e-05, |
| "loss": 0.1999, |
| "step": 1001 |
| }, |
| { |
| "epoch": 2.672, |
| "grad_norm": 0.22535468637943268, |
| "learning_rate": 2.2672811059907836e-05, |
| "loss": 0.275, |
| "step": 1002 |
| }, |
| { |
| "epoch": 2.6746666666666665, |
| "grad_norm": 0.2133495956659317, |
| "learning_rate": 2.2488479262672814e-05, |
| "loss": 0.2586, |
| "step": 1003 |
| }, |
| { |
| "epoch": 2.6773333333333333, |
| "grad_norm": 0.1874510943889618, |
| "learning_rate": 2.2304147465437788e-05, |
| "loss": 0.2277, |
| "step": 1004 |
| }, |
| { |
| "epoch": 2.68, |
| "grad_norm": 0.1860281080007553, |
| "learning_rate": 2.2119815668202766e-05, |
| "loss": 0.2337, |
| "step": 1005 |
| }, |
| { |
| "epoch": 2.6826666666666665, |
| "grad_norm": 0.19864605367183685, |
| "learning_rate": 2.1935483870967744e-05, |
| "loss": 0.2359, |
| "step": 1006 |
| }, |
| { |
| "epoch": 2.6853333333333333, |
| "grad_norm": 0.2221938669681549, |
| "learning_rate": 2.175115207373272e-05, |
| "loss": 0.3103, |
| "step": 1007 |
| }, |
| { |
| "epoch": 2.6879999999999997, |
| "grad_norm": 0.17687197029590607, |
| "learning_rate": 2.1566820276497696e-05, |
| "loss": 0.2054, |
| "step": 1008 |
| }, |
| { |
| "epoch": 2.6906666666666665, |
| "grad_norm": 0.2088635116815567, |
| "learning_rate": 2.1382488479262674e-05, |
| "loss": 0.2394, |
| "step": 1009 |
| }, |
| { |
| "epoch": 2.6933333333333334, |
| "grad_norm": 0.1783912628889084, |
| "learning_rate": 2.1198156682027652e-05, |
| "loss": 0.2143, |
| "step": 1010 |
| }, |
| { |
| "epoch": 2.6959999999999997, |
| "grad_norm": 0.16451089084148407, |
| "learning_rate": 2.1013824884792627e-05, |
| "loss": 0.1991, |
| "step": 1011 |
| }, |
| { |
| "epoch": 2.6986666666666665, |
| "grad_norm": 0.1732214242219925, |
| "learning_rate": 2.0829493087557605e-05, |
| "loss": 0.1994, |
| "step": 1012 |
| }, |
| { |
| "epoch": 2.7013333333333334, |
| "grad_norm": 0.154001846909523, |
| "learning_rate": 2.0645161290322582e-05, |
| "loss": 0.1894, |
| "step": 1013 |
| }, |
| { |
| "epoch": 2.7039999999999997, |
| "grad_norm": 0.21132534742355347, |
| "learning_rate": 2.0460829493087557e-05, |
| "loss": 0.2614, |
| "step": 1014 |
| }, |
| { |
| "epoch": 2.7066666666666666, |
| "grad_norm": 0.2212495058774948, |
| "learning_rate": 2.0276497695852538e-05, |
| "loss": 0.2734, |
| "step": 1015 |
| }, |
| { |
| "epoch": 2.7093333333333334, |
| "grad_norm": 0.21257886290550232, |
| "learning_rate": 2.0092165898617513e-05, |
| "loss": 0.2502, |
| "step": 1016 |
| }, |
| { |
| "epoch": 2.7119999999999997, |
| "grad_norm": 0.2010204941034317, |
| "learning_rate": 1.9907834101382487e-05, |
| "loss": 0.2473, |
| "step": 1017 |
| }, |
| { |
| "epoch": 2.7146666666666666, |
| "grad_norm": 0.1727273017168045, |
| "learning_rate": 1.972350230414747e-05, |
| "loss": 0.2149, |
| "step": 1018 |
| }, |
| { |
| "epoch": 2.7173333333333334, |
| "grad_norm": 0.2235029637813568, |
| "learning_rate": 1.9539170506912443e-05, |
| "loss": 0.2684, |
| "step": 1019 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 0.17692206799983978, |
| "learning_rate": 1.935483870967742e-05, |
| "loss": 0.2115, |
| "step": 1020 |
| }, |
| { |
| "epoch": 2.7226666666666666, |
| "grad_norm": 0.14756979048252106, |
| "learning_rate": 1.91705069124424e-05, |
| "loss": 0.1747, |
| "step": 1021 |
| }, |
| { |
| "epoch": 2.7253333333333334, |
| "grad_norm": 0.17219822108745575, |
| "learning_rate": 1.8986175115207373e-05, |
| "loss": 0.1999, |
| "step": 1022 |
| }, |
| { |
| "epoch": 2.7279999999999998, |
| "grad_norm": 0.21106815338134766, |
| "learning_rate": 1.880184331797235e-05, |
| "loss": 0.2626, |
| "step": 1023 |
| }, |
| { |
| "epoch": 2.7306666666666666, |
| "grad_norm": 0.1658838987350464, |
| "learning_rate": 1.8617511520737326e-05, |
| "loss": 0.2067, |
| "step": 1024 |
| }, |
| { |
| "epoch": 2.7333333333333334, |
| "grad_norm": 0.22568367421627045, |
| "learning_rate": 1.8433179723502307e-05, |
| "loss": 0.2689, |
| "step": 1025 |
| }, |
| { |
| "epoch": 2.7359999999999998, |
| "grad_norm": 0.21281591057777405, |
| "learning_rate": 1.824884792626728e-05, |
| "loss": 0.2449, |
| "step": 1026 |
| }, |
| { |
| "epoch": 2.7386666666666666, |
| "grad_norm": 0.2305043637752533, |
| "learning_rate": 1.806451612903226e-05, |
| "loss": 0.2683, |
| "step": 1027 |
| }, |
| { |
| "epoch": 2.7413333333333334, |
| "grad_norm": 0.19869396090507507, |
| "learning_rate": 1.7880184331797237e-05, |
| "loss": 0.2343, |
| "step": 1028 |
| }, |
| { |
| "epoch": 2.7439999999999998, |
| "grad_norm": 0.18491441011428833, |
| "learning_rate": 1.769585253456221e-05, |
| "loss": 0.2225, |
| "step": 1029 |
| }, |
| { |
| "epoch": 2.7466666666666666, |
| "grad_norm": 0.2185884416103363, |
| "learning_rate": 1.751152073732719e-05, |
| "loss": 0.242, |
| "step": 1030 |
| }, |
| { |
| "epoch": 2.7493333333333334, |
| "grad_norm": 0.2175767570734024, |
| "learning_rate": 1.7327188940092167e-05, |
| "loss": 0.2693, |
| "step": 1031 |
| }, |
| { |
| "epoch": 2.752, |
| "grad_norm": 0.21260294318199158, |
| "learning_rate": 1.7142857142857145e-05, |
| "loss": 0.2393, |
| "step": 1032 |
| }, |
| { |
| "epoch": 2.7546666666666666, |
| "grad_norm": 0.17641869187355042, |
| "learning_rate": 1.695852534562212e-05, |
| "loss": 0.2152, |
| "step": 1033 |
| }, |
| { |
| "epoch": 2.7573333333333334, |
| "grad_norm": 0.18810798227787018, |
| "learning_rate": 1.6774193548387098e-05, |
| "loss": 0.2258, |
| "step": 1034 |
| }, |
| { |
| "epoch": 2.76, |
| "grad_norm": 0.23104557394981384, |
| "learning_rate": 1.6589861751152075e-05, |
| "loss": 0.2627, |
| "step": 1035 |
| }, |
| { |
| "epoch": 2.7626666666666666, |
| "grad_norm": 0.21564984321594238, |
| "learning_rate": 1.640552995391705e-05, |
| "loss": 0.2649, |
| "step": 1036 |
| }, |
| { |
| "epoch": 2.7653333333333334, |
| "grad_norm": 0.22177806496620178, |
| "learning_rate": 1.622119815668203e-05, |
| "loss": 0.2517, |
| "step": 1037 |
| }, |
| { |
| "epoch": 2.768, |
| "grad_norm": 0.1822693794965744, |
| "learning_rate": 1.6036866359447006e-05, |
| "loss": 0.2181, |
| "step": 1038 |
| }, |
| { |
| "epoch": 2.7706666666666666, |
| "grad_norm": 0.19776242971420288, |
| "learning_rate": 1.5852534562211984e-05, |
| "loss": 0.2305, |
| "step": 1039 |
| }, |
| { |
| "epoch": 2.7733333333333334, |
| "grad_norm": 0.2073931246995926, |
| "learning_rate": 1.5668202764976958e-05, |
| "loss": 0.2439, |
| "step": 1040 |
| }, |
| { |
| "epoch": 2.776, |
| "grad_norm": 0.1732424795627594, |
| "learning_rate": 1.5483870967741936e-05, |
| "loss": 0.2088, |
| "step": 1041 |
| }, |
| { |
| "epoch": 2.7786666666666666, |
| "grad_norm": 0.2119382917881012, |
| "learning_rate": 1.5299539170506914e-05, |
| "loss": 0.2546, |
| "step": 1042 |
| }, |
| { |
| "epoch": 2.7813333333333334, |
| "grad_norm": 0.2035003900527954, |
| "learning_rate": 1.5115207373271888e-05, |
| "loss": 0.2295, |
| "step": 1043 |
| }, |
| { |
| "epoch": 2.784, |
| "grad_norm": 0.20325753092765808, |
| "learning_rate": 1.4930875576036868e-05, |
| "loss": 0.2604, |
| "step": 1044 |
| }, |
| { |
| "epoch": 2.7866666666666666, |
| "grad_norm": 0.21441249549388885, |
| "learning_rate": 1.4746543778801844e-05, |
| "loss": 0.2587, |
| "step": 1045 |
| }, |
| { |
| "epoch": 2.7893333333333334, |
| "grad_norm": 0.19458211958408356, |
| "learning_rate": 1.456221198156682e-05, |
| "loss": 0.239, |
| "step": 1046 |
| }, |
| { |
| "epoch": 2.792, |
| "grad_norm": 0.2018086016178131, |
| "learning_rate": 1.4377880184331798e-05, |
| "loss": 0.2406, |
| "step": 1047 |
| }, |
| { |
| "epoch": 2.7946666666666666, |
| "grad_norm": 0.2204471081495285, |
| "learning_rate": 1.4193548387096774e-05, |
| "loss": 0.2644, |
| "step": 1048 |
| }, |
| { |
| "epoch": 2.7973333333333334, |
| "grad_norm": 0.20601236820220947, |
| "learning_rate": 1.400921658986175e-05, |
| "loss": 0.2501, |
| "step": 1049 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.20629119873046875, |
| "learning_rate": 1.382488479262673e-05, |
| "loss": 0.2443, |
| "step": 1050 |
| }, |
| { |
| "epoch": 2.8026666666666666, |
| "grad_norm": 0.15330874919891357, |
| "learning_rate": 1.3640552995391706e-05, |
| "loss": 0.1709, |
| "step": 1051 |
| }, |
| { |
| "epoch": 2.8053333333333335, |
| "grad_norm": 0.18779538571834564, |
| "learning_rate": 1.3456221198156683e-05, |
| "loss": 0.2215, |
| "step": 1052 |
| }, |
| { |
| "epoch": 2.808, |
| "grad_norm": 0.20751351118087769, |
| "learning_rate": 1.327188940092166e-05, |
| "loss": 0.2484, |
| "step": 1053 |
| }, |
| { |
| "epoch": 2.8106666666666666, |
| "grad_norm": 0.18701356649398804, |
| "learning_rate": 1.3087557603686637e-05, |
| "loss": 0.2236, |
| "step": 1054 |
| }, |
| { |
| "epoch": 2.8133333333333335, |
| "grad_norm": 0.17528961598873138, |
| "learning_rate": 1.2903225806451613e-05, |
| "loss": 0.2149, |
| "step": 1055 |
| }, |
| { |
| "epoch": 2.816, |
| "grad_norm": 0.221915602684021, |
| "learning_rate": 1.2718894009216589e-05, |
| "loss": 0.2629, |
| "step": 1056 |
| }, |
| { |
| "epoch": 2.8186666666666667, |
| "grad_norm": 0.19992965459823608, |
| "learning_rate": 1.2534562211981569e-05, |
| "loss": 0.2494, |
| "step": 1057 |
| }, |
| { |
| "epoch": 2.8213333333333335, |
| "grad_norm": 0.22890964150428772, |
| "learning_rate": 1.2350230414746545e-05, |
| "loss": 0.256, |
| "step": 1058 |
| }, |
| { |
| "epoch": 2.824, |
| "grad_norm": 0.18345974385738373, |
| "learning_rate": 1.2165898617511521e-05, |
| "loss": 0.209, |
| "step": 1059 |
| }, |
| { |
| "epoch": 2.8266666666666667, |
| "grad_norm": 0.22195008397102356, |
| "learning_rate": 1.1981566820276497e-05, |
| "loss": 0.2662, |
| "step": 1060 |
| }, |
| { |
| "epoch": 2.8293333333333335, |
| "grad_norm": 0.20280492305755615, |
| "learning_rate": 1.1797235023041475e-05, |
| "loss": 0.2319, |
| "step": 1061 |
| }, |
| { |
| "epoch": 2.832, |
| "grad_norm": 0.17780129611492157, |
| "learning_rate": 1.1612903225806453e-05, |
| "loss": 0.2015, |
| "step": 1062 |
| }, |
| { |
| "epoch": 2.8346666666666667, |
| "grad_norm": 0.2141536921262741, |
| "learning_rate": 1.1428571428571429e-05, |
| "loss": 0.2541, |
| "step": 1063 |
| }, |
| { |
| "epoch": 2.8373333333333335, |
| "grad_norm": 0.20493169128894806, |
| "learning_rate": 1.1244239631336407e-05, |
| "loss": 0.2409, |
| "step": 1064 |
| }, |
| { |
| "epoch": 2.84, |
| "grad_norm": 0.2049335092306137, |
| "learning_rate": 1.1059907834101383e-05, |
| "loss": 0.2405, |
| "step": 1065 |
| }, |
| { |
| "epoch": 2.8426666666666667, |
| "grad_norm": 0.18142537772655487, |
| "learning_rate": 1.087557603686636e-05, |
| "loss": 0.2093, |
| "step": 1066 |
| }, |
| { |
| "epoch": 2.8453333333333335, |
| "grad_norm": 0.17172765731811523, |
| "learning_rate": 1.0691244239631337e-05, |
| "loss": 0.2103, |
| "step": 1067 |
| }, |
| { |
| "epoch": 2.848, |
| "grad_norm": 0.19257913529872894, |
| "learning_rate": 1.0506912442396313e-05, |
| "loss": 0.231, |
| "step": 1068 |
| }, |
| { |
| "epoch": 2.8506666666666667, |
| "grad_norm": 0.20332762598991394, |
| "learning_rate": 1.0322580645161291e-05, |
| "loss": 0.2529, |
| "step": 1069 |
| }, |
| { |
| "epoch": 2.8533333333333335, |
| "grad_norm": 0.22266137599945068, |
| "learning_rate": 1.0138248847926269e-05, |
| "loss": 0.2711, |
| "step": 1070 |
| }, |
| { |
| "epoch": 2.856, |
| "grad_norm": 0.1876412332057953, |
| "learning_rate": 9.953917050691244e-06, |
| "loss": 0.2284, |
| "step": 1071 |
| }, |
| { |
| "epoch": 2.8586666666666667, |
| "grad_norm": 0.18878604471683502, |
| "learning_rate": 9.769585253456221e-06, |
| "loss": 0.2321, |
| "step": 1072 |
| }, |
| { |
| "epoch": 2.8613333333333335, |
| "grad_norm": 0.2148466259241104, |
| "learning_rate": 9.5852534562212e-06, |
| "loss": 0.2591, |
| "step": 1073 |
| }, |
| { |
| "epoch": 2.864, |
| "grad_norm": 0.16964668035507202, |
| "learning_rate": 9.400921658986176e-06, |
| "loss": 0.1898, |
| "step": 1074 |
| }, |
| { |
| "epoch": 2.8666666666666667, |
| "grad_norm": 0.17524507641792297, |
| "learning_rate": 9.216589861751153e-06, |
| "loss": 0.2157, |
| "step": 1075 |
| }, |
| { |
| "epoch": 2.8693333333333335, |
| "grad_norm": 0.18534080684185028, |
| "learning_rate": 9.03225806451613e-06, |
| "loss": 0.2212, |
| "step": 1076 |
| }, |
| { |
| "epoch": 2.872, |
| "grad_norm": 0.17894750833511353, |
| "learning_rate": 8.847926267281106e-06, |
| "loss": 0.2127, |
| "step": 1077 |
| }, |
| { |
| "epoch": 2.8746666666666667, |
| "grad_norm": 0.1959470510482788, |
| "learning_rate": 8.663594470046084e-06, |
| "loss": 0.2411, |
| "step": 1078 |
| }, |
| { |
| "epoch": 2.8773333333333335, |
| "grad_norm": 0.18759533762931824, |
| "learning_rate": 8.47926267281106e-06, |
| "loss": 0.2191, |
| "step": 1079 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 0.1770099252462387, |
| "learning_rate": 8.294930875576038e-06, |
| "loss": 0.2025, |
| "step": 1080 |
| }, |
| { |
| "epoch": 2.8826666666666667, |
| "grad_norm": 0.2285805642604828, |
| "learning_rate": 8.110599078341016e-06, |
| "loss": 0.2711, |
| "step": 1081 |
| }, |
| { |
| "epoch": 2.8853333333333335, |
| "grad_norm": 0.19250483810901642, |
| "learning_rate": 7.926267281105992e-06, |
| "loss": 0.2283, |
| "step": 1082 |
| }, |
| { |
| "epoch": 2.888, |
| "grad_norm": 0.16648288071155548, |
| "learning_rate": 7.741935483870968e-06, |
| "loss": 0.1887, |
| "step": 1083 |
| }, |
| { |
| "epoch": 2.8906666666666667, |
| "grad_norm": 0.18730421364307404, |
| "learning_rate": 7.557603686635944e-06, |
| "loss": 0.2315, |
| "step": 1084 |
| }, |
| { |
| "epoch": 2.8933333333333335, |
| "grad_norm": 0.18976031243801117, |
| "learning_rate": 7.373271889400922e-06, |
| "loss": 0.2277, |
| "step": 1085 |
| }, |
| { |
| "epoch": 2.896, |
| "grad_norm": 0.19229745864868164, |
| "learning_rate": 7.188940092165899e-06, |
| "loss": 0.2163, |
| "step": 1086 |
| }, |
| { |
| "epoch": 2.8986666666666667, |
| "grad_norm": 0.18816886842250824, |
| "learning_rate": 7.004608294930875e-06, |
| "loss": 0.2393, |
| "step": 1087 |
| }, |
| { |
| "epoch": 2.9013333333333335, |
| "grad_norm": 0.18578150868415833, |
| "learning_rate": 6.820276497695853e-06, |
| "loss": 0.2179, |
| "step": 1088 |
| }, |
| { |
| "epoch": 2.904, |
| "grad_norm": 0.2083587795495987, |
| "learning_rate": 6.63594470046083e-06, |
| "loss": 0.2515, |
| "step": 1089 |
| }, |
| { |
| "epoch": 2.9066666666666667, |
| "grad_norm": 0.22908279299736023, |
| "learning_rate": 6.451612903225806e-06, |
| "loss": 0.2657, |
| "step": 1090 |
| }, |
| { |
| "epoch": 2.9093333333333335, |
| "grad_norm": 0.2060592770576477, |
| "learning_rate": 6.267281105990784e-06, |
| "loss": 0.2386, |
| "step": 1091 |
| }, |
| { |
| "epoch": 2.912, |
| "grad_norm": 0.21622027456760406, |
| "learning_rate": 6.0829493087557604e-06, |
| "loss": 0.2654, |
| "step": 1092 |
| }, |
| { |
| "epoch": 2.9146666666666667, |
| "grad_norm": 0.18219618499279022, |
| "learning_rate": 5.8986175115207375e-06, |
| "loss": 0.2014, |
| "step": 1093 |
| }, |
| { |
| "epoch": 2.9173333333333336, |
| "grad_norm": 0.16209164261817932, |
| "learning_rate": 5.7142857142857145e-06, |
| "loss": 0.188, |
| "step": 1094 |
| }, |
| { |
| "epoch": 2.92, |
| "grad_norm": 0.2103581577539444, |
| "learning_rate": 5.5299539170506915e-06, |
| "loss": 0.2643, |
| "step": 1095 |
| }, |
| { |
| "epoch": 2.9226666666666667, |
| "grad_norm": 0.21437743306159973, |
| "learning_rate": 5.345622119815669e-06, |
| "loss": 0.2691, |
| "step": 1096 |
| }, |
| { |
| "epoch": 2.9253333333333336, |
| "grad_norm": 0.2066657394170761, |
| "learning_rate": 5.161290322580646e-06, |
| "loss": 0.253, |
| "step": 1097 |
| }, |
| { |
| "epoch": 2.928, |
| "grad_norm": 0.18037202954292297, |
| "learning_rate": 4.976958525345622e-06, |
| "loss": 0.214, |
| "step": 1098 |
| }, |
| { |
| "epoch": 2.9306666666666668, |
| "grad_norm": 0.18680045008659363, |
| "learning_rate": 4.7926267281106e-06, |
| "loss": 0.2329, |
| "step": 1099 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 0.21466372907161713, |
| "learning_rate": 4.608294930875577e-06, |
| "loss": 0.2434, |
| "step": 1100 |
| }, |
| { |
| "epoch": 2.936, |
| "grad_norm": 0.166558176279068, |
| "learning_rate": 4.423963133640553e-06, |
| "loss": 0.1876, |
| "step": 1101 |
| }, |
| { |
| "epoch": 2.9386666666666668, |
| "grad_norm": 0.22108784317970276, |
| "learning_rate": 4.23963133640553e-06, |
| "loss": 0.2651, |
| "step": 1102 |
| }, |
| { |
| "epoch": 2.9413333333333336, |
| "grad_norm": 0.1992163211107254, |
| "learning_rate": 4.055299539170508e-06, |
| "loss": 0.2315, |
| "step": 1103 |
| }, |
| { |
| "epoch": 2.944, |
| "grad_norm": 0.23224449157714844, |
| "learning_rate": 3.870967741935484e-06, |
| "loss": 0.2748, |
| "step": 1104 |
| }, |
| { |
| "epoch": 2.9466666666666668, |
| "grad_norm": 0.21536001563072205, |
| "learning_rate": 3.686635944700461e-06, |
| "loss": 0.2466, |
| "step": 1105 |
| }, |
| { |
| "epoch": 2.9493333333333336, |
| "grad_norm": 0.2141130566596985, |
| "learning_rate": 3.5023041474654376e-06, |
| "loss": 0.2478, |
| "step": 1106 |
| }, |
| { |
| "epoch": 2.952, |
| "grad_norm": 0.15023496747016907, |
| "learning_rate": 3.317972350230415e-06, |
| "loss": 0.1743, |
| "step": 1107 |
| }, |
| { |
| "epoch": 2.9546666666666668, |
| "grad_norm": 0.1586221605539322, |
| "learning_rate": 3.133640552995392e-06, |
| "loss": 0.1957, |
| "step": 1108 |
| }, |
| { |
| "epoch": 2.9573333333333336, |
| "grad_norm": 0.21682856976985931, |
| "learning_rate": 2.9493087557603687e-06, |
| "loss": 0.2566, |
| "step": 1109 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 0.19096557796001434, |
| "learning_rate": 2.7649769585253458e-06, |
| "loss": 0.2202, |
| "step": 1110 |
| }, |
| { |
| "epoch": 2.962666666666667, |
| "grad_norm": 0.21746596693992615, |
| "learning_rate": 2.580645161290323e-06, |
| "loss": 0.2344, |
| "step": 1111 |
| }, |
| { |
| "epoch": 2.9653333333333336, |
| "grad_norm": 0.15653283894062042, |
| "learning_rate": 2.3963133640553e-06, |
| "loss": 0.1882, |
| "step": 1112 |
| }, |
| { |
| "epoch": 2.968, |
| "grad_norm": 0.18830817937850952, |
| "learning_rate": 2.2119815668202764e-06, |
| "loss": 0.2101, |
| "step": 1113 |
| }, |
| { |
| "epoch": 2.970666666666667, |
| "grad_norm": 0.15795008838176727, |
| "learning_rate": 2.027649769585254e-06, |
| "loss": 0.182, |
| "step": 1114 |
| }, |
| { |
| "epoch": 2.9733333333333336, |
| "grad_norm": 0.2204478234052658, |
| "learning_rate": 1.8433179723502305e-06, |
| "loss": 0.2447, |
| "step": 1115 |
| }, |
| { |
| "epoch": 2.976, |
| "grad_norm": 0.204703226685524, |
| "learning_rate": 1.6589861751152075e-06, |
| "loss": 0.2261, |
| "step": 1116 |
| }, |
| { |
| "epoch": 2.978666666666667, |
| "grad_norm": 0.2186543494462967, |
| "learning_rate": 1.4746543778801844e-06, |
| "loss": 0.2494, |
| "step": 1117 |
| }, |
| { |
| "epoch": 2.981333333333333, |
| "grad_norm": 0.18065595626831055, |
| "learning_rate": 1.2903225806451614e-06, |
| "loss": 0.2198, |
| "step": 1118 |
| }, |
| { |
| "epoch": 2.984, |
| "grad_norm": 0.23505060374736786, |
| "learning_rate": 1.1059907834101382e-06, |
| "loss": 0.285, |
| "step": 1119 |
| }, |
| { |
| "epoch": 2.986666666666667, |
| "grad_norm": 0.20345298945903778, |
| "learning_rate": 9.216589861751153e-07, |
| "loss": 0.2326, |
| "step": 1120 |
| }, |
| { |
| "epoch": 2.989333333333333, |
| "grad_norm": 0.17036734521389008, |
| "learning_rate": 7.373271889400922e-07, |
| "loss": 0.2005, |
| "step": 1121 |
| }, |
| { |
| "epoch": 2.992, |
| "grad_norm": 0.22150498628616333, |
| "learning_rate": 5.529953917050691e-07, |
| "loss": 0.2532, |
| "step": 1122 |
| }, |
| { |
| "epoch": 2.994666666666667, |
| "grad_norm": 0.17782063782215118, |
| "learning_rate": 3.686635944700461e-07, |
| "loss": 0.212, |
| "step": 1123 |
| }, |
| { |
| "epoch": 2.997333333333333, |
| "grad_norm": 0.20019815862178802, |
| "learning_rate": 1.8433179723502305e-07, |
| "loss": 0.2356, |
| "step": 1124 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.22706852853298187, |
| "learning_rate": 0.0, |
| "loss": 0.2505, |
| "step": 1125 |
| } |
| ], |
| "logging_steps": 1, |
| "max_steps": 1125, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 2.2306486123089838e+18, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
