End of training

README.md

@@ -0,0 +1,253 @@
+---
+library_name: peft
+license: apache-2.0
+base_model: alpindale/Mistral-7B-v0.2-hf
+tags:
+- axolotl
+- base_model:adapter:alpindale/Mistral-7B-v0.2-hf
+- lora
+- transformers
+datasets:
+- newsessions_revisedcutdown.jsonl
+- hidden_compressedgamescontext_reducedctx.jsonl
+- manual_gameplay_truncated.jsonl
+- newdataplussilent-filtered.jsonl
+- newprompt_lessreduced_1.jsonl
+- newprompt_lessreduced_2.jsonl
+- newprompt_lessreduced_orig.jsonl
+- generics/bluemoon-2_5mil.jsonl
+- generics/capybara_2_5mil.jsonl
+- generics/qwq_3million.jsonl
+pipeline_tag: text-generation
+model-index:
+- name: dpn-newdata-normal-actual
+  results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+[<img src="https://raw.githubusercontent.com/axolotl-ai-cloud/axolotl/main/image/axolotl-badge-web.png" alt="Built with Axolotl" width="200" height="32"/>](https://github.com/axolotl-ai-cloud/axolotl)
+<details><summary>See axolotl config</summary>
+
+axolotl version: `0.15.0.dev0`
+```yaml
+# This is higher rank + human data
+# + new data (the silence stuff).
+
+# Dataset configuration (placeholder - will be populated at runtime)
+datasets:
+  - path: "newsessions_revisedcutdown.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "hidden_compressedgamescontext_reducedctx.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "manual_gameplay_truncated.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "newdataplussilent-filtered.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "newprompt_lessreduced_1.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "newprompt_lessreduced_2.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "newprompt_lessreduced_orig.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "generics/bluemoon-2_5mil.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "generics/capybara_2_5mil.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+  - path: "generics/qwq_3million.jsonl"
+    type: "chat_template"
+    field_messages: "conversations"
+    message_property_mappings:
+      role: "from"
+      content: "value"
+
+# Model configuration
+base_model: "alpindale/Mistral-7B-v0.2-hf" # TODO EITHER MISTRAL OR QWEN BASE
+tokenizer_type: "AutoTokenizer"
+model_type: "AutoModelForCausalLM"
+load_in_8bit: false
+load_in_4bit: false
+strict: false
+
+# LoRA configuration
+adapter: "lora"
+lora_r: 128  # reducing this had helped
+lora_alpha: 512  # maybe increase?
+lora_dropout: 0.4  # increasing this had helped
+lora_target_linear: true
+lora_target_modules:
+  - "gate_proj"
+  - "down_proj"
+  - "up_proj"
+  - "q_proj"
+  - "v_proj"
+  - "k_proj"
+  - "o_proj"
+
+# Dataset preparation and output
+dataset_prepared_path: "last_finetune_prepared"
+output_dir: "./finetune-model-output"
+
+# Training parameters
+seed: 1337
+sequence_len: 11000
+sample_packing: false
+pad_to_sequence_len: true
+shuffle_merged_datasets: true
+
+# Batch and gradient settings
+gradient_accumulation_steps: 20
+micro_batch_size: 6
+eval_batch_size: 1
+
+# Training duration
+num_epochs: 2
+
+# Optimizer and scheduler
+optimizer: "paged_adamw_8bit"
+lr_scheduler: "constant"
+learning_rate: 0.0001  # as high as it can go
+weight_decay: 0.01
+max_grad_norm: 1  # TODO look into this further
+
+# Training options
+train_on_inputs: false
+group_by_length: false
+noisy_embedding_alpha: 0  # remove?
+
+# Precision settings
+bf16: true
+fp16: false
+tf32: false
+
+# Memory optimization
+gradient_checkpointing: true
+
+# Attention mechanism
+xformers_attention: false
+flash_attention: true
+
+# Chat template
+chat_template: "chatml"
+
+# Checkpointing and saving
+auto_resume_from_checkpoints: false
+save_strategy: "epoch"
+
+# Evaluation
+warmup_ratio: 0.1
+evals_per_epoch: 1
+val_set_size: 0.0
+eval_sample_packing: false
+
+# Logging
+logging_steps: 1
+
+# Weights & Biases (placeholders - will be populated if wandb_project is provided)
+wandb_project: diplonations
+wandb_entity: ""
+wandb_watch: ""
+wandb_run_id: ""
+wandb_log_model: ""
+
+# Special tokens
+special_tokens:
+  pad_token: "<unk>"
+  eos_token: "</s>"
+
+# Liger kernel optimizations
+use_liger_kernel: true
+plugins:
+  - "axolotl.integrations.liger.LigerPlugin"
+liger_rope: true
+liger_rms_norm: true
+liger_glu_activation: true
+liger_layer_norm: true
+liger_fused_linear_cross_entropy: true
+
+hub_model_id: Heralax/dpn-newdata-normal-actual
+hub_strategy: all_checkpoints
+```
+
+</details><br>
+
+# dpn-newdata-normal-actual
+
+This model is a fine-tuned version of [alpindale/Mistral-7B-v0.2-hf](https://huggingface.co/alpindale/Mistral-7B-v0.2-hf) on the newsessions_revisedcutdown.jsonl, the hidden_compressedgamescontext_reducedctx.jsonl, the manual_gameplay_truncated.jsonl, the newdataplussilent-filtered.jsonl, the newprompt_lessreduced_1.jsonl, the newprompt_lessreduced_2.jsonl, the newprompt_lessreduced_orig.jsonl, the generics/bluemoon-2_5mil.jsonl, the generics/capybara_2_5mil.jsonl and the generics/qwq_3million.jsonl datasets.
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 0.0001
+- train_batch_size: 6
+- eval_batch_size: 1
+- seed: 1337
+- gradient_accumulation_steps: 20
+- total_train_batch_size: 120
+- optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
+- lr_scheduler_type: constant
+- lr_scheduler_warmup_steps: 65
+- training_steps: 656
+
+### Training results
+
+
+
+### Framework versions
+
+- PEFT 0.18.1
+- Transformers 5.0.0
+- Pytorch 2.9.1+cu128
+- Datasets 4.5.0
+- Tokenizers 0.22.2

debug.log

@@ -981,4 +981,162 @@ trainable params: 335,544,320 || all params: 7,577,276,416 || trainable%: 4.4283
 
                                                                                                                                                                                                                                                     
 
 
                                                                                                                                                                                                                                                     
-
+
+[2026-02-13 10:49:16,120] [INFO] [axolotl.train.save_trained_model:226] [PID:9815] Training completed! Saving trained model to ./finetune-model-output.
+[2026-02-13 10:49:35,981] [INFO] [axolotl.train.save_trained_model:340] [PID:9815] Model successfully saved to ./finetune-model-output
+[2026-02-13 10:49:36,655] [INFO] [axolotl.core.trainers.base._save:721] [PID:9815] Saving model checkpoint to ./finetune-model-output
+
+
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:   5%|████████▉                                                                                                                                                                          | 67.1MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:   5%|████████▉                                                                                                                                                                          | 67.1MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  10%|█████████████████▉                                                                                                                                                                 |  134MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████���███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  16%|███████████████████████████▉                                                                                                                                                       |  210MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  20%|███████████████████████████████████▊                                                                                                                                               |  268MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  24%|███████████████████████████████████████████▋                                                                                                                                       |  327MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  28%|██████████████████████████████████████████████████▎                                                                                                                                |  377MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████���███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  32%|█████████████████████████████████████████████████████████                                                                                                                          |  428MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  36%|███████████████████████████████████████████████████████████████▊                                                                                                                   |  478MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  39%|██████████████████████████████████████████████████████████████████████▍                                                                                                            |  528MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  44%|██████████████████████████████████████████████████████████████████████████████▎                                                                                                    |  587MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  47%|█████████████████████████████████████████████████████████████████████████████████████                                                                                              |  638MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  52%|████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                      |  696MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  56%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                               |  747MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                        |  797MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                 |  856MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        |  923MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 |  973MB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                         | 1.03GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                  | 1.08GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 1.13GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 1.19GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 1.24GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��█████████▎      | 1.29GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
+
+
  ...adapter_model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB            
+
+
  ...-output/training_args.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.99kB / 6.99kB            
+
  ...adapter_model.safetensors: 100%|████████████████████████���██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.34GB / 1.34GB