Dominio chiaro
AI Act, compliance e procedure interne per PMI italiane, con output orientati a supporto operativo.
Case study AI • LLM fine tuning
LLora: fine tuning LLM aziendale con QLoRA per AI Act e compliance su modello leggero eseguibile in locale.
LLora documenta una pipeline completa per AI proprietaria e controllabile: dataset JSONL curato, training QLoRA, checkpoint intermedi, adapter LoRA finale e lettura delle metriche.
50
esempi JSONL instruction/output
40
best checkpoint identificato
52,6%
riduzione training loss
Overview
Un esperimento tecnico documentato, non una semplice demo AI.
LLora nasce per specializzare un modello compatto su contenuti normativi e operativi legati all'AI Act europeo. Il focus non è creare un modello general purpose, ma dimostrare un flusso realistico di adattamento di dominio.
Il valore del progetto sta nella tracciabilità: dataset, configurazione, metriche, checkpoint e adapter finale sono letti come parti di un sistema ML verificabile.
Setup leggero
Base model Qwen2.5 1.5B in 4-bit, adapter LoRA separato e workflow replicabile anche in locale.
Challenge
Trasformare un tema normativo complesso in un dataset utile al training.
Il problema non era solo addestrare un modello. Era costruire un perimetro informativo pulito, con esempi coerenti, risposte omogenee e un obiettivo di specializzazione credibile.
- dataset piccolo ma curato
- istruzioni univoche e output coerenti
- tema regolatorio con rischio di risposte generiche
- necessità di leggere metriche e checkpoint in modo corretto
Solution
Una pipeline QLoRA completa, misurata e presentabile.
La soluzione usa QLoRA su modello quantizzato a 4-bit, rank 16, adapter leggero e checkpoint intermedi. Il best checkpoint viene individuato allo step 40, evitando di confondere ultimo step e miglior modello.
- instruction tuning su coppie domanda/risposta
- LoRA applicato ai moduli attention e MLP
- training loss da 2,395 a 1,136
- eval loss minima 1,500 allo step 40
Technical stack
Componenti chiave del workflow LLora.
Il case study mette in evidenza progettazione ML, preparazione dati, training controllato e interpretazione delle metriche.
Qwen2.5 1.5B 4-bit
Modello compatto, instruction tuned e quantizzato, scelto per sperimentazione efficiente e riuso locale.
50 esempi JSONL
Record instruction/output con split 40/10, risposte mediamente vicine a 100 parole e struttura omogenea.
Adapter rank 16
Fine tuning efficiente senza riaddestrare tutto il modello base, con LoRA alpha 16 e dropout 0.
Run controllato
Batch effettivo 4, 5 epoche, learning rate 0,0002, warmup breve e scheduler lineare.
Best checkpoint
Best eval loss allo step 40, con lettura critica del plateau finale e del generalization gap.
Adapter esportato
Output riusabile tramite PEFT, checkpoint intermedi e reporting tecnico pronto per revisione.
Impact
Cosa dimostra LLora nel portfolio AI.
LLora mostra capacità di progettare un workflow LLM applicato: dati, metodo, training, metriche e documentazione tecnica. Il risultato è una demo operativa credibile, non un claim generico sull'intelligenza artificiale.
Specializzazione di dominio
Adattamento di un modello compatto a un perimetro normativo specifico.
Riduzione training loss
Miglioramento del 52,6% lungo il run documentato.
Valutazione non banale
Best checkpoint identificato prima dello step finale, con lettura del plateau.
Riuso tecnico
Adapter LoRA esportato, leggero e coerente con scenari di sperimentazione locale.
CTA
Un case study per aziende che vogliono AI proprietaria e controllabile.
LLora posiziona ZenkeiX come studio capace di costruire e documentare workflow LLM applicati: dal dataset all'addestramento, fino alla valutazione tecnica e al riuso degli artifact.