Vai al contenuto principale

Menu

Ricerca

Come controllare la copertura delle classi prima di accettare una partizione per gruppi

Lingua: Italiano

Tieni gli esempi correlati nello stesso gruppo se devono rimanere insieme nella divisione tra addestramento e test. I gruppi possono essere conversazioni, clienti o altre unità definite dalla valutazione. Prima di scegliere il metodo di suddivisione, indica le classi richieste in ogni fold di test e gli eventuali minimi. Presenza delle classi ed equilibrio esatto sono requisiti distinti.

Controlla la partizione ottenuta

Salva l’assegnazione dei gruppi ai fold e conta gli esempi di ciascuna classe in ogni fold di test. Verifica separatamente che i gruppi restino interi e che le classi richieste siano presenti. Se manca una classe, sospendi l’accettazione e verifica se una diversa assegnazione di gruppi interi rispetta il requisito.

In un esempio fittizio di 24 righe, StratifiedGroupKFold di scikit-learn 1.7.2 ha usato tre fold senza mescolamento. Una serie di ID numerici dei gruppi ha dato le coppie di conteggi (4, 2), (4, 6) e (4, 4). Invertendo gli ID si sono ottenute (4, 6), (4, 0) e (4, 6), mantenendo tutte le righe, le etichette e le appartenenze ai gruppi. Nel primo risultato le classi sono tutte presenti ma i conteggi non sono esattamente bilanciati. Il secondo non soddisfa nessuno dei due requisiti. In questo esempio esisteva un’assegnazione esatta con (4, 4).

Verifica se puoi rispettare il requisito

Se tutte le classi devono comparire in entrambi i fold, ogni classe deve essere presente in almeno due gruppi indipendenti. Guarda in quali gruppi compare ogni classe per verificare se tutte possono trovarsi in entrambi i fold contemporaneamente.

In due esempi distinti di 12 righe, ogni classe appare in due gruppi e ogni gruppo contiene due righe. I due gruppi di ciascuna classe devono quindi finire in fold opposti. Se le sei coppie formano un ciclo, basta alternare i gruppi. Se formano due triangoli, i tre gruppi di ciascun triangolo dovrebbero essere tutti in fold opposti tra loro. Ogni triangolo lascia una lacuna. Enumerando le 62 assegnazioni a due fold con nome e non vuoti, due coprono tutte le classi per il ciclo e nessuna per i due triangoli.

Scegli una correzione che rispetti i vincoli

Nell’esempio dei due triangoli, il primo fold ottenuto è privo della classe 5 e il secondo della classe 1. Se le assegnazioni esistenti restano fisse, due nuovi gruppi indipendenti possono coprire separatamente le lacune. Un gruppo intero può entrare in un solo fold di test.

Se i gruppi esistenti si possono spostare, può bastare un nuovo gruppo. Nell’esempio funzionano nove dei 15 possibili profili a due classi. Ciascuno contiene una classe per triangolo. Quattro profili richiedono di spostare almeno un gruppo originale, gli altri cinque almeno tre. Prima di raccogliere un nuovo gruppo, verifica quali classi contiene e quali spostamenti sono ammessi.

Registra l’assegnazione accettata, i conteggi per fold e come hai verificato che i gruppi restassero interi. Assegna una nuova versione alla valutazione quando cambia l’elenco dei casi. Il controllo della copertura conferma i conteggi e le appartenenze richiesti. Verifica anche gli altri criteri di accettazione, tra cui la rappresentatività dei casi per l’uso previsto.

Validazione incrociata per gruppi in scikit-learn