Forskning
Så kontrollerar du klasstäckningen innan du godkänner en gruppindelning
Håll ihop relaterade exempel i en grupp om de måste ligga tillsammans i tränings- eller testdata. Grupper kan vara samtal, kunder eller andra enheter i utvärderingen. Anteckna vilka klasser varje testdel behöver innehålla och eventuella minimiantal innan du väljer indelningsmetod. Att alla klasser finns med och att de är exakt balanserade är olika krav.
Kontrollera indelningen som skapades
Spara vilken del varje grupp hamnade i och räkna antalet fall per klass i varje testdel. Kontrollera var för sig att grupperna är intakta och att klasserna är täckta. Om en obligatorisk klass saknas, pausa godkännandet och undersök om en annan fördelning av hela grupper uppfyller kravet.
I ett påhittat exempel med 24 rader använde StratifiedGroupKFold i scikit-learn 1.7.2 tre delar utan omblandning. En uppsättning numeriska grupp-ID:n gav paren (4, 2), (4, 6) och (4, 4) för klassantalen. Omvända ID:n gav (4, 6), (4, 0) och (4, 6), med samma rader, etiketter och grupptillhörighet. I första indelningen finns alla klasser, men antalen är inte exakt balanserade. Den andra uppfyller inget av kraven. En exakt fördelning med (4, 4) var möjlig i exemplet.
Kontrollera om kravet går att uppfylla
Om båda delarna behöver alla klasser måste varje klass finnas i minst två oberoende grupper. Se vilka grupper varje klass tillhör för att kontrollera om alla klasser kan finnas i båda delarna samtidigt.
I två separata exempel med 12 rader finns varje klass i två grupper och varje grupp innehåller två rader. De två grupperna för varje klass måste därför hamna i olika delar. Om de sex paren bildar en ring fungerar det att placera grupperna växelvis. Om de bildar två trianglar skulle de tre grupperna inom varje triangel alla behöva ligga på varsin motsatt sida. Varje triangel tvingar fram en lucka. Bland de 62 fördelningarna till två namngivna delar som inte är tomma ger två full täckning för ringen och ingen för trianglarna.
Välj en lösning som respekterar det som är låst
I exemplet med två trianglar saknar den första skapade delen klass 5 och den andra klass 1. Om de befintliga grupperna ligger kvar kan två nya oberoende grupper fylla luckorna var för sig. En hel grupp kan bara hamna i en testdel.
Om befintliga grupper får flyttas kan en ny grupp räcka. I exemplet fungerar nio av de 15 möjliga profilerna med två klasser. Varje sådan innehåller en klass från varje triangel. Fyra profiler kräver att minst en ursprunglig grupp flyttas. De andra fem kräver minst tre. Kontrollera vilka klasser en ny grupp har och vilka flyttar som är tillåtna innan du samlar in den.
Dokumentera den godkända fördelningen, antalen per del och hur gruppisoleringen kontrollerades. Ge utvärderingen en egen ny version om listan över fall ändras. Täckningskontrollen bekräftar de angivna antalen och medlemskapen. Kontrollera också de andra kraven, bland annat om fallen representerar den tänkta användningen.