Gå til hovedindholdet

Menu

Forskning

Hvad du skal tjekke, før du sammenligner macro-F1

Sprog: Dansk

Macro-F1 giver hver klasses score samme vægt i gennemsnittet. Før du bruger målet til at vælge en klassifikationsmodel, så notér sagernes id’er, mærkaternes version og indstillingerne for beregningen. Tre forsøg med opdigtede data i scikit-learn 1.7.2 viser, hvordan de samme forudsigelser kan give forskellige rangeringer. Definition af F1 og indstillinger i scikit-learn

Sammenlign scorer med samme detaljeringsgrad for mærkaterne. I ni supportsager med mærkaterne refusion, faktura og login førte B med 0.778 mod 0.556. Da refusion og faktura blev slået sammen til fakturering, blev fire af A’s fejl til korrekte forudsigelser for fakturering. B’s to fejl gik stadig på tværs af kategorier. Derefter førte A med 1.000 mod 0.750. Skal du sammenligne forskellige versioner af mærkaterne, så gem oversigten over, hvordan de svarer til hinanden, og beregn scoren igen for begge systemer på samme niveau. Behold de oprindelige mærkater og forudsigelser, hvis forskellen stadig har betydning for opgaven.

Tjek, hvilke klasser der tæller med i hvert gennemsnit. I en anden gruppe uden svindelsager i referencemærkaterne forudsagde A svindel én gang. For den klasse var A’s F1-score defineret og lig nul. B havde hverken referencer eller forudsigelser for svindel. Da klasserne blev udledt af dataene, fik B 0.667 på tværs af to klasser og A 0.600 på tværs af tre. Med en fast liste på tre klasser og nul for udefinerede F1-scorer faldt B til 0.444. Da udefinerede F1-scorer blev udeladt med samme liste, steg B tilbage til 0.667. Gem den planlagte klasseliste, reglen for udefinerede scorer samt antallet af referencer og forudsigelser for hver klasse og antallet af klasser i gennemsnittet.

Angiv, om du samlede sagerne eller tog gennemsnittet af gruppernes scorer. I to afbalancerede grupper med otte sager hver førte A på gennemsnittet af gruppernes macro-F1 med 0.600 mod 0.564. Da alle 16 forudsigelser blev scoret samlet, førte B med 0.625 mod 0.600. Grupper af samme størrelse giver samme gennemsnit, uanset om de vægtes ens eller efter antal sager. En samlet klassescore bruger summen af sande positive, falske positive og falske negative. Ved samlet rapportering lægger du antallene sammen, før du beregner F1 for hver klasse. Viser rapporten scorer for hver gruppe, så angiv også gruppernes vægte.

Gem versionen af mærkaternes sammenhæng og forvekslingsmatricens antal for hver klasse sammen med scoren. Bruger rapporterne forskellige indstillinger, så beregn scoren igen for begge systemer med samme sagssæt, detaljeniveau, regel for udefinerede scorer og metode til at samle resultaterne, før du fortolker rangeringen.