# Macro-F1 puanlarını karşılaştırmadan önce nelere bakmalı?

Macro-F1, ortalamaya giren her sınıfın puanına eşit ağırlık verir. Bu puanla bir sınıflandırıcı seçmeden önce vaka kimliklerini, etiket sürümünü ve hesaplama ayarlarını kaydedin. scikit-learn 1.7.2 ile kurgusal veriler üzerinde yapılan üç deneme, aynı tahminlerin farklı sıralamalar verebildiğini gösteriyor. [scikit-learn F1 tanımı ve seçenekleri](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Puanları aynı etiket ayrıntısında karşılaştırın.** Para iadesi, fatura ve oturum açma etiketli dokuz destek vakasında B, 0.778 ile 0.556 karşısında öndeydi. Para iadesi ve fatura, faturalandırma altında birleştirilince A'nın dört hatası faturalandırma için doğru tahmine dönüştü. B'nin iki hatası hâlâ farklı kategorileri birbirine karıştırıyordu. Ardından A, 1.000 ile 0.750 karşısında öne geçti. Farklı etiket sürümlerinden gelen puanları karşılaştıracaksanız eşleştirmeyi kaydedin ve iki sistemi aynı ayrıntı düzeyinde yeniden puanlayın. Ayrım görev için hâlâ önemliyse özgün etiketleri ve tahminleri saklayın.

**Her ortalamaya hangi sınıfların girdiğini kontrol edin.** Referans etiketlerinde dolandırıcılık bulunmayan ayrı bir grupta A bir kez dolandırıcılık tahmin etti ve o sınıf için tanımlı F1 puanı sıfır oldu. B'nin referanslarında ve tahminlerinde dolandırıcılık yoktu. Sınıflar veriden çıkarıldığında B iki sınıfta 0.667, A üç sınıfta 0.600 aldı. Üç sınıflı açık bir liste kullanıp tanımsız F1'i sıfır sayınca B'nin puanı 0.444'e düştü. Aynı listede tanımsız F1 değerleri ortalamaya alınmayınca B 0.667'ye döndü. Hedef sınıf listesini, tanımsız puan kuralını, her sınıftaki referans ve tahmin sayılarını ve ortalamaya gerçekten giren sınıf sayısını kaydedin.

**Vakaları birleştirip birleştirmediğinizi veya grup puanlarının ortalamasını alıp almadığınızı belirtin.** Sekizer vakadan oluşan iki dengeli grupta macro-F1 puanlarının ortalaması A'yı 0.600 ile 0.564 karşısında öne çıkardı. 16 tahminin tamamı birlikte puanlandığında B, 0.625 ile 0.600 karşısında öne geçti. Gruplar aynı büyüklükteyse eşit ağırlıkla veya vaka sayısına göre ağırlıkla alınan ortalama aynıdır. Birleştirilmiş sınıf puanı, doğru pozitif, yanlış pozitif ve yanlış negatif sayılarının toplamına dayanır. Birleştirilmiş bir rapor için her sınıfın F1 puanını hesaplamadan önce bu sayıları toplayın. Grup bazında raporda grup puanlarını ve ağırlıklarını gösterin.

Etiket eşleştirmesinin sürümünü ve sınıf başına karışıklık matrisi sayılarını puanla birlikte saklayın. Raporların ayarları farklıysa sıralamayı yorumlamadan önce iki sistemi de aynı vaka listesi, etiket ayrıntısı, tanımsız puan kuralı ve birleştirme yöntemiyle yeniden puanlayın.

[Betikleri ve kaydedilmiş sonuçları indirin (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
