Araştırma
Referans dosyası filtresi, GDPval’in herkese açık görev dağılımını değiştiriyor
Bir kıyaslama puanını, hangi görevlerin bu puana dahil edilebileceğini bildiğinizde yorumlamak daha kolaydır. GDPval’in herkese açık gold görev tablosunda 44 mesleğin her biri beş görevle başlar. Ancak listelenmiş bir uzman referans dosyası gerektiren bir karşılaştırma, tablodaki her satırı aynı şekilde kullanamaz: 220 satırın 35’inde deliverable_files listesi boştur.
Bu toplam, gbench GDPval uygulamasında zaten belgelenmiştir. Biz de aynı sabitlenmiş GDPval anlık görüntüsünde bu boş listelerin sektörlere ve mesleklere dağılımını saydık. 44 mesleğin tamamında hâlâ listelenmiş bir dosya içeren en az bir satır var. Ancak geriye kalan görev dağılımı, başlangıç tablosundaki kadar dengeli değil.
Hangi görevler bir uzmanın referans dosyasını listeliyor?
Bu sayımlar yalnızca tabloda en az bir uzman çıktısı dosya yolunun listelenip listelenmediğine bakıyor. Listelenmiş bir yol, dosyaya erişilebildiğinin veya dosyanın görüntülenebilir olduğunun kanıtı değildir. Boş bir liste, bu tablonun dışında bir yerde referans bulunup bulunmadığını göstermez.
| Sektör | Herkese açık gold tablosundaki satırlar | Listelenmiş çıktısı olan | Listesi boş olan |
|---|---|---|---|
| Finans ve sigorta | 25 | 17 | 8 |
| Kamu | 25 | 22 | 3 |
| Sağlık hizmetleri ve sosyal yardım | 25 | 22 | 3 |
| Bilgi | 25 | 14 | 11 |
| İmalat | 25 | 25 | 0 |
| Mesleki, bilimsel ve teknik hizmetler | 25 | 24 | 1 |
| Gayrimenkul, kiralama ve leasing | 25 | 20 | 5 |
| Perakende ticaret | 20 | 16 | 4 |
| Toptan ticaret | 25 | 25 | 0 |
| Toplam | 220 | 185 | 35 |
Çubuklar, doğrulanmış dosya erişimini veya görüntülenebilirliği değil, listede bulunma durumunu gösterir.
Tablo, her biri beş görevden oluşan 44 meslek-sektör grubu içeriyor. Bunların 22’si bu filtrede beş satırın tamamını, 22’si ise iki ila dört satırı koruyor. Her meslek hâlâ temsil ediliyor, ancak temsil edilmesi artık her birinin aynı sayıda göreve sahip olduğu anlamına gelmiyor.
Toplam bir sonucu okurken sektörler arasındaki farkı görmek yararlıdır. Bilgi ve imalat sektörlerinin her biri, ilk 220 satırın 25’ini, yani %11,4’ünü oluşturuyor. Listesinde dosya bulunan tam 185 satır üzerinden görevlerin eşit ağırlıklandırıldığı varsayımsal bir özet hesapta bilginin payı 14/185, yani %7,6; imalatın payı ise 25/185, yani %13,5 olurdu. Bunlar model puanları veya farklı mesleklerin değerine ilişkin tahminler değil, görevlerin paylarıdır.
Değerlendirme sistemi referans dosyalarını okuyabiliyor mu?
185 satırlık hesaplama, gbench’in nihai puanlama paydası değildir. Belgeleri, listelenmiş çıktıları metne dönüştürülemeyen dört görev daha olduğunu ve bu anlık görüntüde referansı metne dönüştürülebilen 181 görev kaldığını belirtiyor. Bu dosyaları bağımsız olarak metne dönüştürmedik veya gbench’i çalıştırmadık.
Bu dört görevin hangi sektörlerde olduğunu bilmesek bile sayılar, belgelenen ve referansı metne dönüştürülebilen kümenin sınırlarını yararlı biçimde gösteriyor. Bunlar, listesinde dosya bulunan 185 satır içindeki dört ayrı satırsa en az 21 imalat satırı ve en fazla 14 bilgi satırı kalır. Görevler eşit ağırlıklandırıldığında bu sınırlar sırasıyla 21/181 (%11,6) ve 14/181 (%7,7) olur. Gerçek bir çalıştırmada puanlanan görev sayısı farklı olabilir; çünkü üretim hataları, değerlendirici hataları ve görev başına deneme sayısı da önem taşır. Bu sayımlar, OpenAI’nin insanlar tarafından değerlendirilen özgün sonuçlarını açıklamaz.
Diğer değerlendirme yöntemlerinin gereksinimleri farklıdır. NeMo Gym’in 5d6429f commit’inde belgelenen rubrik modunda bir LLM değerlendiricisi, aday çıktıyı görev rubriğine göre puanlar. Hazırlık kodu uzman çıktısına ait deliverable_files listesini kopyalamaz; rubrik doğrulayıcısı ise her iki rubrik alanı da boşsa missing_rubric bildirir. Listelenmiş görev girdi dosyalarının hazır bulundurulması gerekir; ayrıca bir aday çıktı ve değerlendirici de gereklidir. Hazırlık çağrısı bir veri kümesi revizyonunu sabitlemez. NeMo Gym’i çalıştırmadık veya kapsamını ölçmedik. Rubrik puanı ile gbench’in kazanma veya berabere kalma oranı farklı ölçülerdir.
Değerlendiricinin görebildikleri
Referansın kullanılabilirliği karşılaştırmanın yalnızca bir parçasıdır. gbench belgeleri, 220 rubriğin 32’sinin varsayılan 8.000 karakterlik rubrik sınırını aştığını zaten bildiriyor. Biçimlendirici, bir sonraki ölçüt sınırı aşana kadar ölçütleri özgün sıralarında ve bütün olarak tutar, ardından bir kesilme işareti ekler. İlk ölçüt tek başına sınırı aşıyorsa yalnızca o ölçütün bir bölümünü gösterir. Karakter sayıları token sayılarıyla aynı değildir.
Sabitlenmiş bu biçimlendiriciyi görev tablosuna uyguladık. Listelenmiş uzman çıktısı olan 185 satırın 26’sındaki rubrikler varsayılan sınırda kesilir ve bu satırlarda toplam 247 ölçüt bütünüyle dışarıda kalırdı. Listelenmiş bir çıktı her zaman metne dönüştürülemez; başarısız veya boş üretimler de değerlendirici çağrısını engelleyebilir. Bu nedenle bunlar, değerlendirilmiş karşılaştırmaların sayısı değildir. Örnek olarak, yalnızca biçimlendiricinin sınırı 12.000 veya 16.000 karaktere çıkarılsaydı bu 185 rubriğin sırasıyla ikisi kesilir veya hiçbiri kesilmezdi. Bu ayarları bir değerlendirme aracı ya da değerlendiriciyle çalıştırmadık. Dışarıda kalan ölçütlerin sayısı, bunların önemini veya kararın değişip değişmeyeceğini göstermez; daha yüksek bir sınır, sabit bir bağlam penceresinin geri kalanı için daha az yer bırakabilir. Gerçek çalıştırmada kaydedilen kesilme bilgilerini, referans ve puanlama sayılarıyla birlikte inceleyin.
Rubrik filtresi, bu sayıları DuckDB 1.4.4 ile yeniden üretir. Sabitlenmiş görev tablosunun tamamını geçici olarak indirir ve rubrik metnini bellekte işler; çıktısında görev kimlikleri veya rubrik metni değil, toplu sayımlar tutulur. Normal bir çalıştırmadan sonra geçici tabloyu siler. gbench’ten yalnızca incelenmiş ve karma değeri doğrulanmış biçimlendiriciyi kısıtlı bir ad alanında çalıştırır; bu ad alanı bir güvenlik korumalı alanı değildir. Arşiv, üst kaynağın lisansını ve bildirimini içerir. Aşağıdaki DuckDB kurulumundan sonra ortamı oluşturmak, arşivi indirmek ve macOS veya Linux’ta çalıştırmak için Python 3.11 kullanın:
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.jsonGörevlerden puanlara uzanan yolu kaydedin
Bir değerlendirme kurarken veya değerlendirmeleri karşılaştırırken veri kümesi revizyonunu, gerekli referans türünü ve her uygunluk kuralını kaydedin. Başlangıç tablosundaki, referans kontrolleri sonrasındaki ve puanlama sonrasındaki sayıları gruplara göre raporlayın. Listelenmiş referansın yokluğu, okunamayan referans, başarısız üretim ve kullanılamayan değerlendirici kararı için nedenleri ayrı tutun. Aksi takdirde tek bir toplam, hangi görevlerin sonuca katkıda bulunmayı bıraktığını gizleyebilir.
Kalan görevlerin ve denemelerin nasıl ağırlıklandırıldığını da belirtin. Sayılar farklı olduğunda görev başına, meslek başına ve deneme başına eşit ağırlıklandırma farklı soruları yanıtlar. Bunların hiçbiri eksik kanıtı tek başına gidermez; uygun özet, değerlendirmenin neyi ölçmeyi amaçladığına bağlıdır.
Kendiniz tasarladığınız bir görev kümesi için ajan değerlendirme rehberi, gözlemlenebilir kontrollerin nasıl tanımlanacağını ve tekrarlanan denemelerin nasıl yorumlanacağını gösterir.
Her girdi dosyasının tam sürümünü kaydedin
Sabitlenmiş bir görev tablosu, değerlendirme aracının indirdiği her dosyayı mutlaka sabitlemez. 4bf6426 revizyonundaki daha eski bir herkese açık GDPval tablosunda, 220 görev satırının 122’sinde girdi dosyaları listeleniyor. Listelenen 262 girdi URL’sinin tamamı, deponun değişebilen main dalını işaret ediyor. Sağlayıcının meta verileri, aynı yollardan 62’sinin boyutlarının ve blob kimliklerinin 11e7900 revizyonuna gelindiğinde farklı olduğunu bildiriyor; bu 62 yol, eski tablonun 20 satırında yer alıyor. Bunlar, yukarıda sayılan deliverable_files içindeki uzman referans çıktılarından ayrı görev girdileridir.
Bu bulgu, belirli bir değerlendirmenin değişmiş bir girdi kullandığını, bir dosyanın bozuk olduğunu veya bir puanın değiştiğini göstermez. Kaydedilmiş bir tablodaki değişebilen URL’leri daha sonra izlemenin neden bir girdinin farklı bir sürümünü seçebileceğini gösterir. Girdi dosyalarının içeriklerini analiz etmedik.
Inspect Evals’in 5c092d5 commit’inde GDPval yükleyicisi görev tablosunu a3848a2 revizyonuna sabitler. Bu tablo, yukarıdaki eski tabloyla bayt düzeyinde aynıdır ve sağlayıcının girdi dosyası meta verileri de eşleşir. Yükleyici, tablodaki eşleştirilmiş URL’leri örnek dosya eşlemelerine aktarır; Inspect belgeleri, bu eşlemelerde URL kullanılabileceğini belirtir. Dolayısıyla bu kaynak yolu, sabit bir tabloyla birlikte değişebilen URL’ler taşıyabilir. Inspect’in dosya indirme veya önbelleğe alma davranışını test etmedik ya da herhangi bir çalıştırmanın ne kullandığını belirlemedik.
Bunun yerine bir değerlendirme aracı, veri kümesine göreli yolları tablosuyla aynı değişmez revizyonda çözümleyebilir. Burada incelenen gbench uygulaması, ekleri getirirken sabitlenmiş revizyonunu açıkça belirtir. Revizyonu kaydedin ve mümkün olduğunda gerçekten kullanılan dosyaları doğrulayın. Hugging Face indirme belgeleri, tutarlı indirmeler için değişebilen bir revizyonun nasıl bir commit’e çözümleneceğini açıklar.
Girdi URL’si analiz betiği, sayımları DuckDB 1.4.4 kullanarak yeniden üretir. Eski görev tablosunu geçici olarak indirir, normal bir çalıştırmadan sonra siler ve çıktısında görev metni, tekil kimlikler, girdi yolları veya girdi içerikleri tutmaz. İsteğe bağlı bir bayrak, bir yolun yanıt başlıklarını ve geçerli main revizyonunu kontrol eder; sonuç, main değiştikçe farklılaşabilir. Betik bu kontrol için yönlendirmeler dahil yalnızca HEAD istekleri gönderir ve erişilemeyen sonuçları gözlemlenmemiş bırakır. Python standart kütüphanesiyle yapılan kontroller, Inspect’in sabitlediği tabloyu ve meta verileri karşılaştırır ve sabitlenmiş yükleyici kaynak kodunu çalıştırmadan inceler. Tablo karma değeri kontrolü, tablonun tamamını belleğe okur ancak görev içeriğini ayrıştırmaz veya saklamaz. Betikler, girdi dosyalarının gövdelerini istemez.
Aşağıdaki DuckDB kurulumundan sonra kontrolleri macOS veya Linux’ta şu komutlarla çalıştırın:
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.pyNasıl saydık
Referans kullanılabilirliği sayımı için GDPval’in 11e7900cdcac61bc4daf59e65feb238acda98fbf revizyonundaki train Parquet tablosunu inceledik, 220 farklı görev kimliğini doğruladık ve yalnızca sektör, meslek ve her deliverable_files listesinin uzunluğuna göre grupladık. Analiz betiği kaynak karma değerini kontrol eder ve sayımları DuckDB 1.4.4 kullanarak yeniden üretir. Tablonun tamamını geçici olarak indirir ve normal bir çalıştırmadan sonra siler; çıktısında istemler, rubrikler, tekil görev kimlikleri, çıktı yolları veya çıktılar tutulmaz. Hiçbir model, kıyaslama veya referans dönüştürücüsü çalıştırılmadı.
macOS veya Linux’ta Python 3.9 ya da üzeriyle yerel olarak yeniden üretmek için python3 komutunun bu sürümü seçtiğinden emin olun:
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.jsonsapien1, bu betikleri indirip yerel olarak çalıştırmanız için sunar; değiştirme veya yeniden dağıtım için ek bir lisans belirtilmemiştir. Kaynak veri kümesinin koşulları ayrıdır.
OpenAI, 220 görevlik gold alt kümesini açık kaynaklı olarak tanımlıyor. Sabitlenmiş veri kümesi kartı bir kıyaslama canary’si içeriyor ve lisans alanı içermiyor; karttaki bir etiketten veya bu sayımdan çıkarım yapmak yerine kendi kullanımınız için geçerli koşulları kontrol edin. Sektör ve meslek etiketleri ile kıyaslama kaynaklarına atfedilmeye devam eder.