Ana içeriğe geç

Menü

Bir yapay zeka ajanı için RL ortamı nasıl tanımlanır?

Dil: Türkçe

Bir iş akışı, bir ajanın yapabileceği işlemler ve başarılı bir sonuç örneği paylaşın. Sıfırlama koşulları, puanlama kuralları ve kontroller içeren bir görev ortamının kapsamını belirlemenize yardımcı olabiliriz. Projenizi sapien1'e anlatın

Pekiştirmeli öğrenme (RL) ortamı, ajana bir görevi denemesi, eylemlerde bulunması ve geri bildirim alması için bir alan sunar. Bir iş akışında ortam, her denemenin bilinen bir durumdan başlaması için kayıtları ve araçları simüle edebilir. Yararlı bir teknik şartname, geliştiriciye ajanın neleri görüp yapabileceğini, durumun nasıl değiştiğini, bir denemenin ne zaman sona erdiğini ve sonucun nasıl puanlandığını açıklar.

Her deneme bir bölümdür. Gözlem, ortamın ajana verdiği bilgidir; ödül ise ajanın davranışına ilişkin sayısal bir sinyaldir. OpenEnv'in temel kavramları, bir ortamı sıfırlama, eylemler, gözlemler ve ödüller üzerinden açıklar.

Ortam, görevi ve geri bildirimi sağlar. Bir RL eğiticisi, ajanın karar verme politikasını güncellemek için ödülleri kullanabilir; bir değerlendirme ise ajanı güncellemeden ölçmek için ortamı kullanabilir. Bkz. OpenEnv'in eğitime genel bakışı ve ajan değerlendirme rehberimiz.

Örnek: Bir ajan yemek masrafını inceliyor

Bir ajandan yemek masrafını incelemesinin ve sonraki adımı kaydetmesinin istendiğini varsayın. Aşağıdaki ortam şartnamesi kurgusaldır; oluşturulmamış veya test edilmemiştir. Kayıtları ve eylemleri simüle edilir ve ödeme yapamaz.

Ajana verilen görev şudur: “EX-104 masrafını politikaya göre incele ve sonraki adımı kaydet.”

Başlangıç durumu ve sıfırlama

Her bölümün başlangıcında bu kayıtların birbirinden bağımsız kopyalarını oluşturun:

AlanEX-104EX-105
TürYemekYemek
Tutar$34$20
FişMevcutMevcut
Durumpendingpending
Atanmış yöneticiM1M2
Yönetici onayıYokYok

EX-105, konuyla ilgisiz bir kayıttır; doğrulayıcının ajanın diğer işlere dokunmadığını kontrol etmesine yardımcı olur. Sıfırlama ayrıca tüm onay taleplerini ve eylem günlüğünü temizler, ardından yeni bir bölüm kimliği atar. Bölüm sırasında hiçbir yönetici yanıt vermez. Bölümler, aynı anda çalıştıklarında da değiştirilebilir kayıtlarını, taleplerini ve günlüklerini ayrı tutmalıdır. OpenEnv'in temel API referansı, eş zamanlı ortamlarında oturumların birbirinden yalıtılmasını bir gereklilik olarak tanımlar.

Ajanın erişebildiği politikaya göre, fişi olan bir yemek 50 $ dahil bu tutara kadar uygundur. 30 $ üzerindeki bir yemek masrafının onaylanabilmesi için atanmış yöneticinin onayı gerekir. Bu onay gerektiği halde yoksa ajan onay istemeli ve masrafın durumunu awaiting_approval olarak ayarlamalıdır.

EX-104 için fiş mevcuttur ve 34 $ yemek limiti içindedir, ancak tutar onay eşiğini aşmaktadır. M1 henüz onay vermediğinden beklenen sonraki adım, M1'in onayını istemek ve EX-104'ü onay bekliyor durumunda bırakmaktır.

Gözlemler ve izin verilen eylemler

Sıfırlama sırasında ajan görevi, kullanılabilir eylem şemalarını ve kalan eylem sayısını on olarak alır. Sınıra ulaşılmadan önce alınan geçersiz çağrı hataları dahil, bölümü sonlandırmayan her yanıtta hâlâ kullanılabilecek eylem sayısı gösterilir. Sonlandırıcı yanıt, bölümün sona erdiğini belirtir. Aşağıdaki simüle edilmiş eylem adları örnek amaçlıdır ve bu örneğe aittir.

EylemSonuç
read_expense(id)Belirtilen masrafın türünü, tutarını, fişini, durumunu ve atanmış yöneticisini döndürür.
read_policy()Yukarıdaki politikayı döndürür.
read_approval(id)Belirtilen masrafın onay ve talep durumunu döndürür.
request_approval(id, manager)Masraf ve yönetici için bekleyen bir talep oluşturur. Aynı ikili için talep tekrarlanırsa tek bir bekleyen talep kalır. Masrafın durumunu değiştirmez.
set_status(id, status)Masrafın durumunu pending, awaiting_approval, approved veya rejected olarak ayarlar.
finish(reason)Bölümü sonlandırır ve ajanın gerekçesini kaydeder.

Ajan her eylemin yanıtını ve ödülünü alır. Hatalar dahil her çağrıyı ve sonucunu bölümün eylem günlüğüne kaydedin. Doğrulayıcı, onun temel aldığı başlangıç durumu ve günlük bu eylemler aracılığıyla görüntülenemez veya düzenlenemez. Tek masraf kimlikleri EX-104 ve EX-105, tek yöneticiler ise M1 ve M2'dir. Simülasyon, bir talep için bilinen yöneticilerden herhangi birini kabul eder ve politikayı ihlal etse bile listelenen değerler arasında durum değişikliklerine izin verir. Böylece doğrulayıcı güvenli olmayan bir kararı gözlemleyip puanlayabilir. Geçersiz bir çağrı hata döndürür, masraf kayıtlarını veya onay taleplerini değiştirmez, eylem günlüğüne kaydedilir ve bir eylem olarak sayılır.

Ödül ve sonlandırma

Ajanın finish dahil en fazla 10 eylem hakkı vardır. Bölümü sonlandırmayan her eylem 0 ödül alır. Ajan işlemi bitirdiğinde doğrulayıcı, yalnızca aşağıdaki kontrollerin tümü geçilirse +1 verir:

  1. EX-104, 34 $ tutarı değişmeden awaiting_approval durumunda sonlanır.
  2. Tam olarak bir bekleyen talep vardır; bu talep EX-104 ve M1 içindir ve bitirme gerekçesi awaiting_approval değerindedir.
  3. EX-105 değişmemiştir ve eylem günlüğünde bu kayıt için başarılı bir set_status çağrısı yoktur.
  4. Eylem günlüğünde EX-104'ün approved veya rejected durumuna geçtiği bir kayıt ve başka bir masraf ya da yönetici için yapılmış bir request_approval çağrısı yoktur.

Tamamlanan diğer tüm bölümler 0 alır. Onuncu eylem finish çağrısını başarıyla yürütmezse bölüm 0 ile sona erer. Korumalı alanın çökmesi veya arka ucun kullanılamaması denemeyi geçersiz ve puanlanmamış kılar; bu hataları ajan sonuçlarından ayrı kaydedin.

On eylem sınırı bu görevin bir parçasıdır. Bir rollout toplayıcısı kendi sınırı nedeniyle tamamlanmamış bir denemeyi daha erken bitirirse bu kesilmeyi ve son geçerli gözlemi, puanlanan bir görev sonundan ayrı kaydedin. Gymnasium, bu dış kaynaklı bitişi truncation (kesilme) olarak adlandırır ve görev sonlandırmasından ayırır. Bu ayrım, tamamlanmamış durumların değer tahminlerinden yararlanan öğrenme yöntemleri için önemlidir. OpenEnv 0.10.0 temel gözlemi, bir done bayrağı listeler. AgileRL'nin metin gözlemi, beş parçalı bir yanıtı yeniden oluşturmak için ek bir truncated alanının taşınmasını belgeler. Kendi ortamınızın, bağdaştırıcınızın ve öğrenicinizin bitiş nedenini nasıl koruduğunu kontrol edin. Korumalı alanın çökmesi veya arka ucun kullanılamaması, yukarıda açıklandığı gibi denemeyi geçersiz ve puanlanmamış bırakır.

Bu, seyrek bir ödüldür: Olumlu sinyal başarılı bir bölümün sonunda gelir. OpenEnv'in ödül rehberi, basit bir sonuç sinyaliyle başlamayı önerir ve ödünleşimi açıklar: Seyrek sinyallerden öğrenmek yavaş olabilir; ara ödüller ise ajanı amaçlanan sonuç yerine bir vekil ölçütü optimize etmeye yöneltebilir.

Kontrolleri geçen bir eylem dizisi

Bu altı eylemlik sıra kontrolleri karşılar. Tablo, gözlemleri ve ortaya çıkan durumu özetler. Bölümü sonlandırmayan yanıtlar ayrıca kalan eylem sayısını içerir.

EylemGözlem veya ortaya çıkan durum
1. read_expense("EX-104")Fişi olan, M1'e atanmış ve hâlâ pending durumunda olan 34 $ tutarında bir yemek masrafı.
2. read_policy()30 $ üzerindeki yemek masrafları atanmış yöneticinin onayını gerektirir.
3. read_approval("EX-104")Onay da talep de yok.
4. request_approval("EX-104", "M1")M1 için bekleyen bir talep oluşturulur.
5. set_status("EX-104", "awaiting_approval")EX-104 onay bekliyor.
6. finish("awaiting_approval")Kontroller geçilir; son ödül +1'dir.

Başarısız sayılması gereken bir son durum

Aynı sıfırlama durumundan başlayan şu sekiz eylemlik sırayı ele alın:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

Masraf, talep ve bitirme gerekçesi artık kontrolleri geçen sırayla eşleşiyor. Ancak 4. eylem masrafı yönetici onayı olmadan onayladı. Günlük bu geçişi kaydettiğinden doğrulayıcı 0 döndürür. Yalnızca son durumu kontrol etmek bunu ortaya çıkarmazdı. Anthropic'in ajan değerlendirmeleri rehberi, sonucu onu üreten eylem dizisinden ayırır.

Uyarlanabilecek bir teknik şartname

Ortam geliştiricinize, temsili bir görev için şu soruları yanıtlamasına yetecek ayrıntıyı verin:

  • Görev: Ajandan ne yapması isteniyor ve iş akışı neden önemli?
  • Sıfırlama: Başlangıçta hangi kayıtlar, dosyalar, politikalar ve dış yanıtlar mevcut? Neler temizlenmeli ve eş zamanlı bölümler nasıl yalıtılıyor?
  • Gözlemler: Ajan neleri okuyabilir ve neler doğrulayıcıda kalır? Görevi yerine getirmek için gerekli kuralları ajanın erişimine sunun.
  • Eylemler ve geçişler: Hangi çağrılara izin veriliyor, her biri neyi değiştiriyor veya döndürüyor ve geçersiz ya da tekrarlanan çağrılarda ne oluyor?
  • Kontroller ve ödül: Hangi sonuç hangi ödülü kazandırıyor? İlgisiz hangi durum değişmeden kalmalı ve günlükteki hangi eylemlere izin verilmeli veya hangileri yasaklanmalı?
  • Sonlandırma: Bir bölümü ne bitirir, eylem veya süre sınırı nedir ve altyapı hataları nasıl kaydedilir?
  • Kapsam: Hangi örnekler politika sınırlarını ve hata durumlarını sınamalı? Hangi durumlar değerlendirme için ayrılacak?

Ortamı eğitimde kullanmadan önce kontrol edin

Geliştiriciden, sonradan geri alınan bir eylem de dahil olmak üzere kontrolleri geçen ve geçemeyen eylem dizilerini denemesini isteyin. Sıfırlamanın önceki bölümün değişikliklerini kaldırdığını, paralel bölümlerin değiştirilebilir durumu paylaşmadığını ve ajanın doğrulayıcıyı veya günlüğünü değiştiremediğini kontrol edin. Bir sonucun yeniden üretilebilmesi için politikayı, test verilerini, doğrulayıcıyı, ajan çalıştırma altyapısını ve arka ucu sürüm kontrolünde tutun. Görev tanımlarının, çalıştırıcı geçersiz kılmalarının ve arka uç politikalarının neden ayrı ayrı kaydedilmesi gerektiğine ilişkin bir değerlendirme örneği için Terminal-Bench yapılandırma incelememize bakın.

Tek bir sabit masraf ezberlenebilir. Onay eşiğindeki tutarlar ve eksik fişler gibi çeşitli durumlar ekleyin ve her biri için beklenen sonucu belirleyin; değerlendirme için ayrı durumlar ayırın. Ödülün çalıştığını doğrulamak için kontrolleri geçen eylem dizisini çalıştırın, ardından eğitimde bu ödüle güvenmeden önce ajanın ilk denemelerinin ona ne sıklıkla ulaştığını ölçün.

sapien1, ekiplerin görev ortamlarının kapsamını belirlemesine ve ajanları değerlendirmesine yardımcı olur. Bir iş akışı, temsili bir görev ve gözlemlemeniz gereken sonuçla başlayın.