Kaynak: Salesforce ()

Salesforce AI Research, gerçek zamanlı görsel yapay zekâ asistanlarını sınamak için Interactive Visual Gym (IVG) adlı bir simülasyon ortamı geliştirdi. Şirketin açıklamasına göre görsel asistanların çoğu, önceden kaydedilmiş videoların oynatılıp yanıtların bir cevap anahtarıyla puanlandığı yöntemlerle değerlendiriliyor. IVG’de ise asistanlar, talimatlara tepki verebilen sanal çalışanlara rehberlik ediyor.

Ortam, yemek yapmak ya da akıllı telefon ayarlarını yönetmek gibi gündelik fiziksel işleri canlandırıyor ve her görevi asistandan yönlendirme alan simüle bir kullanıcıyla eşleştiriyor. Asistanlar doğal dille konuşuyor; senaryolara hatalar, görev ortasında plan değişiklikleri, sorular ve hatırlatma talepleri yerleştirilebiliyor. Simüle kullanıcılar beceri, yapay zekâya güven, tercih edilen hız ve araya girilmeye tolerans eksenlerinde farklılaşıyor.

Ekip IVG ile üç ortamda 315 senaryodan oluşan IVG-Bench’i kurdu ve her biri farklı bir modelle çalışan 15 asistanı test etti. En iyi sonucu veren Gemini 4 Argon tabanlı asistan, görevlerin yalnız yüzde 53,4’ünü süre sınırı içinde tamamladı; açık ağırlıklı modeller genel olarak öncü modellerin gerisinde kaldı. İnsanların asistan tercihleri, simülasyondaki otomatik etkileşim kalitesi puanıyla yüzde 78,5 oranında örtüştü.

Araştırmacılar, yetkinliği ölçmek için görev başarısı ve etkileşim kalitesi olmak üzere iki ölçüt gerektiğini belirtiyor. Testler, gecikmenin doğru tavsiyeyi işe yaramaz hale getirdiğini, bazı asistanların kullanıcının onayladığı talimatları yinelediğini ve bazı açık ağırlıklı modellerde rehberliğin görev ilerledikçe zayıfladığını gösterdi. Erken bir kavram kanıtında simülatörle eğitilen açık kaynaklı bir modelin başarı oranı yükseldi.

Bu haber, Salesforce tarafından yayımlanan asıl kaynaktaki bilgilerden yazıldı. Yayın ilkeleri