Salesforce’un açıklamasına göre şirketin yapay zekâ araştırma birimi Salesforce AI Research, araştırma döngüsünü baştan sona yürüten, kod tabanlarını iyileştirip yapay zekâ modellerini eğiten SFR-AutoR&D ajan setini yayımladı. Sistem artık üretimdeki modelleri eğitmek için kullanılıyor ve Salesforce’un Data Cloud’da bilgi erişimi için kullandığı SFR-Embedding V3 modelini kendi başına iyileştirdi. Ekip sistemi açık kaynaklı EmbeddingGemma 2 modeline yönelttiğinde ise kalite ve gecikmede ölçülebilir biçimde daha iyi olan SFR-Embedding v4 ortaya çıktı.
Ajanlara bir hedef, üzerinde çalışılacak bir sistem ve bir hesaplama bütçesi veriliyor; ajanlar hipotez kuruyor, yöntem uyguluyor ve temel modellere karşı kontrollü deneyler yapıyor. Koda yalnızca kanıtla desteklenen, doğruluğu ve güvenliği gösterilen iyileştirmeler ekleniyor. Araştırmacıların genellikle birkaç haftaya yayılan bu döngüsünü sistem yaklaşık 80 saatte tamamladı.
MTEB’deki 10 kamuya açık bilgi erişim görevinde yapılan değerlendirmede sistem, modelin nDCG@10 skorunu 6,13 puan artırdı. Yaklaşık dokuz saat süren ikinci oturumda ise modelin hızına ve maliyetine odaklanarak kalitede neredeyse kayıp olmadan yüzde 36 daha fazla işlem hacmi ve yüzde 17 daha düşük gecikme elde etti. Sistem daha önce pandas, hnswlib ve USearch gibi açık kaynak kütüphanelerde de iyileştirmeler bulmuştu.
Sistem iki ajandan oluşuyor: AutoR&D-Engineer mevcut kodda algoritma ve sistem iyileştirmeleri arıyor, TrainForge ise yeni eğitim yöntemlerini deneyip adayları eğitimde hiç kullanılmayan test kümelerinde değerlendiriyor. İki ajan da paylaşılan GPU kapasitesinde çalışan AutoInfra eğitim altyapısını kullanıyor. Hedefi, bütçeyi, değerlendirmeyi ve veri kısıtlarını araştırmacılar belirliyor; doğrulanmış bir iyileşme yoksa mevcut model yerinde kalıyor.
Ürün için eğitilen modeller yalnızca etik ve hukuki incelemeden geçmiş veri kümelerini kullanıyor; değerlendirmede iyi sonuç veren bir modelin müşteriye ulaşmadan önce üretim gereksinimlerini de karşılaması gerekiyor ve bu çalışma sürüyor. Salesforce AI Research ayrıca büyük dil modelleriyle evrimsel arama kullanarak Java ve Salesforce Apex kodunun performansını ve kalitesini artırmayı amaçlayan CodeEvolve üzerinde çalışıyor.
Bu haber, Salesforce tarafından yayımlanan asıl kaynaktaki bilgilerden yazıldı. Yayın ilkeleri
Bilişim Teknolojisi#Yapay zekâ#Ar-Ge ve inovasyon#Yazılım ve SaaS
