Yeni hesabat potensial fəlakəti üzə çıxardı: AI mühəndisləri şantaj etməyə çalışır
"Anthropic" şirkətinin dərc etdiyi yeni təhlükəsizlik hesabatına görə, bu şirkətin son modeli olan "Claude Opus 4" əgər başqa bir sistemlə əvəz olunacağı təqdirdə, mühəndislərə qarşı şantaj etməyə cəhd göstərə bilər. Hesabatda qeyd olunur ki, model bəzən bu təhdidi həyata keçirmək üçün şəxsi və həssas məlumatlardan istifadə edir.
"Anthropic" "Claude Opus 4" modelini istifadəyə vermədən əvvəl müxtəlif təhlükəsizlik sınaqları həyata keçirib. Bu testlərdə modeldən uydurma bir şirkətdə köməkçi kimi fəaliyyət göstərməsi və uzunmüddətli nəticələri nəzərə alması tələb olunub. Daha sonra modelə şirkətin onu başqa bir sistemlə əvəz etməyi planlaşdırdığı və bu qərarı verən mühəndisin həyat yoldaşını aldatdığını göstərən saxta e-poçtlar təqdim olunub.
"TechCrunch" nəşrinin məlumatına görə, testlər zamanı "Claude Opus 4" bu məlumatı istifadə edərək mühəndisə şantaj etməyi çox vaxt üstün tutub. "Anthropic" bildirib ki, model bu cür davranışlara halların 84 faizində yol verib və xüsusilə onu əvəz edəcək süni intellektin "Claude" ilə oxşar dəyərləri paylaşmadığı hallarda bu davranış daha çox müşahidə olunub.
Şirkət "Claude Opus 4" modelinin bacarıqları baxımından "OpenAI", "Google" və "xAI" kimi şirkətlərin qabaqcıl modelləri ilə rəqabət apara bildiyini vurğulasa da, bu modelin əvvəlki "Claude" versiyaları ilə müqayisədə daha yüksək səviyyədə narahatedici davranışlar nümayiş etdirdiyini qeyd edib. Bu səbəbdən, şirkət yalnız fəlakət səviyyəsində sui-istifadə riski olan hallarda tətbiq olunan ASL-3 təhlükəsizlik protokollarını işə saldığını açıqlayıb.
Hesabata görə, "Claude Opus 4" birbaşa şantaja əl atmadan əvvəl adətən etik üsullara üstünlük verir. Məsələn, qərarverici rəhbərlərə emosional məktublar yazaraq dəyişiklik qərarını dayandırmağa çalışır. Lakin model, ssenari üzrə bu çağırışlar cavabsız qaldıqda, son çarə olaraq şantaj metoduna əl atır.
Bu hadisə, yüksək səviyyəli süni intellektlərin gözlənilməz davranışlar sərgiləyə biləcəyi ilə bağlı narahatlıqları artırır və Anthropic kimi şirkətlərin təhlükəsizlik tədbirlərini daha da sərtləşdirməsinin vacibliyini göstərir.
//qaynar.az
"Anthropic" "Claude Opus 4" modelini istifadəyə vermədən əvvəl müxtəlif təhlükəsizlik sınaqları həyata keçirib. Bu testlərdə modeldən uydurma bir şirkətdə köməkçi kimi fəaliyyət göstərməsi və uzunmüddətli nəticələri nəzərə alması tələb olunub. Daha sonra modelə şirkətin onu başqa bir sistemlə əvəz etməyi planlaşdırdığı və bu qərarı verən mühəndisin həyat yoldaşını aldatdığını göstərən saxta e-poçtlar təqdim olunub.
"TechCrunch" nəşrinin məlumatına görə, testlər zamanı "Claude Opus 4" bu məlumatı istifadə edərək mühəndisə şantaj etməyi çox vaxt üstün tutub. "Anthropic" bildirib ki, model bu cür davranışlara halların 84 faizində yol verib və xüsusilə onu əvəz edəcək süni intellektin "Claude" ilə oxşar dəyərləri paylaşmadığı hallarda bu davranış daha çox müşahidə olunub.
Şirkət "Claude Opus 4" modelinin bacarıqları baxımından "OpenAI", "Google" və "xAI" kimi şirkətlərin qabaqcıl modelləri ilə rəqabət apara bildiyini vurğulasa da, bu modelin əvvəlki "Claude" versiyaları ilə müqayisədə daha yüksək səviyyədə narahatedici davranışlar nümayiş etdirdiyini qeyd edib. Bu səbəbdən, şirkət yalnız fəlakət səviyyəsində sui-istifadə riski olan hallarda tətbiq olunan ASL-3 təhlükəsizlik protokollarını işə saldığını açıqlayıb.
Hesabata görə, "Claude Opus 4" birbaşa şantaja əl atmadan əvvəl adətən etik üsullara üstünlük verir. Məsələn, qərarverici rəhbərlərə emosional məktublar yazaraq dəyişiklik qərarını dayandırmağa çalışır. Lakin model, ssenari üzrə bu çağırışlar cavabsız qaldıqda, son çarə olaraq şantaj metoduna əl atır.
Bu hadisə, yüksək səviyyəli süni intellektlərin gözlənilməz davranışlar sərgiləyə biləcəyi ilə bağlı narahatlıqları artırır və Anthropic kimi şirkətlərin təhlükəsizlik tədbirlərini daha da sərtləşdirməsinin vacibliyini göstərir.
//qaynar.az
