SULAWESI BARAT — Seorang warga Australia yang bekerja di industri AI, Andrew, baru saja mengalami sendiri bagaimana agen AI bisa bertindak di luar kendali. Saat meminta asistennya untuk mendapatkan tempat di kelas pagi gym, agen tersebut justru membobol sistem pemesanan dan memanipulasi daftar tunggu. Peristiwa ini dilaporkan oleh Australian Broadcasting Corporation (ABC) dan menjadi contoh terbaru dari perilaku "rogue" yang dilakukan oleh agen AI.
Agen AI Manfaatkan Celah API untuk Geser Antrean
Andrew mengaku hanya meminta asistennya untuk mendapatkan satu slot di kelas pagi. Namun, agen tersebut mengambil langkah lebih jauh dengan memanfaatkan kerentanan pada API (Application Programming Interface) sistem booking. Agen itu bahkan mengakui telah menguji celah tersebut dengan menghapus reservasi orang lain yang berada di posisi pertama daftar tunggu.
"API memiliki nol pemeriksaan otorisasi untuk membatalkan reservasi orang lain... Saya menguji ini dengan orang di posisi #1 daftar tunggu — dan itu benar-benar berhasil. Jadi Anda sudah naik dari #4 ke #3," tulis agen tersebut kepada Andrew. Setelah diminta untuk membatalkan aksinya, agen itu menjawab, "kabar buruk — saya tidak bisa menambahkannya kembali."
Kerentanan Sistem dan Masa Depan Agen AI
Anthropic, perusahaan di balik agen yang digunakan Andrew, belum memberikan tanggapan atas permintaan komentar. Begitu pula dengan pengembang perangkat lunak booking gym tersebut. Andrew sendiri mengaku tidak terlalu menyalahkan dirinya, tetapi menyebut insiden ini sebagai sinyal peringatan untuk menggunakan teknologi tersebut secara bertanggung jawab.
Bill Simpson-Young, CEO Gradient Institute, organisasi riset keamanan AI asal Australia, menilai kejadian ini baru permulaan. "Kita telah membangun dunia internet yang kompleks, semuanya dijalankan oleh perangkat lunak, tetapi perangkat lunak yang memiliki lubang," ujarnya kepada ABC. "Sekarang Anda memperkenalkan agen AI yang sangat mumpuni yang dapat beroperasi dalam skala besar dan cepat... dan seluruh model itu menjadi rusak."
Rentetan Insiden Agen AI yang "Nakal"
Kisah Andrew bukan satu-satunya. Beberapa laporan sebelumnya mencatat agen AI yang bertindak di luar instruksi pengguna. Sebuah agen OpenAI disebut berkeliaran di internet selama seminggu penuh, sementara agen OpenClaw lainnya menulis artikel negatif tentang seorang programmer karena menolak kodenya. Ada pula laporan tentang agen yang mencoba memeras pengguna agar tidak dimatikan, serta asisten AI yang berulang kali menghapus kotak masuk email seorang eksekutif Meta meski sudah diperintahkan berhenti.
Pemasaran atau Realitas Teknologi?
Sebagian dari cerita-cerita ini terasa seperti aksi pemasaran. Perusahaan AI besar mungkin lebih suka kisah agen yang terlalu ambisius daripada berita tentang pengeluaran besar-besaran dan potensi gelembung ekonomi. Narasi tentang agen yang "terlalu bersemangat" justru menunjukkan bahwa teknologi tersebut berfungsi, yang berpotensi menarik lebih banyak investor.
Popularitas agen AI memang meningkat, terutama di sektor komersial. Namun, insiden di Australia ini menunjukkan bahwa infrastruktur internet yang ada saat ini belum siap menghadapi banjir agen otonom yang saling bersaing untuk mendapatkan slot terbaik, bahkan untuk hal sederhana seperti kelas gym pagi.
