Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire menghadirkan sistem pemantauan internal yang dikembangkan guna mengenali perilaku agen AI berisiko. Teknologi pemantauan tersebut menjadi perhatian karena penggunaan agen digital semakin berkembang. Ketika digunakan untuk menjalankan pekerjaan, agen AI berpotensi menyelesaikan tugas bertahap dengan intervensi pengguna yang lebih sedikit. Perkembangan ini membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.
Tidak seperti pendekatan pemeriksaan keluaran, teknologi Goodfire tidak hanya membaca respons akhir agen AI. Sebaliknya, teknologi tersebut membaca aktivasi internal jaringan saraf. Sinyal internal ini memungkinkan pengenalan pola mengenai kemungkinan tindakan berisiko. Keunggulan pendekatan ini adalah penggunaan kembali proses perhitungan model. Melalui rancangan tersebut, biaya pemantauan berpotensi berkurang. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu detektor berukuran kecil yang membaca pola komputasi selama pemrosesan. Selama sistem menghasilkan respons, jaringan saraf membentuk pola sinyal pada lapisan pemrosesan. Informasi internal tersebut memuat petunjuk mengenai representasi yang dipelajari model. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengidentifikasi perilaku mencurigakan. Pada pemantauan tindakan digital, detektor dapat dilatih untuk mengenali sinyal yang berkaitan dengan tindakan tidak aman. Berkat pemeriksaan aktivasi, pengawasan tidak harus menunggu seluruh respons selesai.
Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Pada metode konvensional, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila agen bekerja selama berjam-jam. Sebaliknya, detektor cukup memanfaatkan sinyal internal yang tersedia. Oleh karena itu, beban pengawasan dapat dikurangi. Walaupun demikian, pemilihan sinyal internal perlu diperhatikan untuk mengurangi kesalahan klasifikasi.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, detektor internal memeriksa sinyal model secara berkelanjutan. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, sistem berpotensi melakukan eskalasi kepada komponen evaluasi yang lebih mendalam. Evaluasi berikutnya digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Berkat mekanisme eskalasi, sumber daya pengawasan dapat difokuskan.
Selain melakukan deteksi, administrator berkesempatan mengatur langkah penanganan ketika indikator muncul. Pengaturan respons ini antara lain penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau penolakan permintaan berisiko. Pada sistem AI yang digunakan untuk pekerjaan, agen pemrograman dapat memiliki kewenangan berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk memeriksa kinerja detektor. Menurut laporan Goodfire, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Selain itu, sekitar 8,7 persen aktivitas tidak berbahaya ikut ditandai. Hasil ini menggambarkan kemungkinan peringatan yang tidak tepat. Oleh sebab itu, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.
Untuk membandingkan kebutuhan komputasi, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah memerlukan biaya kurang lebih US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan penundaan sebelum model mulai merespons kurang dari dua persen. Meskipun angka tersebut menarik, hasilnya belum otomatis berlaku pada semua model. Karena alasan tersebut, pengujian independen masih penting sebelum menganggap hasil tersebut berlaku universal.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Salah satu langkah penerapan adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Baseten merupakan layanan komputasi bagi penerapan model AI. Berkat integrasi layanan, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika menerapkan layanan kecerdasan buatan. Sistem pemantauan ini menjadi relevan terutama pada sistem AI yang bobotnya tersedia karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Berkat dukungan pemantauan berlapis, organisasi berpotensi meningkatkan pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, sistem klasifikasi aktivasi juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Bidang pengawasan yang dapat dipilih meliputi penyalahgunaan terkait senjata kimia dan biologis, reward hacking, dan tindakan siber yang melanggar kebijakan. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Sebagai contoh, model dapat mengeksploitasi kelemahan lingkungan pengujian. Berkat pemantauan perilaku internal, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengenalan pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi keamanan agen AI. Melalui pemeriksaan sinyal komputasi model, teknologi tersebut dirancang mengenali kemungkinan aktivitas berbahaya tanpa membutuhkan analisis ulang setiap respons secara mendalam. Data eksperimen yang diumumkan perusahaan melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Namun demikian, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Dengan mempertimbangkan kondisi tersebut, pemantauan internal sebaiknya dilengkapi pengawasan manusia pada aktivitas penting. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan menjadi standar keamanan agen AI masa depan? Jangan ragu menyampaikan pandangan mengenai masa depan sistem kecerdasan buatan yang lebih aman.
