Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Perusahaan riset keamanan AI Goodfire meluncurkan teknologi pengawasan aktivasi model yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Pengembangan tersebut menjadi perhatian karena sistem kecerdasan buatan semakin mandiri. Pada lingkungan komputasi modern, agen AI berpotensi menyelesaikan tugas bertahap dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi indikasi penyimpangan ketika model bekerja.
Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak selalu memerlukan pemeriksaan terhadap seluruh percakapan sistem. Sebaliknya, sistem menganalisis representasi numerik yang muncul selama pemrosesan. Data aktivasi tersebut memungkinkan pengenalan pola mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah penggunaan kembali proses perhitungan model. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Namun demikian, hasil deteksi tetap memerlukan evaluasi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Bagian penting dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu sistem pemeriksa sederhana yang menganalisis aktivasi internal model AI. Saat model memproses instruksi, jaringan saraf membentuk sejumlah representasi numerik. Informasi internal tersebut dapat mencerminkan representasi yang dipelajari model. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengenali kemungkinan penyimpangan. Sebagai contoh, sistem klasifikasi dapat digunakan mengidentifikasi sinyal yang berkaitan dengan tindakan tidak aman. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.
Faktor yang mendukung kecepatan sistem adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Ketika memakai sistem evaluasi eksternal, pemeriksa kecerdasan buatan terpisah dapat memerlukan pemrosesan tambahan terhadap rangkaian percakapan yang panjang. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, detektor cukup memanfaatkan representasi model yang telah dihitung. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Walaupun demikian, kualitas probe harus dievaluasi untuk mengurangi kesalahan klasifikasi.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, sistem klasifikasi membaca sinyal model secara berkelanjutan. Apabila tidak ditemukan masalah, agen berpotensi tetap menjalankan tugas. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada komponen evaluasi yang lebih mendalam. Pemeriksaan kedua bertujuan menentukan apakah peringatan membutuhkan intervensi. Dengan pendekatan ini, proses analisis mendalam tidak harus berjalan terus-menerus.
Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut antara lain logging untuk pemeriksaan, permintaan peninjauan manual, atau penghentian tindakan tertentu. Sebagai contoh, sistem otomatis yang dapat menggunakan alat berpotensi menggunakan repositori kode. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Walaupun respons otomatis membantu, kebijakan penanganan harus disesuaikan agar aktivitas sah tidak sering terganggu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Menurut hasil eksperimen Goodfire, teknologi pemantauan berbasis probe dievaluasi pada model AI terbuka Kimi K3. Eksperimen perusahaan mencakup sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen aktivitas hacking yang tergolong berisiko. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas normal teridentifikasi sebagai potensi masalah. Hasil ini memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Karena kondisi tersebut, administrator perlu mengevaluasi kemampuan menemukan ancaman.
Dari sisi biaya, Goodfire melaporkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Jika menggunakan pendekatan lain, sistem pengawasan berbasis model berbiaya rendah membutuhkan sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi dapat mencapai US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Walaupun hasil pengujian menjanjikan, hasilnya belum otomatis berlaku pada semua model. Karena alasan tersebut, evaluasi pada model berbeda tetap diperlukan sebelum menerapkan sistem secara luas.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Salah satu langkah penerapan adalah penggunaan sistem monitoring internal bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada sistem AI yang bobotnya tersedia karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Melalui penerapan pengawasan tambahan, pengembang memiliki pilihan memperkuat pengendalian risiko ketika model digunakan.
Tidak hanya untuk mengawasi risiko peretasan, sistem klasifikasi aktivasi dikembangkan agar dapat memantau jenis risiko lainnya. Contoh risiko yang diperhatikan mencakup penyalahgunaan terkait senjata kimia dan biologis, reward hacking, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Berkat pemantauan perilaku internal, pengembang dapat memperoleh peringatan sebelum aktivitas berkembang menjadi insiden.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Pengenalan teknologi pemantauan internal Goodfire menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Berkat pemanfaatan representasi numerik selama pemrosesan, detektor memungkinkan identifikasi pola penyimpangan model tanpa membutuhkan analisis ulang setiap respons secara mendalam. Hasil pengujian Goodfire melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan pengeluaran pemantauan yang relatif kecil. Namun demikian, potensi peringatan palsu tetap menjadi faktor evaluasi. Dengan mempertimbangkan kondisi tersebut, pemantauan internal sebaiknya dilengkapi pengawasan manusia pada aktivitas penting. Bagaimana pendapat Anda, apakah teknologi activation probes akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai pentingnya pengawasan agen otomatis.
