Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini menjadi perhatian karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Kondisi tersebut mendukung efisiensi pekerjaan, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire berupaya mengenali aktivitas mencurigakan sebelum tindakan terjadi.
Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak hanya membaca seluruh percakapan sistem. Sebagai alternatif, teknologi tersebut membaca sinyal komputasi di dalam model. Sinyal internal ini dapat memberikan petunjuk mengenai arah perilaku model. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Dengan demikian, biaya pemantauan berpotensi berkurang. Walaupun teknologi tersebut menawarkan keuntungan, kemampuan sistem perlu diuji pada berbagai kondisi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang menganalisis representasi numerik jaringan saraf. Selama sistem menghasilkan respons, jaringan saraf membentuk berbagai aktivasi internal. Informasi internal tersebut berkaitan dengan aktivitas komputasi yang sedang berlangsung. Activation probes kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Dengan pemrosesan semacam ini, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Keunggulan teknis pendekatan tersebut adalah pemanfaatan komputasi yang telah tersedia. Ketika memakai sistem evaluasi eksternal, sebuah model AI lain perlu menganalisis kembali rangkaian percakapan yang panjang. Metode pengawasan tambahan tersebut dapat meningkatkan biaya, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, sistem dapat menganalisis sinyal internal yang tersedia. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Meskipun konsumsi sumber daya relatif kecil, pemilihan sinyal internal perlu diperhatikan untuk memastikan pengawasan sesuai risiko.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Goodfire menerapkan mekanisme pengawasan bertahap. Ketika agen sedang bekerja, detektor internal memeriksa sinyal model secara berkelanjutan. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Evaluasi berikutnya digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Berkat mekanisme eskalasi, proses analisis mendalam tidak harus berjalan terus-menerus.
Selain melakukan deteksi, administrator berkesempatan mengatur respons terhadap peringatan. Pengaturan respons ini meliputi pencatatan aktivitas, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Sebagai contoh, asisten digital pengembang mungkin memperoleh akses lingkungan pengujian. Ketika sistem mengenali kemungkinan penyimpangan, administrator dapat meminta pemeriksaan. Namun demikian, ambang deteksi perlu ditetapkan dengan hati-hati agar proses kerja tetap berjalan dengan wajar.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Dalam pengujian yang dilaporkan, sistem pengawasan aktivasi internal diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Menurut laporan Goodfire, probe mampu menandai 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal ikut ditandai. Hasil ini menunjukkan adanya peringatan yang tidak tepat. Oleh sebab itu, pengembang harus mempertimbangkan tingkat kesalahan peringatan.
Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model tambahan kelas ringan menghabiskan dana sekitar US$233, sedangkan pengawasan menggunakan model premium menghabiskan biaya mendekati US$10.000. Di samping perbedaan biaya, pemantauan menggunakan empat klasifikasi sekaligus dalam pengujian memberikan tambahan latensi waktu menuju respons pertama kurang dari 2 persen. Namun demikian, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, validasi tambahan sebaiknya dilakukan sebelum menganggap hasil tersebut berlaku universal.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Bagian penting dari peluncuran adalah ketersediaan teknologi Goodfire bagi organisasi yang menjalankan model melalui Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika menerapkan layanan kecerdasan buatan. Sistem pemantauan ini dapat membantu meningkatkan keamanan terutama pada open-weight models karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, sistem klasifikasi aktivasi memiliki potensi digunakan pada aktivitas berbahaya dalam konteks berbeda. Contoh risiko yang diperhatikan mencakup penyalahgunaan terkait senjata kimia dan biologis, upaya mengeksploitasi mekanisme evaluasi, dan penyalahgunaan kemampuan keamanan komputer. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, model dapat mengeksploitasi kelemahan lingkungan pengujian. Berkat pemantauan perilaku internal, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengenalan teknologi pemantauan internal Goodfire menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Dengan menganalisis aktivasi internal jaringan saraf, sistem berupaya mendeteksi kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Data eksperimen yang diumumkan perusahaan menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Namun demikian, kebutuhan pengujian independen tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama pembatasan izin agen. Menurut Anda, apakah teknologi activation probes akan menjadi standar keamanan agen AI masa depan? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.
