Risiko Penggunaan AI di Perusahaan: Register Risiko per Use Case, Kontrol, dan Pemeriksaan Manusia
10 November 2026 · 7 menit baca · Tim Etzal Group

Risiko penggunaan AI di perusahaan yang paling sering terjadi adalah jawaban keliru yang terdengar meyakinkan, data pribadi atau rahasia yang bocor lewat prompt, bias dalam keputusan tentang orang, masalah hak cipta dan kerahasiaan, otomatisasi yang berjalan tanpa pemeriksaan, dan ketergantungan pada satu vendor. Cara mengelolanya adalah register risiko per use case: untuk setiap pemakaian AI, tulis risikonya, kontrolnya, pemiliknya, dan tingkat pemeriksaan manusia yang wajib.
Diperbarui: 10 November 2026
Apa itu risiko AI, dan mengapa dinilai per use case
Risiko AI adalah kemungkinan sebuah sistem AI menghasilkan keluaran atau tindakan yang merugikan perusahaan, pelanggan, karyawan, atau pihak lain, dilihat bersama besarnya kerugian bila itu terjadi.
Shadow AI adalah pemakaian alat AI untuk pekerjaan tanpa sepengetahuan atau persetujuan perusahaan, biasanya lewat akun pribadi.
Register risiko AI adalah daftar tertulis setiap use case AI di perusahaan beserta risikonya, kontrolnya, pemiliknya, dan tingkat pemeriksaan manusianya.
Model yang sama bisa rendah risikonya di satu pekerjaan dan tinggi di pekerjaan lain. Meminta AI merapikan draf caption berbeda jauh dengan memintanya mengurutkan CV pelamar. Karena itu, nilailah risiko per use case, bukan per alat.
Enam risiko penggunaan AI dan kontrolnya
1. Jawaban keliru yang terdengar yakin
AI generatif bisa mengarang angka, nama, kutipan, atau nomor peraturan dengan nada sangat meyakinkan. Inilah risiko terbesar bila AI dipakai tanpa validasi manusia: kesalahan lolos karena terlihat rapi. Kontrol: batasi jawaban pada sumber yang Anda sediakan, minta AI menyebut sumbernya, wajibkan pemeriksaan untuk setiap angka dan rujukan, dan uji AI dengan kumpulan pertanyaan yang jawabannya sudah Anda ketahui.
2. Data pribadi dan rahasia bocor lewat prompt
Karyawan yang menempelkan daftar pelanggan atau isi kontrak ke alat AI umum memindahkan data itu ke pihak lain, yang servernya bisa berada di luar negeri. Ini risiko utama shadow AI. Menurut UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi, pemrosesan oleh penyedia yang bertindak atas nama Anda tetap menjadi tanggung jawab Anda (Pasal 51), dan transfer ke luar negeri punya syarat sendiri (Pasal 56). Kontrol: daftar alat yang disetujui dengan akun perusahaan, klasifikasi data yang jelas, penyamaran nama dan nomor sebelum dipakai, serta saluran pelaporan bila data terlanjur masuk. Isi aturannya kami bahas di panduan kebijakan penggunaan AI.
3. Bias dalam keputusan tentang orang
AI yang menyaring CV, menilai kinerja, atau menentukan kelayakan pelanggan bisa mengulang pola tidak adil dari data lamanya. UU PDP memberi subjek data hak mengajukan keberatan atas keputusan yang hanya didasarkan pada pemrosesan otomatis, termasuk pemrofilan, bila berakibat hukum atau berdampak signifikan (Pasal 10), dan mewajibkan penilaian dampak untuk pemrosesan seperti itu (Pasal 34). Kontrol: kriteria tertulis, tidak ada penolakan otomatis, keputusan akhir oleh manusia, dan pemeriksaan hasil antarkelompok secara berkala.
4. Hak kekayaan intelektual dan kerahasiaan
Keluaran AI bisa menyerupai karya orang lain, dan masukan Anda bisa melanggar perjanjian kerahasiaan dengan klien. Kontrol: baca ketentuan penyedia tentang pemakaian data Anda untuk melatih model dan kepemilikan keluaran, jangan memasukkan informasi rahasia klien ke alat yang tidak disetujui untuk itu, dan periksa materi publik hasil AI sebelum terbit.
5. Otomatisasi berlebihan
Risikonya naik tajam ketika AI tidak hanya menyarankan, tetapi bertindak: mengirim pesan, mengubah data, atau menyiapkan pembayaran. Satu aturan yang keliru bisa terulang ratusan kali sebelum ada yang sadar. Kontrol: tetapkan tingkat kemandirian per tindakan, minta persetujuan untuk tindakan yang menyangkut uang dan identitas, beri batas jumlah dan nilai, sediakan tombol berhenti, dan catat setiap tindakan. Cara merancang persetujuan dan jejak audit ada di panduan otomatisasi proses bisnis.
6. Ketergantungan pada satu vendor
Model bisa berubah perilaku setelah pembaruan, dihentikan, atau berganti harga. Bila prompt, data, dan alur kerja Anda terikat pada satu penyedia, pindah menjadi mahal. Kontrol: simpan prompt dan basis pengetahuan di sistem Anda sendiri, pastikan data bisa diekspor, uji ulang dengan kumpulan pertanyaan yang sama setiap kali model berganti, dan tulis klausul keluar di kontrak.
Contoh register risiko per use case
| Use case | Risiko utama | Kontrol | Pemeriksaan manusia |
|---|---|---|---|
| Draf caption media sosial | Klaim keliru, mirip karya orang lain | Fakta diperiksa, tanpa data pelanggan | Disetujui sebelum terbit |
| Balasan WhatsApp ke pelanggan | Jawaban keliru, janji di luar kebijakan | Hanya dari basis pengetahuan, topik sensitif dialihkan ke staf | Sampel harian, eskalasi langsung |
| Ringkasan kontrak pemasok | Kerahasiaan, salah tafsir klausul | Hanya di alat yang disetujui untuk data rahasia | Dibaca ulang pemilik kontrak |
| Penyaringan CV pelamar | Bias, data pribadi, keputusan otomatis | Kriteria tertulis, penilaian dampak, tanpa penolakan otomatis | Manusia memutuskan setiap kandidat |
| Membaca bukti transfer untuk pembukuan | Nominal atau tanggal salah | Dicocokkan dengan mutasi bank | Pengecualian diperiksa, tutup buku bulanan |
| Agen AI yang mengirim tagihan | Salah penerima atau salah nominal | Batas nilai, persetujuan untuk uang | Setiap pengiriman disetujui |
Tingkat pemeriksaan manusia sebaiknya dipilih dari empat jenjang yang mudah diingat:
- Diperiksa sampel: AI bertindak, manusia memeriksa sebagian hasil secara berkala. Hanya untuk risiko rendah.
- Disetujui sebelum dipakai: AI menyiapkan, manusia membaca dan menyetujui setiap hasil.
- Manusia memutuskan: AI hanya memberi masukan, keputusan dan tanggung jawabnya pada manusia.
- Tidak memakai AI: untuk pekerjaan yang risikonya belum bisa dikendalikan.
Rujukan aturan di Indonesia
Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial, ditetapkan 19 Desember 2023, ditujukan kepada pelaku usaha pemrograman berbasis AI dan penyelenggara sistem elektronik lingkup publik dan privat. Isinya pedoman etika, bukan aturan bersanksi. Nilai yang dimuatnya meliputi inklusivitas, kemanusiaan, keamanan, aksesibilitas, transparansi, kredibilitas dan akuntabilitas, pelindungan data pribadi, pembangunan dan lingkungan berkelanjutan, serta kekayaan intelektual. Tanggung jawab yang disebutkan antara lain memastikan AI tidak diselenggarakan sebagai penentu kebijakan atau pengambil keputusan yang menyangkut kemanusiaan, serta memperhatikan manajemen risiko.
UU PDP berlaku setiap kali AI memproses data pribadi, termasuk kewajiban memberi tahu kegagalan pelindungan data paling lambat 3 x 24 jam (Pasal 46). Rinciannya ada di panduan UU PDP untuk perusahaan. Bila perusahaan Anda di sektor jasa keuangan, periksa juga ketentuan otoritas sektor Anda.
Dua kerangka internasional yang sering dipakai sebagai acuan:
- NIST AI Risk Management Framework: kerangka manajemen risiko AI untuk pemakaian sukarela, versi 1.0 terbit Januari 2023, dengan profil khusus AI generatif sejak Juli 2024.
- ISO/IEC 42001:2023: standar internasional berisi persyaratan untuk membangun, menerapkan, memelihara, dan terus memperbaiki sistem manajemen AI di sebuah organisasi, terbit Desember 2023.
Cara menyusun register risiko AI
- Daftar semua pemakaian AI, termasuk yang tidak resmi. Tanyakan kepada setiap bagian alat apa yang mereka pakai dan untuk apa, tanpa ancaman hukuman.
- Nilai setiap use case dari data yang disentuh, siapa yang terdampak bila keliru, dan apakah AI hanya menyarankan atau bertindak.
- Pilih kontrol dan jenjang pemeriksaan sesuai nilai itu, lalu tunjuk satu pemilik per use case.
- Catat tindakan dan hasil AI agar kesalahan bisa dilacak dan diperbaiki.
- Uji ulang setiap kali model, prompt, atau data berubah, dan tinjau register secara berkala.
Use case baru sebaiknya diuji dulu dalam lingkup kecil dengan kriteria lulus yang tertulis, seperti dijelaskan di panduan proof of concept AI.
Ringkasan
- Risiko penggunaan AI dinilai per use case, karena model yang sama bisa aman di satu pekerjaan dan berbahaya di pekerjaan lain.
- Enam risiko utama: jawaban keliru, kebocoran data lewat prompt, bias, kekayaan intelektual dan kerahasiaan, otomatisasi berlebihan, dan ketergantungan vendor.
- Setiap use case butuh kontrol, pemilik, dan jenjang pemeriksaan manusia yang tertulis.
- Di Indonesia, acuannya UU PDP untuk data pribadi dan SE Menkominfo 9/2023 untuk etika AI.
- Tindakan yang menyangkut uang, identitas, dan keputusan tentang orang sebaiknya selalu melewati manusia.
Bagaimana Etzal membantu
Lini AI Consulting kami memetakan pemakaian AI di perusahaan Anda, termasuk yang tidak resmi, lalu menyerahkan register risiko tertulis dengan kontrol dan jenjang pemeriksaan untuk setiap use case. Bila Anda menjalankan agen AI di Polynusa Autopilot, agen bekerja dalam batas yang Anda tetapkan, tindakan yang menyangkut uang dan identitas menunggu persetujuan, dan setiap tindakan tercatat.
Pertanyaan yang sering diajukan
Apa risiko penggunaan AI di perusahaan?
Yang paling sering: jawaban keliru yang terdengar yakin, data pribadi atau rahasia yang bocor lewat prompt, bias dalam keputusan tentang orang, masalah kekayaan intelektual dan kerahasiaan, otomatisasi tanpa pemeriksaan, dan ketergantungan pada satu vendor.
Apa risiko jika AI digunakan tanpa kontrol atau tanpa tanggung jawab?
Kesalahan menyebar tanpa terdeteksi, data pelanggan dan karyawan keluar tanpa catatan, dan keputusan tentang orang diambil tanpa dasar yang bisa dijelaskan. Bila menyangkut data pribadi, perusahaan tetap menanggung kewajibannya menurut UU PDP.
Apa risiko terbesar jika AI digunakan tanpa validasi manusia?
Jawaban keliru yang terlihat rapi lolos dan dipakai, misalnya angka, nama, atau nomor peraturan yang dikarang. Bila AI juga bertindak, kesalahan yang sama bisa terulang berkali-kali sebelum ada yang sadar.
Apa risiko utama shadow AI?
Data pribadi dan rahasia perusahaan masuk ke alat AI lewat akun pribadi tanpa catatan, sehingga perusahaan tidak tahu data apa yang keluar, ke penyedia mana, dan disimpan di negara mana.
Apakah sudah ada aturan AI di Indonesia?
Per 5 November 2026, kami tidak menemukan undang-undang atau peraturan presiden khusus AI di basis data peraturan resmi. Acuan utamanya adalah UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi untuk setiap pemrosesan data pribadi oleh AI, dan Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial sebagai pedoman etika.
Layanan terkait
Chatbot WhatsApp AI
Kami bangun, latih, dan jalankan AI agent WhatsApp yang menjawab pelanggan 24/7, mengkualifikasi lead, dan follow-up.
