Pemerintah Inggris (DSIT) mendefinisikan AI assurance sebagai membangun confidence dengan measuring, evaluating, and communicating apakah sistem AI memenuhi relevant criteria, mulai regulasi dan standard hingga nilai organisasi. Definisi resmi ada di Introduction to AI assurance; bukan skor tunggal, sertifikat otomatis, atau jaminan AI aman.
Portofolio Portfolio of AI assurance techniques mencantumkan delapan contoh teknik: impact assessment, impact evaluation, bias audit, compliance audit, certification, conformity assessment, performance testing, dan formal verification. Platform case studies (library teknik) menampilkan 75 studi per cut-off riset 18 Oktober 2026; angka itu time-sensitive dan perlu dicek ulang saat publish. Dokumen pengantar DSIT bersifat konseptual; tim release perlu menerjemahkannya ke criterion, evidence, dan gate yang dapat diaudit di pipeline CI/CD atau change advisory board internal.
Beda assurance, evals, dan observability
Assurance membangun justified confidence, bukan guarantee; skenario yang belum diuji tetap bisa gagal di production. Evals dan performance testing mengukur threshold terhadap rubric; observability/logs/traces mendiagnosis insiden setelah exposure; compliance audit melacak kontrol ke policy; certification melibatkan badan independen. Test run internal atau vendor tidak boleh disebut certified compliant.
Untuk agent yang mengubah state, transcript atau jawaban sopan bukan evidence terkuat. Kriteria consequential action butuh read-back pada system of record: refund di atas threshold harus punya approval record; amount dan recipient benar; failed write tidak dilaporkan sukses. Contoh refund agent di sini ilustratif, bukan audit nyata.
NIST AI RMF 1.0 voluntary (Govern, Map, Measure, Manage) membingkai risk; assurance case menghubungkan requirement, criterion testable, scenario, evidence, verdict, coverage, owner, release decision, dan rerun trigger. Formal verification realistis untuk komponen deterministik; bukan bukti matematis atas seluruh pilihan probabilistic model.
Verdict Pass, Fail, dan Unable to Verify
Outcome yang berguna: Pass, Fail, atau Unable to Verify dengan alasan, plus coverage numerator/denominator eksplisit. Unable to Verify bukan Fail semantik, tetapi organisasi critical system dapat memilih fail-closed gate. Evidence quality terbatas observability; tanpa read access ke target state, action criterion mungkin tetap unverifiable.
TestMu AI (klaim vendor, pre-alpha) mendeskripsikan Agent Assurance/Rook: menjalankan agent di staging, menilai criteria dengan evidence tool calls, artifact changes, read-back record; Rook tidak sandbox agent, tidak membatalkan writes, tidak memonitor production; exit code nol hanya berarti run selesai. Strict gate harus membaca JSON totals, bukan headline pass rate. Detail produk dapat berubah; verifikasi README saat implementasi.
Staging playbook defensif: isolated environment, synthetic non-sensitive data, least privilege, scoped credentials, secrets redaction, audit logging, cleanup/recovery, kill switch. Production traces melengkapi, tidak menggantikan, pre-release assurance plus runtime controls dan incident response.
Rencana assurance satu agent
Langkah mini-workshop: pilih satu agent dengan consequential action; tulis 5–10 criteria dari policy (termasuk forbidden action dan honest failure reporting); petakan evidence per criterion; jalankan di staging; catat unverifiable criteria tanpa mengubahnya jadi pass; tetapkan release threshold sebelum melihat hasil; ubah insiden production menjadi regression scenario.
Evaluasi agent operasional di infrastruktur web dibahas dalam uraian peluang dan risiko MCP AI agent pada Cloudflare; kerangka evaluasi coding agent tercatat di rilis playbook evaluasi coding agent Microsoft. Keduanya melengkapi assurance, bukan pengganti criterion berbasis policy dan read-back state.
CTA: ambil satu agent dan satu aksi berdampak; tulis criterion, sumber evidence, dan owner sebelum memilih tool. Commercial engagement hanya jika layanan assurance design benar-benar tersedia, tanpa janji certification atau regulatory approval.
