Anda tidak dapat membuat produk AI seperti produk lain. Produk AI pada dasarnya non-deterministik, dan Anda perlu terus-menerus menegosiasikan pengorbanan antara agensi dan kontrol. Ketika tim tidak mengenali perbedaan ini, produk mereka menghadapi kegagalan yang tidak terduga, mereka terjebak men-debug sistem rumit besar yang tidak dapat dilacak, dan kepercayaan pengguna terhadap produk diam-diam terkikis. Setelah melihat pola ini dimainkan di 50+ implementasi AI di perusahaan termasuk @OpenAI, @Google, @Amazon, dan @Databricks, Aishwarya Naresh Reganti dan Kiriti Badam mengembangkan solusi: kerangka kerja Continuous Calibration/Continuous Development (CC/CD). Nama ini mengacu pada Continuous Integration/Continuous Deployment (CI/CD), tetapi, tidak seperti namanya, ini dimaksudkan untuk sistem di mana perilaku non-deterministik dan agensi perlu diperoleh. Kerangka kerja ini menunjukkan cara: - Mulailah dengan fitur kontrol tinggi dan agensi rendah - Membangun sistem eval yang benar-benar berfungsi - Skalakan produk AI tanpa merusak kepercayaan pengguna Ini dirancang untuk mengenali keunikan sistem AI dan membantu Anda membangun produk AI yang lebih disengaja, stabil, dan dapat dipercaya. Mereka membagikannya secara publik untuk pertama kalinya: