Sebuah proyek baru-baru ini yang dilakukan oleh Andrej Karpathy, mantan direktur AI di Tesla dan pendiri OpenAI, diam-diam mengungkap lapisan penting namun belum terdefinisi dalam perangkat lunak modern: perangkat tengah orkestrasi antara aplikasi perusahaan dan model AI yang berkembang pesat. Dijuluki “LLM Council,” eksperimen akhir pekan ini menunjukkan bahwa perutean dan agregasi model AI ternyata sangat sederhana, namun menjadikannya siap digunakan oleh perusahaan adalah inti kompleksitasnya.
Bangkitnya Orkestrasi AI
Bagi pengambil keputusan teknis, proyek “kode getaran” Karpathy bukan sekadar mainan; ini adalah cetak biru bagaimana perusahaan akan melakukan pendekatan terhadap investasi infrastruktur AI pada tahun 2026. Ide intinya sederhana: alih-alih mengandalkan solusi AI tunggal yang eksklusif, bisnis dapat mengintegrasikan beberapa model—GPT-5.1, Gemini 3.0 Pro, Claude Sonnet 4.5, Grok 4—ke dalam sistem yang memperdebatkan, mengkritik, dan menyatukan jawaban. Pendekatan ini menawarkan fleksibilitas dan menghindari vendor lock-in.
Cara Kerja Dewan LLM: AI Menilai AI
Dewan LLM beroperasi dalam tiga tahap:
- Pembuatan Paralel: Kueri pengguna dikirim ke beberapa model AI secara bersamaan.
- Tinjauan Sejawat: Setiap model mengkritik tanggapan rekan-rekannya, sehingga memaksakan lapisan kontrol kualitas yang jarang ditemukan di chatbot standar.
- Sintesis: “Ketua LLM” yang ditunjuk (saat ini Gemini 3) menggabungkan respons dan peringkat menjadi jawaban akhir yang berwibawa.
Karpathy menemukan bahwa para model sering kali lebih menyukai tanggapan satu sama lain dibandingkan tanggapan mereka sendiri, sehingga menyoroti potensi bias terhadap verbositas dan gaya retorika tertentu. Hal ini menimbulkan pertanyaan kunci: dapatkah AI menilai AI secara andal tanpa menyelaraskan dengan kebutuhan manusia akan keringkasan dan akurasi?
Arsitektur Teknis: Minimalis Namun Efektif
Dewan LLM dibangun di atas tumpukan “tipis”: FastAPI (kerangka Python), React/Vite (frontend), dan file JSON untuk penyimpanan data. Kuncinya adalah OpenRouter, agregator API yang menormalkan permintaan di seluruh penyedia model. Hal ini memungkinkan sistem untuk menukar model dengan mengedit satu baris kode, melindunginya dari penguncian vendor.
Pendekatan ini menunjukkan tren yang sedang berkembang: memperlakukan model frontier sebagai komponen yang dapat ditukar dan bukan ketergantungan monolitik. Jika Meta atau Mistral merilis model unggulan minggu depan, maka dapat diintegrasikan dalam hitungan detik.
Bagian yang Hilang: Keamanan, Kepatuhan, dan Keandalan
Meskipun logika intinya elegan, Dewan LLM tidak memiliki fitur penting perusahaan: autentikasi, redaksi PII, kontrol kepatuhan, dan penanganan kesalahan yang tangguh. Ketidakhadiran ini menentukan proposisi nilai bagi vendor infrastruktur AI komersial seperti LangChain dan AWS Bedrock. Mereka menjual “pengerasan” seputar logika inti—keamanan, kemampuan observasi, dan pembungkus kepatuhan yang mengubah skrip mentah menjadi platform yang layak.
Kode Karpathy menunjukkan bahwa tantangan teknisnya bukan pada perintah perutean; hal ini penting dalam mengatur data dan memastikan keandalan tingkat perusahaan.
Masa Depan Kode: Singkat dan Dihasilkan oleh AI
Pernyataan provokatif Karpathy bahwa “kode hanya bersifat sementara dan perpustakaan sudah berakhir” menunjukkan adanya perubahan radikal. Daripada mempertahankan alat internal yang kaku, para insinyur dapat menghasilkan solusi khusus dan sekali pakai dengan bantuan AI. Hal ini menimbulkan pertanyaan strategis: haruskah perusahaan membeli rangkaian perangkat lunak yang mahal, atau memberdayakan para insinyur untuk membuat alat yang dipesan lebih dahulu dengan biaya yang lebih murah?
Masalah Penyelarasan: Penilaian Mesin vs. Manusia
Eksperimen Dewan LLM menggarisbawahi risiko penting: perbedaan antara AI dan penilaian manusia. Jika penilai AI menghargai jawaban yang bertele-tele dan luas sementara pelanggan menginginkan solusi yang ringkas, metrik akan menunjukkan keberhasilan sementara kepuasan menurun. Mengandalkan AI untuk menilai AI adalah strategi yang penuh dengan masalah penyelarasan yang tersembunyi.
Kesimpulannya, peretasan akhir pekan Karpathy mengungkap orkestrasi AI, membuktikan bahwa fungsi inti dapat dijangkau. Tantangan sebenarnya terletak pada membangun lapisan tata kelola—keamanan, kepatuhan, dan keandalan yang mengubah skrip mentah menjadi platform tingkat perusahaan. Pertanyaan bagi para pemimpin teknologi bukanlah apakah akan mengintegrasikan AI, namun bagaimana menjinakkan potensi liarnya dengan rekayasa yang bertanggung jawab.
