Masa Depan AI Enterprise yang Dinamis dan Terbuka
Masa depan pengembangan kecerdasan buatan (AI) di lingkungan perusahaan tidak bisa lagi dianggap sebagai satu model tunggal. Perusahaan-perusahaan kini membutuhkan pendekatan yang fleksibel dan terbuka untuk menghadapi tantangan teknologi yang terus berkembang. Red Hat, salah satu pemimpin dalam inovasi open source, menekankan pentingnya pendekatan hybrid dan open source untuk memastikan perusahaan tetap lincah dalam berinovasi.
Tema utama yang dibawakan dalam Red Hat Summit 2025 adalah “beban kerja apa pun, aplikasi apa pun, dan di mana pun”. Tema ini mencerminkan perkembangan pesat dalam dunia teknologi informasi selama dua tahun terakhir. Dalam konteks AI, pesan utamanya adalah “model apa pun, akselerator apa pun, cloud apa pun”. Hal ini menunjukkan bahwa infrastruktur hybrid cloud menjadi kunci dalam era AI yang semakin kompleks.
Yang paling menarik adalah fakta bahwa hybrid cloud, meskipun sudah ada sejak lama, tetap ditenagai oleh inovasi open source. Di acara ini, disampaikan bagaimana ekosistem AI yang dibangun dengan prinsip open source dan open model dapat memberikan berbagai opsi baru bagi perusahaan. Keterbukaan memungkinkan perusahaan memiliki lebih banyak pilihan, mulai dari model AI yang sesuai dengan kebutuhan bisnis hingga akselerator yang mendukung operasionalnya. Strategi AI yang sukses akan mengikuti data di mana saja data itu berada di lingkungan hybrid cloud.
Inferensi: Kunci Keberhasilan AI
Inferensi menjadi aspek penting dalam performa AI. Meskipun model sangat krusial dalam strategi AI, tanpa inferensi, model hanya akan menjadi sekumpulan data yang tidak melakukan apapun. Inferensi adalah kemampuan model untuk merespons input pengguna secara cepat dan membuat keputusan dengan efisiensi sumber daya komputasi yang optimal. Respons yang lambat atau efisiensi yang buruk bisa berdampak pada biaya dan kepercayaan pelanggan.
Oleh karena itu, Red Hat dan komunitas lainnya saat ini sedang fokus pada pengembangan infrastruktur yang mendukung inferensi AI. Salah satu contohnya adalah AI Inference Server, yang dikembangkan berdasarkan proyek vLLM open source dan teknologi Neural Magic. Server ini dirancang untuk digunakan dalam berbagai kebutuhan AI dan dapat dijalankan di berbagai platform Linux maupun distribusi Kubernetes.
Skalabilitas dalam Pengembangan AI
Penggunaan TI enterprise yang optimal bukan hanya tentang beban kerja tunggal atau layanan cloud baru, tetapi juga kemampuan untuk melakukan penskalaan secara cepat dan efisien. Hal ini juga berlaku dalam konteks AI. Namun, AI memiliki tantangan unik, yaitu kebutuhan sumber daya komputasi yang dipercepat untuk mendukung beban kerjanya. Tantangan ini bukanlah hal mudah, mengingat biaya tinggi dan keahlian yang diperlukan untuk mengoptimalkan hardware.
Untuk menjawab tantangan ini, perlu adanya kemampuan untuk mendistribusikan beban kerja AI yang besar ke sejumlah klaster komputasi terakselerasi. Proyek open source bernama llm-d hadir sebagai solusi. Dijalankan bersama pemimpin industri AI, llm-d menggabungkan orkestrasi Kubernetes dengan vLLM untuk menjawab kebutuhan nyata perusahaan. Teknologi seperti AI-aware network routing dan KV cache offloading membantu proses inferensi menjadi lebih efisien dan hemat biaya.
Open Source Sebagai Motor Inovasi AI
Llm-d dan vLLM, yang tersedia melalui Red Hat AI Inference Server, merupakan contoh teknologi open source yang siap menghadapi tantangan AI enterprise saat ini. Selain itu, komunitas open source juga aktif dalam mengembangkan proyek jangka panjang. Misalnya, Llama Stack, yang dipimpin oleh Meta, bertujuan menyediakan komponen dasar dan API terstandarisasi untuk lifecycle aplikasi generative AI. Red Hat turut serta dalam pengembangannya.
Selain itu, Llama Stack juga cocok digunakan dalam pengembangan aplikasi agentic AI, yang merupakan evolusi dari beban kerja AI generatif yang kita kenal saat ini. Proyek ini juga tersedia dalam versi pratinjau pengembang, memungkinkan organisasi untuk mulai menguji implementasinya sejak dini.
Model AI proprietary (tertutup) mungkin sempat mendominasi di awal, tetapi kini ekosistem open source telah menjadi dominan, terutama dalam hal software yang mendukung model-model AI terbaru. Dengan inovasi seperti vLLM dan llm-d, serta produk open source yang telah diperkuat untuk kebutuhan enterprise, masa depan AI terlihat cerah. Apa pun modelnya, akselerator atau cloud-nya, masa depan AI akan terus didukung oleh inovasi open source yang berkembang.
