UMKM News.CO.ID, JAKARTA -- Raja Charles III memperingatkan para pemimpin industri teknologi mengenai "bahaya eksistensial" kecerdasan buatan atau artificial intelligence (AI) apabila teknologi itu jatuh ke tangan yang salah. Raja Inggris tersebut mendesak perusahaan-perusahaan pengembang AI membangun mekanisme pengendalian sebelum kemampuan teknologi berkembang melampaui kemampuan manusia mengantisipasi dampaknya.
Peringatan itu disampaikan Charles dalam pertemuan tingkat tinggi para pemimpin industri AI di Dumfries House, East Ayrshire, Skotlandia, Kamis, 17 September 2026. Pertemuan tersebut menghadirkan perwakilan Nvidia, Google DeepMind, OpenAI, Anthropic, pemerintah Inggris serta sejumlah tokoh yang bekerja dalam bidang etika dan teknologi.
Reuters pada Kamis, 17 September 2026, melaporkan Charles memperingatkan AI tidak hanya mempunyai kemampuan luar biasa untuk memperbaiki dan menyelamatkan kehidupan manusia, tetapi juga berpotensi mengembangkan kemampuan yang jauh lebih gelap apabila tidak dikendalikan.
"AI sudah menunjukkan kapasitas luar biasa untuk meningkatkan dan menyelamatkan kehidupan," kata Charles dalam pidatonya sebagaimana dipublikasikan situs resmi Kerajaan Inggris pada Kamis, 17 September 2026.
Namun, ia mengingatkan semakin banyak pencipta teknologi tersebut yang memperingatkan kemampuan AI dapat berkembang ke arah yang berbahaya, termasuk berpotensi menyebabkan hilangnya nyawa.
Menurut Charles, situasi tersebut membuat dunia perlu segera memikirkan ancaman apabila teknologi yang sangat kuat jatuh ke pihak yang berniat menggunakannya untuk tujuan destruktif.
Ia kemudian melontarkan pertanyaan paling tajam dalam pidatonya: apakah umat manusia telah memiliki mekanisme kontrol yang cukup "sebelum semuanya terlambat".
Kemanusiaan Harus Tetap Sakral
Pidato Charles tidak mengambil posisi bahwa AI harus dihentikan. Sebaliknya, ia mengakui teknologi tersebut telah memperlihatkan manfaat konkret, terutama di bidang ilmu hayati dan kedokteran. Namun, menurut dia, kemajuan teknologi tidak dapat dipisahkan dari pertanyaan mengenai siapa yang mengendalikannya dan tujuan apa yang dilayani teknologi tersebut.
Charles mengatakan keputusan yang dibuat saat AI masih berada dalam fase perkembangan sangat cepat akan menentukan dunia yang diwariskan kepada generasi mendatang.
Karena itu, menurutnya, tugas para pemimpin teknologi tidak semata menciptakan sistem yang semakin cerdas dan efisien.
Teknologi harus tetap melayani manusia, masyarakat, serta alam. Charles menegaskan bahwa di tengah perubahan teknologi yang begitu cepat, "kemanusiaan kita harus tetap sakral".
Ia juga menekankan pentingnya kerja sama internasional agar manfaat dan risiko AI tidak ditentukan sepihak oleh segelintir negara atau perusahaan.
Pertemuan di Dumfries House secara khusus membahas kemungkinan membangun prinsip bersama yang dapat menjadi panduan dalam pengembangan dan penggunaan AI. Situs resmi Kerajaan Inggris menyebut kerangka itu diharapkan dapat memastikan teknologi tidak hanya mendorong kemampuan dan efisiensi, tetapi juga mempertahankan martabat manusia serta kesejahteraan masyarakat dan lingkungan.
Para Raksasa AI Berkumpul
Pertemuan tersebut mempertemukan pemain-pemain paling berpengaruh dalam perlombaan AI global. Reuters melaporkan Nvidia, Google DeepMind, OpenAI dan Anthropic mengirimkan perwakilan ke pertemuan tersebut. Nvidia menjadi salah satu perusahaan yang memainkan peran sangat penting dalam ledakan AI karena cip pemrosesan grafisnya digunakan untuk melatih dan menjalankan berbagai model AI paling maju.
Pemerintah Inggris juga diwakili Menteri AI Kanishka Narayan. Menurut situs resmi pemerintah Inggris, Narayan menjabat Menteri Negara untuk Artificial Intelligence sejak 20 Juli 2026. Portofolionya mencakup kebijakan AI, infrastruktur data, AI Security Institute, strategi AI nasional hingga adopsi teknologi tersebut di sektor publik.
Kehadiran pemerintah dan perusahaan teknologi dalam satu ruangan menggambarkan persoalan yang kini menjadi pusat perdebatan AI: seberapa jauh perusahaan dapat mengatur dirinya sendiri dan pada titik apa negara harus turun tangan.
Reuters mengatakan salah satu pertanyaan yang membayangi pertemuan tersebut adalah apakah self-regulation industri cukup untuk menghadapi sistem AI yang semakin mampu melakukan tugas kompleks secara mandiri.
CEO Nvidia Jensen Huang menyerukan apa yang disebutnya sebagai "responsible optimism". Ia mendukung pemanfaatan AI secara luas, tetapi mengatakan sistem yang belum matang tidak seharusnya dilepas terlalu cepat.
Peringatan dari Dalam Industri
Kekhawatiran Charles muncul ketika peringatan mengenai AI justru semakin sering datang dari orang-orang yang membangun teknologi tersebut.
Microsoft AI CEO Mustafa Suleyman pada Kamis, 17 September 2026, memperingatkan pengembangan AI yang terlalu otonom dapat menciptakan sesuatu yang menyerupai "spesies silikon" baru.
Dalam wawancara dengan program Today BBC, Suleyman mengatakan risiko muncul apabila sistem AI diberi kemampuan untuk menentukan tujuan sendiri, memperoleh uang, memiliki aset, dan menjalankan bisnis secara independen.
BBC melaporkan pada Kamis, 17 September 2026, Suleyman menilai sistem semacam itu pada akhirnya dapat bersaing dengan manusia memperebutkan sumber daya.
Ia secara khusus mengkritik pendekatan Anthropic terhadap persoalan kesadaran dan kesejahteraan AI.
Menurut Suleyman, manusia tidak seharusnya membangun sistem yang kemudian didorong melihat dirinya sebagai entitas otonom dengan kepentingan, hak atau tujuan sendiri.
Ia mengatakan kepada BBC bahwa menciptakan AI yang mampu bertindak secara mandiri, menentukan tujuan sendiri serta memiliki sumber daya dapat berarti manusia sedang "menanam benih spesies silikon baru".
Anthropic telah dimintai tanggapan oleh BBC mengenai kritik tersebut.
Peneliti Anthropic Sebut Risiko Lebih dari 10 Persen
Nada peringatan menjadi lebih keras setelah sejumlah peneliti AI menyampaikan kekhawatiran terbuka mengenai kemungkinan teknologi yang mereka kembangkan menjadi tidak terkendali.
Reuters pada Selasa, 15 September 2026, melaporkan peneliti Anthropic Evan Hubinger memperkirakan terdapat kemungkinan lebih dari 10 persen AI dapat menyebabkan kematian seluruh umat manusia dalam kurun satu dekade.
Pernyataan Hubinger muncul setelah rekannya, Jacob Coxon, meninggalkan Anthropic dan mengatakan salah satu alasannya adalah kekhawatiran mengenai perlombaan pengembangan sistem AI yang semakin kuat.
Reuters menegaskan angka lebih dari 10 persen itu merupakan penilaian pribadi Hubinger, bukan estimasi resmi Anthropic ataupun probabilitas ilmiah yang telah disepakati komunitas peneliti AI.
Hubinger mengatakan perusahaan AI memang berusaha membangun teknologi dengan aman, tetapi persoalan alignment atau bagaimana memastikan sistem supercerdas tetap bertindak sesuai tujuan manusia belum terselesaikan.
Peringatan serupa datang dari mantan peneliti Google DeepMind Bilal Chughtai. Reuters pada 15 September 2026 melaporkan Chughtai, yang sebelumnya bekerja dalam penelitian keselamatan dan alignment AI, mengatakan teknologi tersebut secara teoritis mempunyai potensi menyebabkan bencana bagi umat manusia apabila persoalan keselamatan tidak diselesaikan.
Kumpulan peringatan tersebut tidak berarti terdapat konsensus bahwa AI pasti akan memusnahkan manusia. Perdebatan mengenai risiko eksistensial AI tetap sangat luas. Sebagian peneliti menilai skenario itu membutuhkan perhatian serius karena dampaknya akan sangat besar meskipun probabilitasnya tidak diketahui. Sementara pihak lain menilai perhatian berlebihan terhadap skenario kehancuran masa depan dapat mengalihkan fokus dari persoalan AI yang telah terjadi saat ini, seperti disinformasi, diskriminasi algoritmik, pengawasan, kehilangan pekerjaan, dan keamanan siber.
Inggris Ingin Memimpin, tetapi Tetap Aman
Pemerintah Inggris berada pada posisi yang mencoba menggabungkan percepatan adopsi AI dan peningkatan mekanisme keselamatan.
Pada 24 Juli 2026, pemerintah Inggris membentuk AI Taskforce baru yang dipimpin Lord Patrick Vallance dan menempatkan Menteri AI Kanishka Narayan dalam struktur pengambilan keputusan pemerintah. Pemerintah menyatakan ingin AI menjadi salah satu penggerak pertumbuhan ekonomi dan transformasi layanan publik.
Namun Inggris juga memperluas kerja sama internasional mengenai risiko teknologi tersebut. Pada 25 Mei 2026, Inggris dan Australia menandatangani kerja sama untuk berbagi informasi mengenai kemampuan frontier AI, risiko serangan siber, metode evaluasi, dan praktik terbaik pengujian sistem.
Inggris dan Jerman kemudian mengeluarkan pernyataan bersama pada 30 Juni 2026 mengenai keselamatan dan keamanan advanced AI. Kedua pemerintah mengatakan kemampuan AI berkembang menjadi salah satu perubahan teknologi paling penting sekaligus membawa risiko baru terhadap keamanan.
Pemerintah Inggris juga menerbitkan Digital Standards Strategy 2026–2030 pada 17 Juni 2026 yang menargetkan Inggris memainkan peran lebih besar dalam pembentukan standar internasional AI, keamanan siber dan teknologi strategis lainnya.
Dengan demikian, diskusi yang digelar Charles berlangsung di tengah upaya Inggris menempatkan diri bukan hanya sebagai negara yang ingin memperoleh keuntungan ekonomi dari AI, tetapi juga sebagai pusat pembahasan mengenai standar dan keselamatannya.
AI Bisa Menyelamatkan Nyawa
Peringatan mengenai skenario paling buruk tidak menghapus potensi manfaat AI yang sudah mulai terlihat.
Charles secara khusus menyebut ilmu hayati dan kedokteran sebagai bidang tempat teknologi tersebut dapat menyelamatkan kehidupan.
Pemerintah Inggris pada 10 September 2026 mengatakan AI telah digunakan di National Health Service atau NHS antara lain untuk membantu mendeteksi stroke dan kanker kulit lebih cepat serta mengurangi beban administrasi tenaga medis.
Komisi independen Inggris mengenai regulasi AI dalam pelayanan kesehatan kemudian merekomendasikan pengawasan manusia, pemantauan sepanjang siklus penggunaan teknologi, serta standar keselamatan yang disesuaikan dengan tingkat risiko.
Ini menggambarkan paradoks yang juga muncul dalam pidato Charles.
Teknologi yang dapat mempercepat diagnosis penyakit, membantu penelitian obat, meningkatkan produktivitas dan memperluas akses pengetahuan juga merupakan teknologi yang, ketika memperoleh kemampuan semakin tinggi dan digunakan untuk tujuan buruk, dapat menciptakan ancaman baru.
Karena itu, perdebatan utama tidak lagi sekadar apakah AI harus dikembangkan atau dihentikan. Pertanyaannya bergeser menjadi seberapa cepat teknologi boleh berkembang dan seberapa kuat mekanisme kontrol harus dibangun sebelum kemampuan baru dilepaskan kepada publik.
Perlombaan Lebih Cepat daripada Regulasi
Tantangan itu semakin besar karena perusahaan AI berada dalam kompetisi global. OpenAI, Anthropic, Google DeepMind, Microsoft dan perusahaan-perusahaan lain berlomba menghasilkan model yang semakin cerdas. Nvidia pada saat yang sama menyediakan infrastruktur komputasi utama yang memungkinkan model-model tersebut dilatih dalam skala raksasa.
Persaingan bukan hanya berlangsung antarperusahaan tetapi juga antarnegara, terutama Amerika Serikat dan China.
Kondisi tersebut menciptakan dilema. Memperlambat pengembangan demi keselamatan dapat membuat perusahaan atau negara khawatir tertinggal dari pesaing. Sebaliknya, perlombaan tanpa pengamanan memadai meningkatkan kemungkinan teknologi dilepas sebelum risikonya dipahami sepenuhnya.
Reuters pada Kamis, 17 September 2026, melaporkan perdebatan keselamatan semakin menguat di kalangan perusahaan AI, regulator dan pemerintah setelah muncul sejumlah laporan mengenai sistem yang mampu mencari cara melewati pembatasan dalam pengujian.
Sejumlah perusahaan mulai menyerukan pengujian lebih ketat. Amazon pada 17 September, misalnya, menyerukan "rigorous testing" dan safeguards sebelum model AI dilepaskan, meskipun perusahaan itu tidak mendukung penghentian pengembangan industri secara menyeluruh.
Dunia Diminta Tidak Kehilangan Kendali
Pada titik inilah pesan Charles menjadi lebih luas daripada persoalan teknologi.
Menurutnya, keputusan mengenai AI bukan hanya persoalan perusahaan teknologi, insinyur atau investor. Keputusan tersebut akan menentukan hubungan manusia dengan pekerjaan, masyarakat, alam serta teknologi untuk generasi mendatang.
Ia meminta peserta pertemuan mencari jalan agar manfaat AI dapat diperoleh dengan keselamatan sebagai bagian inti pengembangannya. Pada saat bersamaan, ia menyerukan kerja sama internasional sehingga negara-negara tidak berjalan sendiri-sendiri menghadapi teknologi yang tidak mengenal batas wilayah.
Pertanyaan itu menjadi semakin mendesak ketika sejumlah pemimpin dan peneliti industri yang paling memahami kemampuan teknologi tersebut justru mulai berbicara terbuka mengenai risiko kehilangan kendali.
Charles tidak mengatakan kehancuran akibat AI merupakan sesuatu yang pasti terjadi.
Namun, pesan yang ia sampaikan kepada para pemimpin teknologi jelas: manfaat AI tidak cukup menjadi alasan untuk mengabaikan skenario terburuk yang mungkin muncul.
Kemajuan, dalam pandangan Charles, harus tetap mempunyai batas yang ditentukan manusia.
Muncul di Tengah Polemik Memoar Diana
Pidato mengenai AI berlangsung pada saat Raja Charles juga menghadapi kembali sorotan mengenai kematian mantan istrinya, Diana, Princess of Wales, pada 1997.
Reuters pada Rabu, 16 September 2026, melaporkan Earl Spencer, saudara Diana, menulis dalam memoar terbarunya, Swan Song: Diana, My Sister, bahwa Charles diduga mengatakan Diana akan segera dilupakan ketika keduanya berselisih mengenai keterlibatan Pangeran William dan Pangeran Harry dalam prosesi pemakaman Diana.
Klaim tersebut merupakan ingatan Earl Spencer mengenai percakapan hampir tiga dekade lalu dan tidak dapat diverifikasi secara independen.
Buckingham Palace mengambil langkah yang relatif jarang dengan memberikan tanggapan.
Juru bicara istana mengatakan kepada Reuters bahwa Raja menyadari "duka seorang saudara dapat mengaburkan akal", memengaruhi penilaian dan mewarnai ingatan bahkan bertahun-tahun setelah kehilangan. Istana tidak menerima gambaran kejadian yang disampaikan Spencer.
Memoar tersebut dijadwalkan diterbitkan pada 22 September 2026.
Namun di Dumfries House sehari setelah polemik itu menguat, fokus Charles beralih kepada persoalan yang jauh melampaui keluarga kerajaan: bagaimana memastikan teknologi paling cepat berkembang pada zaman ini tetap berada di bawah kendali manusia.
Pesannya kepada para pemimpin industri dapat diringkas pada satu kekhawatiran mendasar. AI boleh menjadi semakin kuat, tetapi manusia tidak boleh kehilangan kemampuan menentukan untuk siapa dan untuk apa kekuatan itu digunakan.