Kenapa AI tidak bisa membaca konten website Anda

Asisten AI cuma bisa merekomendasikan brand yang bisa ia baca. Ketika ChatGPT, Claude, atau Perplexity membuka halaman Anda, yang mereka terima bukan tampilan yang Anda lihat di browser, melainkan HTML mentah yang dikirim server sebelum JavaScript sempat jalan. Kalau bagian penting konten Anda baru muncul setelah JavaScript dieksekusi, bagian itu praktis tidak ada buat mereka.

Ini bukan dugaan. Vercel mengukur miliaran permintaan crawler di jaringannya dan menemukan tidak satu pun crawler AI besar yang menjalankan JavaScript, termasuk GPTBot, ClaudeBot, dan PerplexityBot (riset lengkapnya di sini). Halaman tampil sempurna buat pengunjung manusia, tapi sebagian isinya bisa lenyap buat mesin yang ikut menentukan apakah nama Anda disebut.

Tulisan ini menjelaskan kenapa jurang itu ada, tanda-tanda konten Anda terkena, dan cara melihat persis apa yang dibaca AI di halaman Anda sebelum memperbaikinya.

Apa yang sebenarnya dibaca AI saat membuka halaman Anda

Ada dua versi dari setiap halaman web. Versi pertama adalah HTML mentah yang dikirim server begitu ada permintaan masuk. Versi kedua adalah tampilan akhir yang Anda lihat, hasil browser menjalankan JavaScript, menarik data, dan menyusun ulang halaman.

Browser Anda selalu menampilkan versi kedua, jadi Anda mengira itulah yang dilihat semua orang. Crawler AI berhenti di versi pertama. Mereka mengambil HTML mentah, membaca teksnya, lalu pergi. Kalau sebuah paragraf, daftar produk, atau jawaban FAQ baru dirakit JavaScript di dalam browser, isi itu tidak pernah sampai ke mesin.

Cara cepat membuktikannya ada di browser Anda sendiri. Klik kanan sebuah halaman lalu pilih "View page source". Yang terbuka adalah HTML mentah, kurang lebih itulah yang diterima crawler. Bandingkan dengan apa yang Anda lihat di layar. Kalau teks penting Anda tidak ada di sumber itu, AI juga tidak melihatnya.

Kenapa crawler AI tidak menjalankan JavaScript

Merender JavaScript itu mahal buat mesin. Untuk menyusun satu halaman seperti yang dilakukan browser, crawler harus membuka mesin render penuh, menunggu semua skrip selesai, lalu membaca hasilnya. Googlebot melakukannya karena Google sudah dua dekade membangun infrastruktur untuk itu. Crawler AI yang lebih baru memilih jalan yang jauh lebih murah, yaitu ambil HTML, baca teksnya, lewati sisanya.

Angkanya jelas. Dalam pengukuran Vercel selama sebulan, Googlebot melakukan 4,5 miliar pengambilan, sementara GPTBot sekitar 569 juta dan ClaudeBot sekitar 370 juta. Gabungan crawler AI sudah setara seperlima lalu lintas Googlebot, dan porsinya terus naik. Mereka memang mengambil file JavaScript Anda sebagai teks (ChatGPT di 11,5 persen permintaannya, Claude di 23,84 persen) tapi tidak pernah mengeksekusinya.

Ada satu pengecualian yang perlu Anda tahu. Gemini menumpang infrastruktur Googlebot, jadi ia bisa merender JavaScript penuh. Artinya halaman yang bergantung pada JS mungkin masih terbaca Gemini, tapi tetap kosong di mata ChatGPT dan Claude. Mengandalkan satu mesin yang kebetulan bisa merender sama saja bertaruh pada keberuntungan. Ini bagian dari kenapa SEO di 2026 menuntut pendekatan yang berbeda dari yang dulu Anda pelajari, karena aturan mainnya ditentukan mesin yang membaca halaman dengan cara lain.

Tanda konten Anda hilang di mata AI

Tidak semua website terkena masalah ini. Situs yang dirender di server, seperti blog WordPress standar atau halaman statis, umumnya aman karena kontennya sudah ada di HTML mentah. Yang rawan adalah situs yang menyusun kontennya di dalam browser.

Ini beberapa pola yang paling sering saya temui.

• Situs yang dibangun sebagai single page application dengan React, Vue, atau Angular tanpa server-side rendering. Halaman pertama datang hampir kosong, lalu JavaScript mengisinya.
• Konten yang dimuat belakangan lewat lazy load atau infinite scroll, termasuk deskripsi produk dan ulasan yang baru muncul saat Anda menggulir ke bawah.
• Teks yang disuntikkan JavaScript untuk tab, accordion, atau personalisasi, yang isinya baru ada setelah sebuah elemen diklik.
• Data yang ditarik dari API eksternal setelah halaman termuat, pola yang umum di katalog e-commerce dan halaman listing.

Kalau halaman Anda masuk salah satu pola itu, jangan berasumsi sudah aman. Mengeceknya gampang, dan itu bagian berikutnya.

Blokir yang tidak Anda sadari

Rendering bukan satu-satunya cara konten Anda hilang. Kadang servernya sendiri yang menutup pintu buat crawler AI, dan Anda tidak pernah tahu sampai memeriksanya.

Penyebab paling umum adalah robots.txt yang melarang bot tertentu. Banyak situs menyalin aturan yang memblokir GPTBot atau ClaudeBot, sering kali ditambahkan sebuah plugin atau tim lain tanpa pernah didiskusikan, dan efeknya situs Anda menghilang dari sumber yang mereka baca.

Penyebab kedua lebih licik. Firewall, WAF, atau proteksi bot di CDN kerap membalas permintaan dari user-agent crawler AI dengan status 403 atau halaman tantangan, padahal pengunjung biasa lolos tanpa masalah. robots.txt Anda bilang "silakan masuk", tapi server membalas "ditolak". Dua sinyal yang bertabrakan ini jarang ketahuan karena di browser semuanya tampak normal.

Sisi sebaliknya juga layak disiapkan. File llms.txt di root menunjuk crawler AI ke halaman-halaman yang paling layak dikutip. Dampaknya kecil dibanding memastikan konten Anda terbaca, tapi ia memudahkan mesin menemukan bagian terbaik Anda.

Cara mengecek apa yang benar-benar dilihat AI

Sampai Anda membandingkan apa yang dilihat manusia dengan apa yang diterima crawler, semua ini masih teori. Ada beberapa cara memeriksanya, dari yang manual sampai yang otomatis.

Cara paling manual tadi, "View page source", menunjukkan HTML mentah tapi Anda harus menebak sendiri bagian mana yang hilang. Selangkah lebih jauh, Anda bisa menarik halaman dengan user-agent crawler lewat perintah seperti curl -A "GPTBot" https://situsanda.com lalu membandingkan hasilnya dengan tampilan browser. URL Inspection di Google Search Console yang gratis juga menunjukkan HTML yang dirender Google, walau itu sudut pandang Googlebot, bukan GPTBot.

Masalahnya, semua cara manual itu menuntut Anda membaca HTML lalu menyimpulkan sendiri. Untuk mempercepatnya, tim saya di Search Agency membuat Agent View, ekstensi Chrome gratis yang menjalankan perbandingan itu otomatis di halaman mana pun yang Anda buka.

Alurnya sederhana. Buka halaman yang ingin dicek, lalu Agent View memberi satu skor keterbacaan, yaitu porsi kata yang dilihat pengunjung yang juga muncul di HTML mentah yang diterima crawler non-render. Halaman yang dirender server mendapat skor tinggi. Halaman yang bergantung pada JavaScript mendapat skor rendah.

[IMAGE: Agent View menampilkan skor keterbacaan sebuah halaman di toolbar Chrome | alt: Skor keterbacaan Agent View untuk sebuah halaman web]

Skor cuma pintu masuknya. Laporan lengkapnya menampilkan daftar blok konten yang muncul di layar tapi tidak pernah ada di HTML mentah, lengkap dengan jumlah katanya, jadi Anda tahu persis apa yang hilang. Agent View juga menembak ulang halaman yang sama dengan user-agent tiap crawler, lalu menampilkan status HTTP per crawler untuk GPTBot, ClaudeBot, PerplexityBot, dan Googlebot berdampingan. Kalau salah satunya membalas 403 sementara yang lain 200, di situ Anda menemukan blokir tak terlihat yang tadi saya sebut.

[IMAGE: Laporan Agent View membandingkan status HTTP GPTBot, ClaudeBot, PerplexityBot, dan Googlebot berdampingan | alt: Perbandingan status crawler AI di laporan Agent View]

Dua hal yang membuatnya berguna untuk kerja audit AI search. Pertama, semuanya berjalan lokal di browser, tanpa akun, tanpa server, dan tanpa data yang dikirim ke mana pun, jadi aman dipakai di halaman klien. Kedua, Anda bisa mengarahkannya ke situs kompetitor untuk melihat skor dan blokir mereka, berguna untuk tahu di titik mana Anda unggul atau tertinggal dalam keterbacaan AI. Laporannya bisa diekspor ke PDF untuk dibagikan ke tim atau developer.

Halaman mana yang harus Anda cek lebih dulu

Anda tidak perlu memindai seluruh situs sekaligus. Mulai dari halaman yang paling ingin Anda lihat muncul di jawaban AI, lalu turun dari situ.

Tiga kelompok yang biasanya saya cek pertama. Halaman yang menghasilkan uang, seperti halaman produk, harga, dan layanan, karena di situlah keterbacaan paling menentukan apakah Anda ikut direkomendasikan saat buyer bertanya. Halaman yang ingin Anda jadikan rujukan, seperti panduan dan artikel pilar yang memang ditulis supaya dikutip. Dan homepage, karena sering jadi titik pertama crawler mengenali siapa Anda.

Untuk tiap halaman, yang saya perhatikan bukan sekadar skornya, melainkan blok apa yang hilang. Skor 60 yang kehilangan menu dan footer jauh lebih ringan daripada skor 60 yang kehilangan seluruh deskripsi produk. Angka memberi Anda urutan, daftar blok yang hilang memberi Anda pekerjaannya.

Kalau Anda mengelola situs besar, pola temuannya biasanya berulang. Begitu Anda tahu satu template halaman produk kehilangan kontennya, kemungkinan besar semua halaman dari template itu kena hal yang sama, dan satu perbaikan menyelesaikan ribuan halaman sekaligus.

Memperbaikinya adalah fondasi paling murah untuk visibilitas AI

Begitu Anda tahu apa yang hilang, perbaikannya biasanya teknis dan lugas. Konten penting harus ada di HTML yang dikirim server. Untuk situs berbasis JavaScript, itu berarti mengaktifkan server-side rendering atau static generation, atau menyiapkan prerender khusus untuk crawler. Untuk urusan blokir, periksa robots.txt Anda bersama aturan firewall dan CDN, lalu pastikan user-agent crawler AI tidak dibalas 403. Setelah diperbaiki, cek ulang halaman yang sama dan lihat skornya naik.

Saya menaruh langkah ini sebagai pekerjaan pertama dalam setiap audit AI search, sebelum memikirkan konten atau otoritas. Alasannya sederhana. Schema yang rapi, blok jawaban yang bagus, dan penyebutan dari pihak ketiga tidak ada gunanya kalau mesin tidak pernah berhasil membaca halamannya sejak awal. Ini lapisan paling dasar dari Total Graph Authority, dan kebetulan yang paling murah dibenahi. Ini juga alasan kenapa saya selalu bilang visibilitas AI pada akhirnya soal revenue, karena halaman yang tidak terbaca tidak akan pernah ikut direkomendasikan ke buyer. Dan seperti yang saya tulis soal tidak adanya jalan pintas di AI search, keterbacaan ini Anda kerjakan lebih dulu, baru sisanya menyusul.

Kalau Anda ingin tahu berapa banyak konten Anda yang sebenarnya sampai ke AI, mulai dari memasang Agent View lalu jalankan di halaman-halaman terpenting Anda. Kalau setelah itu Anda ingin membahas temuannya dan menyusun prioritas perbaikan, jadwalkan panggilan. Obrolan pertama gratis, tanpa slide deck.