Cara Setup Robots.txt dan XML Sitemap yang Benar

Robots.txt dan XML sitemap adalah dua file kecil yang menentukan bagaimana Google menjelajahi website kamu — salah satu baris kode yang salah di robots.txt bisa membuat seluruh website hilang dari pencarian tanpa peringatan.

Banyak pemilik website baru sadar ada masalah setelah traffic organik anjlok drastis, padahal penyebabnya cuma satu baris Disallow: / yang lupa dihapus setelah masa development. Artikel ini membahas cara setup keduanya dengan benar, plus kesalahan fatal yang wajib dihindari.

01 Apa itu Robots.txt dan XML Sitemap

Robots.txt adalah file teks di root domain (contoh: rayaschool.com/robots.txt) yang memberi instruksi ke crawler mesin pencari — halaman mana yang boleh dan tidak boleh dijelajahi. Ibarat gedung perkantoran, robots.txt adalah meja resepsionis yang menentukan ruangan mana yang boleh dikunjungi tamu.

XML sitemap adalah daftar seluruh URL yang ingin diindeks, membantu Google menemukan halaman lebih cepat — terutama halaman baru yang belum banyak mendapat internal link. Kalau robots.txt adalah resepsionis, sitemap adalah direktori gedung yang menunjukkan ruangan apa saja yang ada.

02 Cara Kerja Keduanya Bersama-sama

Robots.txt mengontrol crawling (boleh dikunjungi atau tidak), sedangkan meta tag noindex mengontrol indexing (boleh muncul di hasil pencarian atau tidak). Keduanya sering tertukar. Halaman yang diblokir robots.txt tetap bisa muncul di hasil pencarian kalau ada link dari situs lain — jadi robots.txt bukan cara yang tepat untuk "menyembunyikan" halaman sepenuhnya, gunakan noindex untuk itu.

Sitemap sebaiknya hanya berisi URL yang ingin diindeks — jangan campur dengan URL yang di-noindex atau diblokir robots.txt, karena ini mengirim sinyal yang saling bertentangan ke Google.

03 Sintaks Robots.txt yang Benar

Contoh robots.txt yang sehatrayaschool.com/robots.txt

# Izinkan semua crawler ke seluruh halaman publik
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Allow: /wp-admin/admin-ajax.php

# Beri tahu lokasi sitemap
Sitemap: https://rayaschool.com/sitemap_index.xml

Baris User-agent: * berarti aturan berlaku untuk semua crawler. Disallow memblokir folder atau halaman tertentu (biasanya area admin, keranjang belanja, halaman thank-you). Allow membuat pengecualian di dalam folder yang diblokir. Selalu sertakan baris Sitemap di baris terakhir supaya crawler langsung tahu ke mana harus mencari daftar URL lengkap.

04 Membuat XML Sitemap yang Benar

Untuk WordPress, plugin seperti Yoast SEO atau Rank Math otomatis membuat sitemap di /sitemap_index.xml dan memperbaruinya setiap kali ada konten baru. Untuk website custom/statis, gunakan generator online atau buat manual dengan format standar yang berisi tag <urlset>, <url>, <loc>, dan <lastmod> untuk setiap halaman.

Setelah sitemap jadi, submit lewat Google Search Console (menu Sitemaps) supaya Google mulai memproses secara aktif, bukan hanya menunggu ditemukan lewat crawling biasa.

05 Kesalahan Umum yang Fatal

Disallow: / yang lupa dihapus setelah development — memblokir seluruh website dari Google.
Memblokir folder CSS/JS penting — membuat Google tidak bisa merender halaman dengan benar, berdampak ke Core Web Vitals dan pemahaman konten.
Sitemap berisi URL yang di-redirect, 404, atau di-noindex — membingungkan Google dan membuang crawl budget.
Lupa update lokasi sitemap di robots.txt setelah migrasi domain atau ganti platform CMS.

06 Roadmap Setup 5 Langkah

Cek robots.txt yang aktif sekarang

Buka domainkamu.com/robots.txt di browser, pastikan tidak ada baris Disallow: / yang tidak disengaja.

Pastikan sitemap ter-generate otomatis

Cek /sitemap_index.xml atau /sitemap.xml, pastikan semua halaman penting termasuk di dalamnya.

Submit sitemap ke Search Console

Masuk ke properti domain di Search Console, menu Sitemaps, masukkan URL sitemap.

Cross-check dengan hasil crawl Screaming Frog

Pastikan tidak ada halaman penting yang ternyata diblokir robots.txt tanpa disadari.

Audit ulang setiap kali migrasi/redesign

Robots.txt paling sering rusak justru setelah proyek redesign — jadikan ini item wajib di checklist go-live.

07 Tools Rekomendasi

Google Search Console — robots.txt Tester

Simulasi apakah URL tertentu diblokir atau diizinkan sebelum publish perubahan.

Yoast SEO / Rank Math

Auto-generate sitemap XML untuk WordPress tanpa perlu setup manual.

XML-sitemaps.com

Generator sitemap untuk website non-WordPress atau statis.

Catatan praktis: setelah deploy perubahan besar (redesign, migrasi hosting, ganti CMS), selalu cek ulang robots.txt dalam 24 jam pertama — ini penyebab paling umum traffic organik anjlok mendadak.

08 Video Penjelasan

Simak panduan dasar robots.txt dan sitemap berikut untuk pemula:

▶ A Beginners Guide To Sitemaps and Robots.txt

09 Checklist Cepat

Sebelum Publish Perubahan Robots.txt/Sitemap

Tidak ada baris "Disallow: /" yang tidak disengaja

Folder CSS/JS penting tidak diblokir

Baris "Sitemap:" mengarah ke URL yang benar dan aktif

Sitemap hanya berisi URL indexable (bukan redirect/404/noindex)

Sudah disubmit dan diverifikasi di Search Console

10 FAQ

Tidak wajib, tapi sangat disarankan — tanpa robots.txt, Google akan mencoba crawl semua halaman termasuk yang tidak perlu, memboroskan crawl budget.

Tidak selalu — halaman yang diblokir robots.txt tapi punya banyak backlink tetap bisa muncul di hasil pencarian tanpa deskripsi. Gunakan noindex untuk memastikan halaman benar-benar tidak muncul.

Google biasanya membaca ulang robots.txt dalam hitungan jam sampai beberapa hari, tergantung frekuensi crawl domain tersebut.

Jika pakai plugin SEO di WordPress, sitemap ter-update otomatis. Untuk website custom, perlu regenerasi manual atau via script setiap ada konten baru.

Wahyu Dian Purnomo

Instruktur SEO, Raya School — Bersertifikat ClickMinded, Google Ads & Meta Blueprint

Sering menangani kasus traffic organik anjlok akibat kesalahan konfigurasi robots.txt pada klien migrasi website.

Mau paham technical SEO dari fondasinya?

Robots.txt dan sitemap dibahas lengkap di modul Technical SEO Kursus SEO Raya School, dengan praktik langsung di website nyata.

Lihat Kurikulum Kursus SEO →