#NulisSambilBelajar Salah satu cara untuk memahami peta konten tanpa melakukan proses crawling ribuan halaman adalah dengan membaca XML sitemap-nya. Di artikel singkat ini, saya akan membahas contoh analisis sitemap website it.telkomuniversity.ac.id menggunakan Python, untuk mengetahui insight dari data XML sitemap.
Kenapa XML Sitemap Penting untuk SEO?
XML sitemap adalah kumpulan URL yang kemudian “diserahkan” sebuah situs kepada mesin pencari sebagai peta jalan konten mereka. Dari file ini kita bisa menggali banyak insight data yang bermanfaat untuk mengaudit suatu website.
Disini saya akan mencoba code yang saya temukan dari kaggle untuk menganalisis XML sitemap website it.telkomuniversity.ac.id. Berikut beberapa insight dan saya dapatkan dari analisis ini
Pada code yang saya temukan sistem menggunakan advertools, sebuah library Python favorit untuk melakukan proses pengambilan XML sitemap dan memecah url menjadi beberapa komponen meliputi kata kunci pada URL dan lainnya. Selain itu program juga menggunakan library pandas untuk mengolah data tabular dan plotly untuk visualisasi chart.
sitemap = adv.sitemap_to_df(‘https://situs-target.com/robots.txt’)
Fungsi sitemap_to_df() otomatis membaca robots.txt, menemukan lokasi sitemap, lalu mengubahnya jadi DataFrame
urldf = adv.url_to_df(sitemap[‘loc’].dropna())
Setiap URL dipecah menjadi bagian-bagian seperti scheme (http/https), netloc (domain), dan dir_1, dir_2 (folder pertama, kedua, dst)
adv.word_frequency(urldf[‘dir_1’].dropna().str.replace(‘-‘, ‘ ‘))
Kode ini menghitung kata dan frasa yang paling sering muncul di URL.
sitemap[‘lastmod’].dropna().dt.year.value_counts()
Bagian ini menghitung jumlah artikel berdasarkan tahun modifikas
Hail Analisis
1. Struktur URL
Hasil analisis di salah satu directory, menunjukkan bahwa struktur URL website IT Telkom University didominasi oleh halaman tag
2. Perkembangan dan Pembaruan Konten
Jumlah halaman yang diperbarui mengalami peningkatan yang cukup signifikan pada periode 2022–2026, terutama pada tahun 2025.
3. Konsentrasi Pembaruan Halaman
Data menunjukkan adanya konsentrasi pembaruan halaman yang cukup tinggi pada periode tertentu, terutama Februari 2025