Postingan ini saya akan membagikan tentang Data Tanah Wakaf di Indonesia level kabupaten dan kota di Indonesia , secara umum tanah wakaf di indonesia terdiri dari 382.272 Lokasi. dari Jumlah Tanah Wakaf memiliki luas sebesar 51.275,42 Ha Luas Tanah Wakaf uniknya dari data tersebut hanya 61,13 % yang Bersertifikat.
Content retrieved from: http://siwak.kemenag.go.id/index.php.
Metode pengambilan data menggunakan web scraping dengan jupyternotebook/Python, anda dapat mengaksesnya di script dibawah ini :
Catatan: untuk mendownload data anda harus login disini
[embeddoc url=”https://data.sekolahstata.com/wp-content/uploads/2020/05/Data-tanah-wakaf-Kabupaten-2.xlsx” viewer=”microsoft”]
Contents
DATA WAKAF PERKABUPATEN¶
Mendapatkan Data Dari WAKAF
website yang diambil http://siwak.kemenag.go.id/tabel_jumlah_tanah_wakaf.*php*
Koneksikan Drive dengan google drive¶
In [1]:
from google.colab import drive drive.mount('/content/drive')
Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount("/content/drive", force_remount=True).
setting change directory¶
In [2]:
%cd /content/drive/My Drive/Proyek_smart_city/3_Data/Wakaf -BWI
/content/drive/My Drive/Proyek_smart_city/3_Data/Wakaf -BWI
Mengambil semua link di website¶
In [0]:
from bs4 import BeautifulSoup import requests import re req = requests.get("http://siwak.kemenag.go.id/tabel_jumlah_tanah_wakaf.php") soup = BeautifulSoup(req.text, "lxml") pages = soup.findAll('a') def download_file(url): path = url.split('/')[-1].split('?')[0] r = requests.get(url, stream=True) if r.status_code == 200: with open(path, 'wb') as f: for chunk in r: f.write(chunk) list=[] for page in pages: url = page.get('href') list.append('http://siwak.kemenag.go.id/'+url)
setelah mendapatkan semua link yang ada kemudian link tersebut dibersihkan bagian yang tidak terdapat tabel¶
In [15]:
list
Out[15]:
['http://siwak.kemenag.go.id/index.php', 'http://siwak.kemenag.go.id/index.php', 'http://siwak.kemenag.go.id/info_terkini.php', 'http://siwak.kemenag.go.id/#', 'http://siwak.kemenag.go.id/#', 'http://siwak.kemenag.go.id/grafik_jumlah_tanah_wakaf.php', 'http://siwak.kemenag.go.id/tabel_jumlah_tanah_wakaf.php', 'http://siwak.kemenag.go.id/pesan.php', 'http://siwak.kemenag.go.id/#', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=V1BxS21RM2dMWkFvdDZNZ09zdklVQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=YTAvb2wyUHpSTGl4aVRnMkxDcEdjQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=WktGUzhRVEdUNndra0M3ZFdyQlNDUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=Y05qSlUvdXZMbW4xb1NYMURRbkQ3QT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=QzM2M1Fad0hkeForWGdUWFliQ2xqdz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=dkx6MzJjR0dLdzBIeE9YN3psUVhtZz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=M1JFWVFWYm8xM2JOQTlza0hyNzl3UT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=R1gzajIrM1lON29KWGhxbGhqSlRvUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=a2lTeFpmMTU1eWk5MW5MN2U5RDIzQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=L0RrNVRud0RUK1BFd0hiWmZtSjFIZz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=RHFZU2lidzdhVzNhUWF4U0lJa2s1QT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=bEJjR2dwWlhtZldOdkkraVpZUWRKZz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=aWM0azdML21oUkxzbFEvb1pwQnI4UT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=bE1LSS9KMlNxenY4WVRCS1JnR0NMUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=MC9jYk9XaE8rVERXNG1KRFFMckkyUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=cGo5dStkZDFUVysvL25xc3ZKSGdidz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=amZ5WnFaRW9DVE95MzRRTTFNS1lsZz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=T3hWeFEyajRLWC9MbXVmQ2t2dGp3Zz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=aExTdGVnd1p5WnFlQkNBdlVxN2wyUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=cVFaODV0Sm5FVG1jb1hqSEFvbDJyUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=cEc5czFteCtKcE9kYWFWQ05XS2hLdz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=aUQ0elJzQzNwa3BMZHZzWkV4U2NyUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=M1F3SWVNSThMMGk3cjZCd2xoeDdoQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=eXczbkoxTS9KS2VaWEFOeEVtR0FpZz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=clUxZVNpVDZ4S3JXWnV4YkYxanMxQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=NE9WZnN5eVZPc1FtdHN6c0dldENmUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=NGFnOXFuS2UvaWRqMkRsd2YrRmFlZz09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=T0NRTXQ3MTcvb2dwZ1lKVnBRRVZZUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=aEVPUm5TUU82Qm9QLzN6L2xRcVZCUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=TnR6bFNVNHYwdXpLTWo4U1ZrbE9ZQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=eGZRNjZ0VE83dWg1bHAvMDgyV0VqUT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=Wks0eFlRTkM0Vm12QnJyM3ZGb0lsQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=UTNDN1pRRmtxZkZHWDE3cDcwR3BDQT09', 'http://siwak.kemenag.go.id/tanah_wakaf_prop.php?_pid=UnZSd0kvQ2J0ajFhaFo4UHZ1UUtndz09']
membuat list untuk yang harus dihapus
In [0]:
hapus=['http://siwak.kemenag.go.id/index.php', 'http://siwak.kemenag.go.id/index.php', 'http://siwak.kemenag.go.id/info_terkini.php', 'http://siwak.kemenag.go.id/#', 'http://siwak.kemenag.go.id/#', 'http://siwak.kemenag.go.id/grafik_jumlah_tanah_wakaf.php', 'http://siwak.kemenag.go.id/tabel_jumlah_tanah_wakaf.php', 'http://siwak.kemenag.go.id/pesan.php', 'http://siwak.kemenag.go.id/#']
menghapus list yang tidak perlu¶
In [0]:
for h in hapus: list.remove(h)
mengambil data tabel dari website ke dalam tabel dadta frame¶
In [0]:
df=[] for x in list: df.append(pd.read_html(x)[0])
save data yang sudah berhasil di scrape¶
In [0]:
finaldf = pd.concat(df).sort_index() finaldf.to_csv("/content/sample_data/Data wakaf Kabupaten.csv")
In [25]:
finaldf
Out[25]:
No | Kantor Kementerian Agama | Jumlah | Luas [Ha] | Sudah Sertifikat | Belum Sertifikat | |||
---|---|---|---|---|---|---|---|---|
No | Kantor Kementerian Agama | Jumlah | Luas [Ha] | Jumlah | Luas [Ha] | Jumlah | Luas [Ha] | |
0 | 1. | KABUPATEN ACEH SELATAN | 379.000 | 6247.00000 | 217.000 | 2073.00000 | 162.000 | 4175.00000 |
0 | 1. | KABUPATEN DELI SERDANG | 886.000 | 10590.00000 | 503.000 | 6454.00000 | 383.000 | 4136.00000 |
0 | 1. | KAB BOLAANG MONGONDOW | 164.000 | 3033.00000 | 51.000 | 763.00000 | 113.000 | 2270.00000 |
0 | 1. | KABUPATEN POLEWALI MANDAR | 1.234 | 26269.00000 | 435.000 | 6270.00000 | 799.000 | 19999.00000 |
0 | 1. | KOTA JAKARTA SELATAN | 1.508 | 8734.00000 | 842.000 | 5098.00000 | 666.000 | 3637.00000 |
… | … | … | … | … | … | … | … | … |
35 | Jumlah | Jumlah | 99.652 | 5.08727 | 72.939 | 3.64014 | 26.713 | 1.44714 |
35 | 36. | KOTA MADIUN | 429.000 | 1225.00000 | 363.000 | 1012.00000 | 66.000 | 213.00000 |
36 | 37. | KOTA SURABAYA | 1.454 | 6651.00000 | 578.000 | 3275.00000 | 876.000 | 3375.00000 |
37 | 38. | KOTA BATU | 437.000 | 1605.00000 | 302.000 | 1082.00000 | 135.000 | 523.00000 |
38 | Jumlah | Jumlah | 66.540 | 4.37371 | 35.257 | 2.25717 | 31.283 | 2.11654 |
528 rows × 8 columns
In [0]: