Equibrium antara Ekonometrika dan Big-data
Ekonometrika sangat dekat dengan permodelan sebuah data sementara machine learning dan AI atuu deep learning juga demikian. di era digital 4.0 ini kebutuhan akan sebuah kecepatan kinerja terjadi melalui riwayat yang kita alami dalam keseharian, setiap tindakan yang kita lakukan mengahasilkan sebuah data. keadaan ini akan terus bertambah-dan terus berkembang hingga akhirnya akan memunculkan kejadian data explosion . data explosion adalah kondisi data yang besar namun tidak didiketahui secara pasti oleh kita. fenomena data explosion ini seperti layaknya fenomena gunung es, kita yang hanya menggunakan data yang bersifat struckter dengan mengabaikan keberadaan data ynag bersifat unstructer. padahal dominasi data unstruster ini terjadi di dunia ini. Dua konsekuensi utama akibat kita mengabaikan data explosion :
1. Knowledge Gap The difference between collecting data and understanding data
2. Execution Gap The difference between understanding data and acting on it.
Gambar 1 perkembangan bigdata
Baca juga : https://sekolahstata.com/2020/05/27/webinar-eksplorasi-data-susenas/
Pelatihan Bigdata
kemudian data tersebut tersebar secara bebas di internet.urgensi ini menjadikan kami untuk mengadakan sebuah training Bigdata secara online adapun ringkasan summary kegiatan Pelatihan online Bigdata adalah sebagai Berikut :
1. Scraping web
Oleh Muhammad Abdul Rohman ( data sacientist Maslahah Academy)
-Materi scraping web menggunakan pandas , beatifull soup dan bot selenium
Link video:
-Web scraping data mobility covid 19: video :
[embedyt] https://www.youtube.com/watch?v=WyCbe2H3ilM[/embedyt]
-web scraping secara umum : 2 Mei 2020: video
[embedyt] https://www.youtube.com/watch?v=bNgjxF6fhyA[/embedyt]
2. Crawling social media
Oleh : Jati R( data sacientist Maslahah Academy)
-Crawling tanpa coding twitter tanpa coding
-Crawling dengan coding melampau batas waktu aturan twitter
Link video :
[embedyt] https://www.youtube.com/watch?v=qZWXCAdQajg[/embedyt]
3. Materi pertemuan 3:
Oleh Muarrikh Yazka( Data Anaysis Intern Ruang Guru)
– Visualisasi Data
– Supervised ML, regression, Logistik
– Unsupervised ML: LDA dan SNA
Link video:
[embedyt] https://www.youtube.com/watch?v=pdk0ngvX_Dk[/embedyt]
Materi 4
Oleh Sony Wicaksono( AI Engineer eBdesk Technology, Data Analyst Scale.ai)
-Pengantar NLP
-Sentimen analysis dan entity detection menggunakan deeplearning :
Link video:
[embedyt] https://www.youtube.com/watch?v=0Y9Iy_omc7U[/embedyt]
Penutup
Demikian adalah tulisan tentang ekuibrium tentang ekonometrika dan bigdata keduanya saling berkaitan antara satu dengan yang lain. pemodelananya bahakan ada yang menyerupai, hal ini mengapa data scientist ini diharapkan memiliki pendidikan yang tinggi karena melibatkan pengalaman.
FAQs Topic Modeling Menggunakan Aplikasi Stata
Apa itu Topic Modeling dalam konteks analisis teks? Topic Modeling adalah teknik analisis teks yang digunakan untuk mengidentifikasi dan mengelompokkan kata-kata atau dokumen ke dalam topik-topik atau tema yang terkait. Teknik ini membantu mengungkap pola tematik yang tersembunyi dalam koleksi besar dokumen.
Apa manfaat dari menggunakan Topic Modeling dalam analisis teks? Manfaat dari menggunakan Topic Modeling dalam analisis teks meliputi: a. Pengelompokan Otomatis: Topic Modeling dapat membantu mengelompokkan dokumen secara otomatis berdasarkan tema atau topik tertentu. b. Penemuan Tema Tersembunyi: Teknik ini membantu mengungkap tema-tema yang mungkin tidak terlihat dengan mudah pada analisis manual. c. Ringkasan Isi: Topic Modeling memungkinkan untuk membuat ringkasan isi dari koleksi dokumen besar.
Bagaimana cara menggunakan aplikasi Stata untuk melakukan Topic Modeling? Untuk melakukan Topic Modeling di Stata, Anda perlu menggunakan ekstensi tambahan yang disebut “tm (text mining)”. Ekstensi ini menyediakan fungsi-fungsi khusus untuk analisis teks, termasuk Topic Modeling. Anda dapat menginstal ekstensi “tm” dari SSC (Statistical Software Components) di Stata.
Apakah persiapan data diperlukan sebelum melakukan Topic Modeling di Stata? Ya, persiapan data diperlukan sebelum melakukan Topic Modeling di Stata. Anda perlu membersihkan dan mengolah data teks, termasuk langkah-langkah seperti menghapus karakter khusus, mengubah semua teks menjadi huruf kecil, menghilangkan stop words (kata-kata yang umum dan tidak berarti), dan tokenisasi (memecah teks menjadi unit-unit terpisah seperti kata-kata).
Apa metode Topic Modeling yang umum digunakan dalam aplikasi Stata? Dalam aplikasi Stata, metode Topic Modeling yang umum digunakan adalah Latent Dirichlet Allocation (LDA). LDA adalah metode yang populer untuk mengidentifikasi topik dari koleksi dokumen berdasarkan distribusi probabilitas kata-kata dalam setiap topik.
Bagaimana cara mengevaluasi hasil Topic Modeling di Stata? Anda dapat mengevaluasi hasil Topic Modeling di Stata dengan melihat distribusi probabilitas kata-kata di setiap topik, memeriksa kata-kata kunci yang paling relevan dalam setiap topik, dan menafsirkan topik-topik yang dihasilkan untuk memahami maknanya secara kontekstual.
Apakah ada alat visualisasi bawaan di Stata untuk membantu menganalisis hasil Topic Modeling? Stata menyediakan beberapa alat visualisasi yang dapat membantu menganalisis hasil Topic Modeling, termasuk plot distribusi kata-kata dalam setiap topik, memvisualisasikan keseluruhan struktur topik, dan menampilkan dokumen yang termasuk dalam topik tertentu.
Dapatkah hasil Topic Modeling di Stata digunakan dalam analisis statistik lebih lanjut? Ya, hasil Topic Modeling di Stata dapat digunakan dalam analisis statistik lebih lanjut. Misalnya, topik-topik yang dihasilkan dapat digunakan sebagai variabel baru dalam analisis regresi atau klasifikasi, atau sebagai fitur dalam model Machine Learning.
Apakah ada tutorial atau referensi yang dapat membantu saya memahami lebih lanjut tentang Topic Modeling di Stata? Ya, Anda dapat mencari tutorial dan referensi tentang Topic Modeling di Stata melalui dokumentasi resmi Stata, buku-buku teks tentang analisis teks, atau sumber daya online seperti forum diskusi atau blog yang membahas topik ini.
Apakah perangkat lunak atau bahasa pemrograman lain yang juga populer untuk melakukan Topic Modeling selain Stata? Selain Stata, ada beberapa perangkat lunak dan bahasa pemrograman yang populer untuk melakukan Topic Modeling, termasuk Python dengan library seperti Gensim dan NLTK, R dengan paket seperti topicmodels, dan MALLET (Machine Learning for Language Toolkit) yang merupakan perangkat lunak khusus untuk analisis teks dan Topic Modeling.
