Transformasi Data Salah Satu Solusi Akurasi Rendah Metode Statistika Non Parametrik

Statistik Non-Prametrik Merupakan Jalan Keluar dari Masalah Asumsi Tidak Terpenuhi tetapi Berpotensi Masuk ke dalam Masalah Baru yaitu Akurasi Rendah

Salah Satu Solusinya: Transformasi Data

Banyak orang menggunakan metode Statistik Non-Parametrik sebagai solusi dari  tidak terpenuhinya asumsi-asumsi klasik semisal asumsi normalitas residual, homogenitas, dll. 

Namun nyatanya tidak selamanya hal ini berakhir baik. Meski berhasil selamat dari syarat asumsi klasik namun bisa saja menghasilkan akurasi rendah seperti pada pembuatan prediksi dengan regresi maupun klasifikasi. Salah satu penyebab hal ini adalah skala variabel satu dengan yang lainnya berbeda jauh. 

Misal pada Studi Kasus: Data Heart Disease UCI

Diplih 13 Variabel dengan karakteristik sebagai berikut

Y: Data Diskret, Range: 1 - 2

X1: Data Kontinu, Range: 29-77

X2: Data Diskret, Range: 0 - 1

X3: Data Diskret, Range: 0 - 4

X4: Data Kontinu, Range: 94 - 200

X5: Data Kontinu, Range: 126 - 564

X6: Data Diskret, Range: 0 - 1

X7: Data Diskret, Range: 0 - 2

X8: Data Kontinu, Range: 71 - 202

X9: Data Diskret, Range: 0 - 1

X10: Data Kontinu, Range: 0 - 6,2

X11: Data Diskret, Range: 0 - 3

X12: Data Diskret, Range: 0 - 3

X13: Data Diskret, Range: 1 - 3

Jika dibuat grafik maka akan membentuk sebaran data sebagai berikut:

Datanya sangat jomplang.

Hasil analisisnya menggunakan metode LVQ didapati:
Rata-Rata Akurasi Data Pelatihan: 76%
Rata-Rata Akurasi Data Uji: 62%

Tampak sangat tidak menjanjikan jika digunakan sebagai alat untuk melakukan prediksi guna mengambil keputusan. Maka solusi yang ditawarkan salah satunya akan kita cobakan beberapa transformasi Data sebagai berikut (Rumus di paling bawah):
1. Minmax
2. Decimal Scaling
3. Z-Score
4. Mean MAD
5. Sigmoid
6. Softmax

Didapati grafik plot sebaran data per variabelnya sebagai berikut:

Data-datanya tampak menyebar lebih rata atau seimbang

Kemudian kita lihat hasil akurasinya:

Didapati bahwa terjadi peningkatan nilai akurasi lebih dari 10% baik pada hasil pelatihan maupun pengujian pada data yang telah ditransformasi. 

Kemudian kita uji untuk mengetahui apakah perbedaan yang diberikan berbeda cukup signifikan atau tidak. Maka kita gunakan uji anova beserta uji lanjut DMRT.

Didapati hasil sebagai berikut:

Ada pengaruh signifikan penggunaan transformasi data. Kemudian jika pada percobaan di atas didapati hasil trnasformasi terbaik ada pada softmax untuk pelatihan dan sigmoid pada pengujian. Ketika kita perhatikan lagi pada plot sebaran data hasil transformasi, akurasi tertinggi diperoleh dari data hasil transformasi yang memiliki penyebaran yang seimbang diantara semua variabelnya. Sehingga masing-masing variabel memiliki kekuatan/pengaruh yang seimbang dalam menentukan hasil akhir nantinya.

Namun hal ini belum bisa dipastikan ketika menggunakan data lain. Sehingga min blog sarankan untuk mencoba beberapa transformasi dan dipilih yang terbaik. Perhatikan gambar berikut ini kenapa min blog menyarankan agar mencoba beberapa transformasi data sekaligus.

Ternyata ada sebagian transformasi yang malah menghasilkan hasil yang lebih buruk daripada data aslinya pada data yang berbeda-beda.

Kesimpulan:
Transformasi data diperlukan sebagai salah satu solusi akurasi rendah pada percobaan analisis regresi maupun klasifikasi pada metode statistika non parametrik.

Kesimpulan ini sesuai dengan perkataan para ahli:

Pan et al (2016) menjelaskan bahwa salah satu strategi transformasi data adalah melakukan normalisasi. Normalisasi data adalah menyekalakan data sedemikian sehingga data berada dalam jangkauan yang lebih kecil, misalnya -1 s.d. 1 atau 0 s.d. 1.

Menurut Prasetyo (2014), data yang memiliki beberapa fitur (variabel) dengan jangkauan nilai yang berbeda-beda mengakibatkan fitur dengan nilai atau jangkauan yang besar mempunyai pengaruh yang lebih kuat dalam fungsi biaya daripada fitur dengan nilai atau jangkauan yang kecil. Masalah ini dapat ditangani menggunakan teknik normalisasi.

Lampiran:

Data set: https://archive.ics.uci.edu/ml/machine-learning-databases/heart-disease/processed.cleveland.data

Rumus-Rumus:

1. Minmax

Keterangan:

2. Decimal Scaling

dengan j adalah nilai terkecil sedemikian sehingga nilai maksimal data hasil transformasi berada pada nilai  kurang dari 1 pada rentang desimal nol koma sekian. 

3. Z-Score

x adalah data asli dikurangi rata-rata lalu hasilnya dibagi dengan standar deviasi atau akar varian.

4. Mean MAD

dengan nilai MAD (Mean Absolute Deviation):

5. Sigmoid

6. Softmax

Yuk bagi yang mau skripsi perlu tau ini apalagi kuliah jurusan statistika ketika asumsi tidak terpenuhi dan menggunakan metode non parametrik. Semoga bermanfaat :)

Contoh Penerapan Statistika dalam Kehidupan Sehari-Hari

Buat Teman-Teman yang Sedang Mencari Contoh Penerapan Ilmu Statistika dalam Kehidupan Sehari-Hari Bisa Mencari disini ya. Disajikan secara ringan dan singkat.

Yuk langsung check it out

Contoh Sederhana di rumah:

• Menghitung rata-rata pengeluaran bulanan.
• Memprediksi kapan kiranya perlu membeli bensin dalam minggu-minggu normal ketika tidak berpergian keluar kota.
• Memprediksi jumlah kunjungan berdasarkan hari di suatu tempat. Misal pengunjung di suatu rumah makan meningkat pada hari libur sehingga perlu disiapkan stok lebih pada hari itu.
• Pembuatan Infografis. Menyajikan data dalam bentuk gambar.
• Memperkirakan waktu rata-rata perjalanan dari rumah ke sekolah/kantor. Sehingga bisa memperkirakan lama perjalanan dan berangkat lebih awal untuk mengantisipasi hal-hal yang tidak diinginkan seperti lalu lintas macet mendadak.

Contoh Lebih Lanjut yaitu Penerapan Statistika oleh instansi-instansi besar pemerintahan / swasta yang mudah diamati:

• Perkiraan Cuaca oleh BMKG
• Menganalisis Peforma dalam Olahraga.
  Prediksi pemenang pertandingan sepak bola.
• Iklan.
  Periklanan yang sesuai dengan minat kita.
• Media Sosial.
  Kemunculan konten di halaman FYP yang sesuai dengan minat kita
• Quick Count (Perhitungan Cepat) hasil Pemilu oleh Lembaga Survei
  dengan memilih lokasi sampel yang tepat
• Proyeksi atau perkiraan jumlah penduduk pada waktu tertentu di masa mendatang
• Menghitung Pendapatan Per Kapita
• Mengelompokan populasi ke dalam kategori tertentu berdasarkan ciri-ciri khas yang ada. Misal dalam pengajuan kredit di Bank. Bank akan meilihat karakteristik pemohon dengan beberapa ciri-ciri yang dimiliki apakah memiliki prospek bisa membayar atau tidak.
• Prediksi tren pertumbuhan ekonomi
• Menganalisis tren pasar oleh perusahaan di bidang keuangan
• Menggunakan uji statistik anova atau yang lainnya untuk menentukan apakah perubahan perlakuan dapat memberikan perubahan pada hasil akhir yang diinginkan. Biasanya digunakan oleh labolatorium atau lembaga penelitian.
• Menentukan standar tinggi pintu / rumah / kendaraan
• Menentukan kenormalan pertumbuhan anak.
  Bisa dicek dalam buku Kesehatan Ibu dan Anak (KIA)

Penerapan Pelajaran Matematika dan Fisika di Rumah: #1 Matematika

Pelajaran matematika & fisika sering kali jadi momok yang menakutkan bagi sebagian dari kita saat masih sekolah di sekolah menengah dulu.
Ada yang bilang kalau matematika itu abstrak dan jarang penerapannya secara langsung di kehidupan sehari-hari, sementara fisika walaupun aplikasinya lebih nyata dari matematika tetapi tetap saja kadang menjadi lebih sulit karena banyak rumusnya & kejadian simpel saja rumusnya bisa begitu rumit.
Pada postingan kali ini akan dipaparkan percobaan atau kejadian atau penerapan matematika dan fisika di rumah yang berhubungan dengan rumus-rumus matematika dan fisika semasa SMP s.d. SMA atau sederajat.