Apa itu dropout dalam deep neural networks?
Dropout mengacu pada data atau noise yang sengaja dihilangkan dari neural networks ( jaringan saraf ) untuk meningkatkan efisiensi pemrosesan dan mempercepat waktu mendapatkan hasil.
neural networks adalah perangkat lunak yang mencoba meniru cara kerja otak manusia. Otak manusia memiliki miliaran neuron yang mengirimkan sinyal listrik dan kimia satu sama lain untuk mengoordinasikan pikiran dan fungsi kehidupan. Jaringan saraf menggunakan versi perangkat lunak dari neuron ini, yang disebut unit. Setiap unit menerima sinyal dari unit lain, lalu menghitung keluaran yang diteruskan ke unit lain dalam jaringan.
Mengapa kita membutuhkan dropout?
Tantangan dalam jaringan saraf berbasis perangkat lunak adalah menemukan cara untuk mengurangi noise dari miliaran neuron yang berkomunikasi, agar kapasitas pemrosesan jaringan tidak kewalahan. Untuk mengatasi hal ini, jaringan menghilangkan semua komunikasi dari neuron yang tidak berhubungan langsung dengan masalah atau pelatihan yang sedang dikerjakan. Proses penghapusan neuron ini disebut dropout.
Lapisan dropout
Seperti neuron dalam otak manusia, unit dalam jaringan saraf memproses berbagai input secara acak dan menghasilkan banyak output dalam satu waktu. Beberapa output ini hanya merupakan hasil perhitungan sementara yang kemudian diteruskan ke unit lain untuk diproses lebih lanjut sebelum mendapatkan hasil akhir. Sebagian dari proses ini menghasilkan noise yang tidak diperlukan dalam output akhir.
Saat ilmuwan data menerapkan dropout dalam jaringan saraf, mereka mempertimbangkan sifat pemrosesan acak ini. Mereka memutuskan data mana yang bisa diabaikan dan menerapkan dropout pada berbagai lapisan jaringan saraf sebagai berikut:
- Lapisan input. Ini adalah lapisan teratas dalam kecerdasan buatan (AI) dan pembelajaran mesin di mana data mentah pertama kali dimasukkan. Dropout bisa diterapkan pada lapisan ini untuk menyaring data yang dianggap tidak relevan dengan permasalahan bisnis yang sedang dikerjakan.
- Lapisan tersembunyi atau intermediate. Lapisan ini adalah bagian dari proses setelah pengambilan data. Disebut “tersembunyi” karena kita tidak bisa melihat secara langsung bagaimana cara kerjanya. Lapisan ini bisa terdiri dari satu atau banyak unit yang memproses data dan menghasilkan output sementara sebelum diteruskan ke unit lain. Karena sebagian besar proses ini hanya menghasilkan noise, ilmuwan data menggunakan dropout untuk menghapus sebagian datanya.
- Lapisan output. Ini adalah hasil akhir dari semua pemrosesan dalam jaringan saraf. Dropout tidak digunakan pada lapisan ini.
Contoh dan penggunaan dropout
Sebuah organisasi yang memantau transmisi suara dari luar angkasa mencari sinyal berulang dengan pola tertentu karena bisa menjadi tanda kehidupan. Sinyal mentah ini dimasukkan ke dalam jaringan saraf untuk dianalisis. Sejak awal, ilmuwan data menyaring semua sinyal suara yang tidak memiliki pola berulang. Mereka juga menghilangkan sebagian unit pada lapisan tersembunyi untuk mempercepat proses dan mendapatkan hasil lebih cepat.
Berikut contoh lain bagaimana dropout bekerja: Sebuah perusahaan biokimia ingin merancang struktur molekul baru untuk membuat plastik inovatif. Mereka sudah mengetahui elemen-elemen penyusun molekul tersebut, tetapi belum menemukan formulasi yang tepat.
Agar lebih efisien, perusahaan ini membangun jaringan saraf yang dapat menganalisis banyak penelitian global, tetapi hanya memproses penelitian yang langsung terkait dengan molekul dan elemen-elemennya. Informasi lain yang tidak relevan secara otomatis diabaikan melalui dropout. Dengan menyaring data yang tidak diperlukan sejak awal, model AI perusahaan ini menghindari fenomena yang disebut overfitting. Overfitting terjadi ketika model AI mencoba mengenali pola dari data yang terlalu berisik karena terlalu banyak data yang tidak relevan tidak dihapus sejak awal proses.