Apa itu Amazon EMR?
Amazon EMR (sebelumnya dikenal sebagai Amazon Elastic MapReduce) adalah alat dari Amazon Web Services (AWS) untuk pemrosesan dan analisis data besar. Amazon memasarkan EMR sebagai layanan yang dapat diperluas dan memiliki konfigurasi rendah, memberikan alternatif untuk menjalankan komputasi kluster di lingkungan on-premises.
Amazon EMR berbasis pada Apache Hadoop, sebuah kerangka pemrograman berbasis Java yang mendukung pemrosesan kumpulan data besar di lingkungan komputasi terdistribusi. Dengan menggunakan MapReduce, komponen inti dari kerangka perangkat lunak Hadoop, pengembang dapat menulis program untuk memproses data tidak terstruktur dalam jumlah besar pada kluster prosesor terdistribusi atau komputer mandiri. MapReduce dikembangkan oleh Google untuk mengindeks halaman web dan menggantikan algoritma indeks asli serta heuristik mereka pada tahun 2004.
Amazon EMR memproses data besar melalui kluster Hadoop yang berjalan di server virtual pada Amazon Elastic Compute Cloud (EC2) dan Amazon Simple Storage Service (S3). Istilah Elastic dalam nama EMR mengacu pada kemampuan penyesuaian dinamisnya, yang memungkinkan administrator untuk menambah atau mengurangi sumber daya sesuai kebutuhan.
Amazon EMR digunakan untuk analisis data dalam berbagai kasus, seperti analisis log, pengindeksan web, data warehousing, machine learning (ML), analisis keuangan, simulasi ilmiah, dan bioinformatika. Layanan ini juga mendukung beban kerja berbasis Apache Spark, Apache Hive, Presto, dan Apache HBase. Apache Hive terintegrasi dengan Hive dan Pig, yang merupakan alat data warehouse open source untuk Hadoop. Hive digunakan untuk menjalankan kueri dan menganalisis data, sementara Pig menyediakan mekanisme tingkat tinggi untuk memprogram pekerjaan MapReduce yang akan dieksekusi di Hadoop.
Kasus Penggunaan Amazon EMR
Berikut beberapa cara perusahaan dapat menggunakan Amazon EMR:
- Machine learning. Alat ML bawaan EMR menggunakan kerangka Hadoop untuk membuat berbagai algoritma pendukung pengambilan keputusan, termasuk decision trees, random forests, support-vector machines, dan logistic regression.
- Extract, transform, and load (ETL). ETL adalah proses memindahkan data dari satu atau beberapa sumber data ke sumber lain. Transformasi data, seperti pengurutan, penggabungan, dan agregasi, dapat dilakukan menggunakan EMR.
- Analisis klikstream. Data klikstream dari Amazon S3 dapat dianalisis dengan Apache Spark dan Apache Hive. Spark memanfaatkan kerangka kerja untuk menjalankan pekerjaan di kluster komputer besar dan dapat memproses data secara paralel. Analisis klikstream membantu organisasi memahami perilaku pelanggan, meningkatkan tata letak situs web, menemukan kata kunci yang sering digunakan di mesin pencari, dan memahami kombinasi kata yang berkontribusi pada penjualan.
- Streaming data real-time. Pengguna dapat menganalisis peristiwa dengan sumber data streaming secara real-time menggunakan Apache Spark Streaming dan Apache Flink. Hal ini memungkinkan pipeline data streaming dibuat di EMR.
- Analitik interaktif. EMR Notebooks adalah layanan terkelola yang menyediakan lingkungan yang aman, skalabel, dan andal untuk analitik data. Dengan menggunakan Jupyter Notebook, ilmuwan data dapat menyiapkan dan memvisualisasikan data untuk melakukan analitik interaktif.
- Genomika. Organisasi dapat menggunakan EMR untuk memproses data genomik sehingga analisis dan pemrosesan data menjadi lebih skalabel untuk industri seperti medis dan telekomunikasi.
Opsi Penyebaran Amazon EMR
Sebagai layanan cloud, Amazon EMR dapat disebarkan dalam berbagai pengaturan, seperti:
- Amazon EMR di Amazon EC2. Amazon EMR dapat dengan cepat memproses data dalam jumlah besar menggunakan Amazon EC2. Pengguna dapat mengonfigurasi Amazon EMR untuk memanfaatkan On-Demand, Reserved, dan Spot Instances.
- Amazon EMR di Amazon Elastic Kubernetes Service (EKS). Konsol Amazon EMR memungkinkan pengguna menjalankan aplikasi Apache Spark bersama aplikasi lain pada kluster EKS yang sama. Hal ini memungkinkan organisasi berbagi sumber daya komputasi dan memori di seluruh aplikasi.
- Amazon EMR di AWS Outposts. AWS Outposts memungkinkan organisasi menjalankan EMR di pusat data mereka sendiri. Ini memudahkan pengaturan, penyebaran, pengelolaan, dan penskalaan EMR di lingkungan on-premises.
Fitur Amazon EMR
Fitur Amazon EMR dirancang untuk mempermudah dan membuat lebih nyaman berbagai tugas untuk administrator dan pengembang:
- EMR Studio. IDE (Integrated Development Environment) ini membantu pengembang menulis kode dengan efisiensi tinggi. EMR Studio mencakup editor kode sumber, alat otomatisasi build, dan debugger.
- Biaya. Harga kluster EMR dengan 10 node adalah $0,15 per jam. Organisasi hanya membayar untuk waktu penggunaan kluster. Mereka dapat mengontrol biaya lebih jauh dengan menggunakan Spot Instances, yang memungkinkan pengguna menawar kapasitas EC2 yang tidak terpakai.
- Elastisitas. EMR memisahkan komputasi dan penyimpanan untuk penskalaan individu dan memanfaatkan penyimpanan bertingkat Amazon S3. AWS Auto Scaling memungkinkan penyesuaian jumlah instance sesuai kebutuhan.
- Keandalan. Amazon EMR memantau kluster untuk memastikan penggunaan sumber daya optimal. Layanan ini menggunakan Amazon CloudWatch untuk mengumpulkan dan menganalisis metrik, memantau kesehatan kluster, serta mengidentifikasi node atau pekerjaan yang bermasalah.
- Keamanan. EMR menyediakan fitur keamanan seperti pengaturan firewall EC2 otomatis untuk lalu lintas jaringan yang diperlukan saja. Kluster diluncurkan dalam Amazon Virtual Private Cloud. Enkripsi sisi server atau sisi klien dapat membantu pengelolaan kunci, sementara AWS Lake Formation atau Apache Ranger mengelola kontrol akses data.
- Fleksibilitas. EMR memungkinkan pengguna menyesuaikan kluster dan menginstal paket perangkat lunak pihak ketiga menggunakan skrip. Pengguna juga dapat mengonfigurasi ulang aplikasi tanpa meluncurkan ulang kluster.