Amazon EMR
#169 · Level 3 · আধুনিক architecture · Data ও Analyticsধারণা
“ধারণা” অংশAmazon EMR দিয়ে Apache Spark, Hadoop-এর মতো big data tool চালিয়ে বিশাল data খুব দ্রুত process করা যায়। এটা কাজটাকে অনেক computer-এ ভাগ করে একসাথে চালায়, এই computer-এর দলকে বলে cluster। Cluster চলতে পারে EC2-তে, Amazon EKS-এ, অথবা EMR Serverless-এ যেখানে cluster সামলাতে হয় না। সাধারণত data থাকে S3-এ, আর EMR সেখান থেকে পড়ে ফল আবার S3-এ লেখে। Cluster বানানো, software বসানো আর বাড়ানো-কমানোর কাজ AWS সামলায়।
সহজ উদাহরণ
“সহজ উদাহরণ” অংশএক জন মানুষের বদলে একশো জনের দল দিয়ে কাজ ভাগ করে করা — বিশাল কাজও দ্রুত শেষ।
কেন দরকার
“কেন দরকার” অংশTerabyte-petabyte data একটা computer-এ process করতে দিন-সপ্তাহ লাগে।
কোথায় ব্যবহার হয়
“কোথায় ব্যবহার হয়” অংশবিশাল log বিশ্লেষণ, machine learning-এর জন্য data তৈরি, বড় ETL কাজ।
Azure-এ এর মতো
“Azure-এ এর মতো” অংশAzure Databricks / HDInsight
আরও জানুন
“আরও জানুন” অংশবিস্তারিত আর সর্বশেষ তথ্যের জন্য official documentation দেখুন: