AWS Glue
#167 · Level 3 · আধুনিক architecture · Data ও Analyticsধারণা
“ধারণা” অংশAWS Glue হলো serverless ETL service — নানা জায়গা থেকে data এনে পরিষ্কার করে সাজিয়ে নতুন জায়গায় রাখে। ETL মানে Extract (data আনা), Transform (বদলানো) আর Load (রাখা)। এর একটা মূল অংশ Data Catalog, যেখানে কোন data কোথায় আর কী কাঠামোয় আছে, তার বর্ণনা থাকে। Crawler নিজে data ঘেঁটে এই catalog-এ table-এর বর্ণনা লিখে দিতে পারে। আসল রূপান্তরের কাজ হয় Glue job-এ, যা পিছনে Apache Spark-এর মতো engine-এ চলে।
সহজ উদাহরণ
“সহজ উদাহরণ” অংশবাজার থেকে আনা সবজি ধুয়ে, কেটে, আলাদা পাত্রে সাজিয়ে রান্নার জন্য তৈরি করা।
কেন দরকার
“কেন দরকার” অংশকাঁচা data অগোছালো থাকে — ভুল ফরম্যাট, বাদ পড়া তথ্য। বিশ্লেষণের আগে পরিষ্কার করতে হয়।
কোথায় ব্যবহার হয়
“কোথায় ব্যবহার হয়” অংশDatabase আর file থেকে data এনে S3-এ সাজানো, data-র তালিকা (Data Catalog) বানানো।
Azure-এ এর মতো
“Azure-এ এর মতো” অংশAzure Data Factory
আরও জানুন
“আরও জানুন” অংশবিস্তারিত আর সর্বশেষ তথ্যের জন্য official documentation দেখুন: