Data Lake কী?

ধারণা

Data Lake হলো একটা বিশাল জায়গা, যেখানে সব ধরনের data যেমন আছে তেমনই জমা রাখা হয়, পরে দরকারমতো ব্যবহারের জন্য। এখানে table-এর মতো সাজানো data, JSON-এর মতো আধা-সাজানো data আর ছবি বা লেখার মতো অসাজানো data — সবই রাখা যায়। Data রাখার সময় কাঠামো ঠিক করতে হয় না; পড়ার সময় ঠিক হয়। Data Lake কোনো একক service নয়, বরং কয়েকটা service মিলে বানানো একটা পদ্ধতি। AWS-এ সাধারণত S3 হয় মূল storage, আর তার চারপাশে catalog, অনুমতি আর বিশ্লেষণের service কাজ করে।

সহজ উদাহরণ

একটা বড় গুদামঘর। চাল, ডাল, কাপড়, কাগজ — সবকিছু আগে গুদামে রাখা হয়। পরে যখন যেটা দরকার, বের করে সাজিয়ে কাজে লাগানো হয়।

কেন দরকার

Company-র data অনেক জায়গা থেকে আসে (website, app, sales, log)। আগে সব এক জায়গায় রাখলে পরে বিশ্লেষণ সহজ হয়।

কোথায় ব্যবহার হয়

AWS-এ সাধারণত S3-কে data lake হিসেবে ব্যবহার করা হয়; Lake Formation, Glue, Athena, EMR তার চারপাশে কাজ করে।

Azure-এ এর মতো

Azure Data Lake Storage Gen2

মনে রাখুন

Data Lake = সব data-র গুদামঘর। Glue/EMR = গুদাম থেকে data বের করে কাজে লাগানোর কর্মী।

আরও জানুন

বিস্তারিত আর সর্বশেষ তথ্যের জন্য official documentation দেখুন:

• Data Lake কী? — AWS official page ↗