منصة تحليلات البيانات الموحدة من Databriks

لماذا نحتاج إلى محرك ونموذج برمجة جديد لتحليل البيانات في المقام الأول؟ كما هو الحال مع العديد من الاتجاهات في برمجيات الحاسوب، بسبب التغيرات في الاتجاهات الاقتصادية التي تؤثر على تطبيقات الحاسوب والأجهزة.

طوال تاريخ الحواسيب، كانت تتسارع سرعتها سنويًا بفضل زيادة سرعة المعالج، فكل عام كانت المعالجات الجديدة قادرة على تنفيذ مزيد من الأوامر في الثانية مقارنة بالعام السابق. ونتيجة لهذا، كانت التطبيقات تصبح أيضًا أسرع تلقائيًا كل عام، دون الحاجة إلى تغيير أكوادها البرمجية. هذا الاتجاه أدى إلى تطور بيئة تطبيقات ضخمة ومتماسكة مع مرور الوقت، حيث كانت معظم هذه التطبيقات مصممة للعمل على معالج واحد فقط، وكانت تستفيد من زيادة سرعة المعالج لتوسيع نطاق الحسابات الكبيرة أو حجم البيانات.

لكن للأسف، توقف هذا الاتجاه في عام 2005 بسبب الحدود الصعبة في تبديد الحرارة، حيث توقف مطورو المعدات الحاسوبية عن زيادة سرعة المعالجات الفردية وبدأوا بإضافة المزيد من النوى المتوازية للمعالج المركزي، كلها تعمل بنفس السرعة. وبالتالي، أصبح من الضروري فجأة تعديل التطبيقات لإضافة التوازي من أجل الحصول على أداء أسرع، مما دفع بالبيئة التطويرية نحو استيعاب نماذج برمجة جديدة مثل Apache Spark.

بالإضافة إلى ذلك، لم تتوقف تكنولوجيا تخزين وجمع البيانات عن التطور بشكل ملحوظ بعد عام 2005، بينما كانت سرعات المعالجات تتباطأ. فاستمرار انخفاض تكلفة تخزين 1 تيرابايت من البيانات بنسبة تقريبية ضعف مقدارها كل 14 شهرًا، جعل من الطبيعي للمؤسسات بجميع الأحجام تخزين كميات هائلة من البيانات. وبالإضافة إلى ذلك، استمرار تراجع تكلفة التقنيات المستخدمة في جمع البيانات (مثل المستشعرات والكاميرات ومجموعات البيانات العامة)، وتحسن دقتها، مما جعل من السهل والرخيص جمع مجموعة متنوعة من البيانات.على سبيل المثال: تستمر تقنية الكاميرات في تحسين الدقة والتقليل من تكلفة البيكسل كل عام، إلى درجة أن كاميرا الويب بدقة 12 ميجابيكسل تكلف فقط 3-4 دولارات أمريكية؛ وهذا جعل جمع مجموعة واسعة من البيانات البصرية رخيصًا، سواء كانت من الأشخاص الذين يقومون بتصوير الفيديو أو من المستشعرات الآلية في بيئة صناعية. علاوة على ذلك، تعتبر الكاميرات بمثابة المستشعرات الأساسية في أجهزة جمع البيانات الأخرى، مثل التلسكوبات وحتى آلات تسلسل الجينات، مما يقلل تكلفة هذه التقنيات أيضًا.

وبالتالي، في هذا العالم الجديد، حيث أصبح جمع البيانات رخيصًا للغاية، ولكن معالجتها تتطلب حسابات كبيرة ومتوازية، ظهرت الحاجة إلى نماذج برمجة جديدة تتناسب مع هذه التطورات. وهذا هو العالم الذي تم إنشاء Apache Spark من أجله.