منتجات تحليلات البيانات الضخمة الحقيقية.

أصبحت البيانات الضخمة اليوم أكثر وأكثر شعبية. اليوم، تقدم لك SPOTO مقدمة موجزة عن العديد من منصات تحليل البيانات الضخمة التمثيلية:

1. كلاوديرا

باعتبارها شركة منصة البيانات الضخمة الأكثر شهرة في العالم، فإن 90% من الإصدار المحلي معبأ بشكل أساسي على أساس CDH ولديه أكبر سيطرة على المجتمع. بالشراكة مع بائعي البرامج الدوليين، يغطي المنتج منصات البيانات الضخمة، واستخراج وتحويل وتحميل البيانات، والتحليلات المتقدمة، وتصور البيانات والمزيد. توفر Cloudera منصة قابلة للتطوير ومرنة ومتكاملة لإدارة مجموعة البيانات المتزايدة بسرعة في مؤسستك بسهولة لنشر وإدارة Hadoop والمشاريع ذات الصلة، وتشغيل وتحليل بياناتك، وتأمين بياناتك. Cloudera Manager هو تطبيق متطور لنشر وإدارة ومراقبة عمليات نشر CDH وتشخيص المشكلات. يوفر Cloudera Manager وحدة تحكم المسؤول، وهي واجهة مستخدم قائمة على الويب تجعل إدارة بيانات مؤسستك بسيطة ومباشرة. يتضمن واجهة برمجة تطبيقات Cloudera Manager للحصول على معلومات ومقاييس صحة المجموعة وتكوين Cloudera Manager.

هناك أيضًا برنامج احترافي مثل Statistica، بيئة نظام تدمج تحليل البيانات، والرسم البياني، وإدارة قواعد البيانات، وتطوير التطبيقات المخصصة، والتي لا توفر فقط متطلبات الأغراض العامة مثل إحصاءات المستخدم، والرسم الخرائطي، وإجراءات إدارة البيانات، ولكنها توفر أيضًا احتياجات محددة. طريقة تحليل البيانات؛ تتمتع منصة تحليل Actian بأداء توفر عالٍ، ويمكن نشرها بحرية في سحابة خاصة أو منصة سحابية هجينة، ووضع تفويض مرن، وتحليل استعلام مخصص، وما إلى ذلك، وخاصة توسيع قيود أداء Hadoop بشكل كبير، مما يساعد الشركات على تحويل البيانات الضخمة إلى قيمة تجارية؛ منصة المعلوماتية هي تقنية شاملة تدعم مبادرات تكامل البيانات المعقدة المتعددة على مستوى المؤسسة، بما في ذلك تكامل بيانات المؤسسة، والبيانات الضخمة، ومراقبة جودة البيانات، وإدارة البيانات الرئيسية، وتبادل البيانات بين الشركات، ودورة حياة معلومات التطبيق. الإدارة، ومعالجة الأحداث المعقدة، والرسائل الفائقة، وتكامل بيانات السحابة.

2. حلقة نجمية ترانسورب

استنادًا إلى نظام Hadoop البيئي، قامت Big Data Platform، الشركة الوحيدة لمنصة البيانات الكبيرة في Gartner Magic Quadrant في الصين، بتحسين الجزء غير المستقر من Hadoop، وصقل وظائفه، وتوفير محرك البيانات الكبيرة وأدوات قاعدة البيانات Hadoop للمؤسسات. يعتمد الأساس على Spark، ويدعم SQL على Hadoop، ويدعم بناء الجملة القياسي sql2003، ويدعم Oracle وDB2 وإجراءات Teradata المخزنة، ويدعم معالجة المعاملات الموزعة ACID، ويدعم الذاكرة الفعالة، وحوسبة SSD، ويدعم إدارة الحقوق المرئية، وتكوين موارد الحوسبة، وإدارة تفويض أمان المستخدم، وضوابط الأمان على مستوى الصف.

3. رقم علي زائد

تغطي منصة البيانات الضخمة الشاملة من Alibaba Cloud مجالات مستودعات المؤسسات، وذكاء الأعمال، والتعلم الآلي، وتصور البيانات، وما إلى ذلك. يمكنها توفير جمع البيانات، والتكامل العميق للبيانات، وخدمات الحساب والتعدين، والعديد من الحسابات من خلال الأدوات المرئية. تحليل البيانات الشخصية والعرض، والعرض الرسومي وإدراك العملاء جيدان ولكنهما بحاجة إلى حزمة Alibaba Cloud للاستخدام، وبعض وظائف الخبرة بشكل عام، تحتاج إلى قاعدة معرفية معينة. Max compute (المعروف سابقًا باسم ODPS) هو محرك حوسبة متعدد المستويات. هناك بعدان لرؤية أداء محرك الحوسبة هذا. الأول هو معالجة 100 بيتابايت من البيانات في 6 ساعات، وهو ما يعادل 100 مليون فيلم عالي الدقة، والآخر هو مقياس مجموعة واحدة لأكثر من 10000. تايوان، ودعم الحوسبة المشتركة متعددة المجموعات.

تتكون منصة Digital Plus من ثلاثة مكونات، مجموعات التطوير والحلول وأسواق البيانات. تتضمن مجموعة التطوير مجموعة تطوير البيانات ومجموعة تطوير التطبيقات. في مجموعة تطوير البيانات، تتضمن بشكل أساسي تطوير البيانات الضخمة: بيئة تطوير مرئية متكاملة، يمكنها تحقيق وظائف تطوير البيانات والجدولة والنشر والتشغيل والصيانة وإدارة مستودع البيانات وإدارة جودة البيانات وما إلى ذلك؛ أدوات إعداد التقارير BI: تحليل عبر الإنترنت في الوقت الفعلي للبيانات الضخمة والمؤثرات البصرية الغنية؛ أدوات التعلم الآلي: منصة تعلم آلي تدمج معالجة البيانات وهندسة الميزات والنمذجة والتنبؤ دون اتصال بالإنترنت. الحل: عدد من سيناريوهات الأعمال لسيناريوهات الأعمال المختلفة، بناءً على مجموعات التطوير التي توفرها المنصة وقدرات مقدمي خدمات الصناعة، لربط منتجات متعددة في سلسلة لتوفير حلول الصناعة.

4. هواوي FusionInsight

منصة موحدة لتخزين البيانات الضخمة على مستوى المؤسسة والاستعلام عنها وتحليلها استنادًا إلى Apache. يمكن تشغيل منصة البيانات الضخمة المفتوحة بالكامل على خوادم ذات بنية x86 مفتوحة. وهي تستند إلى محرك معالجة بيانات ضخم ومحرك معالجة بيانات في الوقت الفعلي. وهي تهدف إلى تشغيل وصيانة وتطوير تطبيقات الصناعات كثيفة البيانات مثل التمويل والمشغلين. إنشاء برامج منصة مرنة وذكية وموثوقة.

يتضمن البرنامج الرئيسي للمجتمع المفتوح ومكوناته الرئيسية في النظام البيئي وتم تحسينه على نطاق واسع. FusionInsight Stream هو محرك معالجة بيانات في الوقت الفعلي في منصة تحليل البيانات الضخمة fusion night، والذي يحل تقنية البيانات الضخمة في الوقت الفعلي في وضع مدفوع بالممارسة. يمكن لمشكلة الحساب في الوقت الفعلي لتدفق الأحداث عالية السرعة تحقيق مزايا المعالجة في الوقت الفعلي لأحداث البث في مجالات التمويل والاتصالات والنقل والسلامة العامة وما إلى ذلك، وتوفير التحليل في الوقت الفعلي والقدرة على اتخاذ القرار في الوقت الفعلي.

5. نيت إيز ماموث

منصة NetEase Mammoth Big Data هي منصة شاملة لتطوير تطبيقات البيانات الضخمة وإدارة البيانات، بما في ذلك مجموعة تطوير البيانات الضخمة وتوزيع Hadoop. تتضمن مجموعة تطوير البيانات الضخمة بشكل أساسي تطوير البيانات وتشغيل المهام وصيانتها وتحليل الخدمة الذاتية وإدارة البيانات وإدارة المشاريع وإدارة المستأجرين المتعددين. تربط مجموعة تطوير البيانات الضخمة بشكل فعال تطوير البيانات وتحليلها واستخراج البيانات وتحويلها وغيرها من أعمال علوم البيانات من خلال سير العمل، مما يحسن إنتاجية مهندسي تطوير البيانات ومهندسي تحليل البيانات. يغطي توزيع Hadoop جميع مكونات المنصة الأساسية لـ NetEase Big Data، بما في ذلك المكونات التي تم تطويرها ذاتيًا والمكونات القائمة على تحويلات مفتوحة المصدر. توفر المكونات الغنية والشاملة إمكانيات منصة شاملة تجعل من السهل بناء حلول في مجالات مختلفة لتلبية أنواع مختلفة من احتياجات العمل.

توفر منصة Mammoth دعمًا متعدد المستأجرين، ويتم عزل المستأجرين المختلفين عن بعضهم البعض. تستخدم الطبقة الأساسية مصادقة Kerberos لتحقيق أمان البيانات وعزلها. بالإضافة إلى نظام المصادقة، تنفذ Granger التحكم الدقيق في الوصول، مما يضمن أن كل مستأجر يمكنه فقط عرض المكتبات أو الجداول أو الحقول المسموح لها بالوصول. بالإضافة إلى ذلك، توفر المنصة وظيفة تدقيق للمساعدة في مرحلة ما بعد إنتاج تقارير الامتثال والحوادث لتتبع المصدر وتحسين أمان المنصة من خلال تسجيل وتحليل والإبلاغ عن سلوك منصة المستخدم.

تعمل سطح تشغيل المستخدم للمنصة استنادًا إلى تصميم سيناريو العمل على تحسين سهولة استخدام النظام وإنهاء الحالة المرهقة لتشغيل سطر أوامر المنصة وصيانتها. يكمل مهندسو تطوير البيانات ومحللو البيانات العمل المتعلق بعلم البيانات من خلال السحب والإفلات البسيط وملء النماذج.

توفر وحدة تطوير البيانات في مجموعة تطوير البيانات الكبيرة واجهة تطوير سريعة لنقل قاعدة البيانات، وSQL، وSpark، وOLAP Cube، وMapReduce، وScript أنواعًا مختلفة من المهام. يمكن لمطوري المهام إنشاء البيانات عن طريق السحب والإفلات، ودمج البيانات واستخراج البيانات وتحميلها وتحميلها بسهولة. أعمال علوم البيانات مثل تحليل البيانات. مع أخذ نقل قاعدة البيانات كمثال، يحتاج المستخدم فقط إلى سحب وإفلات مكون "نقل قاعدة البيانات" على اللوحة القماشية والنقر فوقه نقرًا مزدوجًا، وتحديد النموذج المملوء وإدخاله يدويًا من خلال المربع المنسدل لإكمال تطوير مهمة نقل البيانات بسرعة.

بالإضافة إلى ذلك، يمكن للمؤسسات تنفيذ إدارة جدولة المهام عند الطلب وفقًا لسيناريوهات الأعمال الخاصة بها. يمكن للمستخدمين تعيين ترتيب التنفيذ والأولوية وفترة تنفيذ المهام. تعيين عدد المحاولات المتكررة وفترة إعادة المحاولة وقواعد التنبيه لفشل المهمة. أخيرًا، يمكن استخدام نتائج المهمة لتصور تحليل البيانات لنظام BI السائد، أو العودة مباشرة إلى النظام عبر الإنترنت لدعم الأعمال عبر الإنترنت المساعدة.

في عملية تحليل البيانات ومعالجتها، فإن أهمية أمن البيانات واضحة. تستخدم منصة البيانات الضخمة NetEase مصادقة Kerberos في الأسفل، مما يحقق أمان البيانات وعزلها. بالإضافة إلى نظام المصادقة، تنفذ Granger التحكم في الوصول الدقيق، مما يضمن أن كل مستأجر يمكنه فقط عرض الجداول والمكتبات والحقول المسموح لها بالوصول. ليس هذا فحسب، بل توفر المنصة أيضًا وظيفة تدقيق لتسجيل وتحليل وإعداد تقارير عن سلوك منصة المستخدم للمساعدة في تتبع مصدر الحادث وتحسين أمان المنصة.