ما المقصود بكتالوج البيانات؟

كتالوج البيانات هو جرد لكل البيانات التي تجمعها المؤسسة وتعالجها. تُلزم المتطلبات التنظيمية المؤسسات بتأمين بياناتها وحمايتها في كل الأوقات، من التكل إلى الاستهلاك. يقوم كتالوج البيانات بتنظيم البيانات وتصنيفها لدعم الحوكمة واكتشاف البيانات. إنه يسهّل الكفاءة التشغيلية من خلال مشاركة السياق، حيث يمكن للكل أن يفهموا بسرعة سبب استخدام مجموعة بيانات محددة داخل المؤسسة وكيفية ذلك.

كأداة تنظيمية، يعمل كتالوج البيانات على تبسيط البحث عن البيانات وتحديد الغرض الذي تستخدمه من أجله. نقدم فيما يلي بعض المزايا.

اكتشاف سريع للأصول

يبسِّط كتالوج البيانات عملية تحديد البيانات، ما يساعد في زيادة إنتاجية الموظفين. يمكنك بعد ذلك البحث عن البيانات باستخدام العلامات الوصفية لاكتشاف البيانات ذات الصلة بسرعة مع فهم سياق وغرض كل مجموعة بيانات. وهو يوفر عرضًا لمصدر البيانات، وكيفية انتقالها عبر الأنظمة، وكيفية تحويلها.  يمكن لمحللي البيانات في كثير من الأحيان إجراء تحليلاتهم دون الاعتماد بشكل كبير على تكنولوجيا المعلومات، ما يؤدي إلى رؤى سريعة.

جودة بيانات محسّنة

تتطلب كتالوجات البيانات العديد من الحقول التي يحتاج الموظفون إلى إكمالها عندما تستوعب الشركة بيانات جديدة. عندما يصل المستخدمون إلى الكتالوج، فإن قدرتهم على قراءة أصول البيانات وعمليات التحويل وتواريخ التحرير تعني أنه يمكنهم الحصول على مزيد من الثقة في التفاعل مع المعلومات. تساعد درجة الاكتمال العالية في زيادة سهولة حوكمة البيانات وتحسين جودة البيانات. يمكن للشركات أيضًا أتمتة إنشاء البيانات الوصفية لكتالوج البيانات هذا لتوفير كتالوجات بيانات شاملة بجهد أقل. 

زيادة الكفاءة

يعزز كتالوج البيانات الاتساق في التسمية والتعريفات والمقاييس، ما يضمن توافق الفرق المختلفة داخل المؤسسة في فهمها واستخدامها للبيانات. من خلال الرؤية في كل أصول البيانات، يمكن للمؤسسات تقليل تكرار البيانات، ما يضمن عدم تكرار الجهود وتقليل تكاليف التخزين. تساعد مكاسب الإنتاجية التي يختبرها علماء البيانات أيضًا على تقليل التكاليف الإجمالية.

الأمان المعزّز

تتطلب لوائح الخصوصية من المؤسسات معرفة مكان وجود البيانات الشخصية ومَن قام بالوصول إليها. يمكن أن يساعد كتالوج البيانات في ضمان معالجة البيانات الحساسة بشكل صحيح ومنح الوصول بشكل مناسب. يمكن للمؤسسات تتبع مصدر بياناتها، ومَن قام بالوصول إليها، وكيفية استخدامها، وبالتالي تعزيز مبادرات الامتثال التنظيمي. 

يمكن للمؤسسات استخدام كتالوجات البيانات لتبسيط التخزين وإدارة البيانات. فيما يلي بعض حالات الاستخدام لكتالوج البيانات.

تحليلات الخدمة الذاتية

يوفر كتالوج البيانات وصفًا تفصيليًا لما تحتويه البيانات وهدف الشركة من استخدامه. وهو يسمح أيضًا للشركات بالتمييز بين العديد من البيانات المتشابهة وتسريع أي عملية تتعلق باسترداد البيانات واستخدامها؛ خاصةً في بيئات المؤسسات. تسمح هذه الشفافية المحسّنة للمستخدمين بتحديد البيانات التي يبحثون عنها بسرعة واكتشاف كل المعلومات الضرورية في مكان واحد. يمكنك إنشاء عمليات سير عمل تحليلات الخدمة الذاتية لمستخدمي البيانات غير التقنيين، حتى مع وجود كميات كبيرة من البيانات في التخزين.

مشاركة المعلومات

يُعد التعاون ضروريًا لاستخلاص رؤى قابلة للتنفيذ من البيانات. ويعزز كتالوج البيانات بيئة تعاونية من خلال السماح للمستخدمين بالتعليق على مجموعات البيانات وتقييمها ومراجعتها. من خلال مشاركة خبراتهم ومعرفتهم حول مجموعات بيانات محددة، يمكن للمستخدمين العمل معًا لتقليل المخاطر وتسريع التحليلات في كل أنحاء المؤسسة.

تحليل نسب البيانات

يُعد فهم مصدر البيانات وكيفية عبورها عبر الأنظمة المختلفة أمرًا بالغ الأهمية لاستكشاف مشكلات البيانات وإصلاحها أو إجراء تحليلات التأثير أو تلبية معايير الامتثال. يوفر كتالوج البيانات رؤية نسب البيانات، ما يمنح المستخدمين صورة واضحة لرحلة البيانات من مصدرها إلى وجهتها النهائية. يمكن للشركات إنشاء مستندات تصنيف داخلية تسمح لكل الموظفين بفهم الأسماء الصحيحة لكل أصول البيانات. يؤدي وجود مستند أو ورقة مرجعية في كتالوج البيانات إلى زيادة تماسك البيانات على مستوى المؤسسة.

تحتوي كتالوجات البيانات على بيانات وصفية لوصف مخزون أصول البيانات وتقديم معلومات إضافية حول ما تحتويه البيانات. تسمح لك حقول البيانات الوصفية بالبحث السريع في البيانات وتحديد مكان الأصول. يمكن أن يتضمن كتالوج البيانات نطاقًا من البيانات الوصفية، مثل الأمثلة التالية.

البيانات الوصفية للشركات

البيانات الوصفية للشركات هي أي معلومات تتعلق بالقيمة التي تقدمها للنشاط التجاري. ويمكن أن تتضمن معلومات حول استخدام البيانات في الأعمال التجارية وتفاصيل الامتثال التنظيمي وسياق الأعمال المفيد للمستخدمين الآخرين. على سبيل المثال، قد تحتوي على تعليقات توضيحية لمشروع البيانات، مثل مستويات سرية البيانات والأوصاف والموقع والمستخدمين والقسم والمزيد. وستحدد المؤسسة عادةً بيانات الأعمال الدقيقة التي تحتاج إليها وتتضمن العديد من المجالات ذات الصلة.

البيانات الوصفية الفنية

تصف البيانات الوصفية الفنية الهيكل العام لمجموعة البيانات. وهي تصف بنية كائنات البيانات والتعليق على علاقاتها واتصالاتها وفهارسها وصفوفها وأعمدتها ونموذجها الجدولي. توفر هذه البيانات الوصفية أيضًا سياقًا لمحترفي البيانات حول العمليات التي يجب أن تخضع لها البيانات، مثل الانتقال من خلال التحول أو التحليل. يدرك المستخدمون بسرعة كيفية قيام المؤسسة بتنظيم المعلومات وعرضها. 

البيانات الوصفية التشغيلية

تعلق البيانات الوصفية التشغيلية على أصل البيانات وتحوُّلها وتحديثاتها والارتباط الأساسي وعلامات تعريف العملية الأخرى. باستخدام بيانات التعريف التشغيلية، يمكنك رؤية كيفية إدخال البيانات إلى مؤسستك، والتحوُّل الذي مرت به، وتحديثات الحالة الحالية الأخرى. باستخدام حقول البيانات الوصفية التشغيلية، يمكنك رؤية آخر مرة قام فيها المستخدمون بتحرير البيانات ومَن لديه الإذن بتحرير البيانات.

تستخدم منصات كتالوج البيانات الحديثة العديد من الميزات الرئيسة لتبسيط استخدامها وزيادة الكفاءة. 

الأتمتة

تتيح الأتمتة للشركات إدارة كتالوج البيانات الخاص بها بجهد أقل. تسمح إمكانات التكامل للكتالوج بسحب البيانات الوصفية تلقائيًا من مصادر مختلفة. يظل الكتالوج محدثًا عند إضافة أصول بيانات جديدة أو تحديث الأصول الحالية. تستفيد بعض الأنظمة المتقدمة أيضًا من تعلّم الآلة لتحسين عمليات تصنيف البيانات الخاصة بها وتحسينها بمرور الوقت. تحسِّن ميزات الأتمتة داخل كتالوج البيانات السرعة على الرغم من أحجام البيانات المتزايدة باستمرار.

خيارات البحث الفعالة

تتجاوز ميزات البحث في كتالوج البيانات عمليات البحث عن الكلمات الرئيسة الأساسية لتقديم اقتراحات. وهي أيضًا تتضمن عوامل تصفية حتى يتمكن المستخدمون من العثور على البيانات بناءً على معايير مختلفة. تشبه تجربة المستخدم محركات البحث الحديثة، حيث توفر نتائج ذات صلة ومُصنفة وسريعة الوصول إليها. إن الكفاءة في استرداد البيانات توفِّر الوقت وفي الوقت نفسه تحفز اكتشاف البيانات واستكشافها. 

مسرد المصطلحات العام

يقدم مسرد المصطلحات العام تعريفات موحدة للمصطلحات والمقاييس على مستوى المؤسسة. إنه يضمن أن كل مصطلحات البيانات الوصفية لها تعريف واحد واضح. عندما يصادف المستخدمون مصطلحًا في الكتالوج، يمكنهم الرجوع إلى المسرد لمعرفة معناه، ما يضمن الفهم والاستخدام المتسق في كل المجالات. وهذا أمر بالغ الأهمية بشكل خاص للحفاظ على سلامة البيانات وتعزيز التواصل الواضح بين الفرق المختلفة.

حوكمة البيانات هي منهجية تضمن أنّ حالة البيانات مناسبة لدعم مبادرات الشركات وعملياتها. ​إن إرساء الحوكمة الصحيحة يعني تحقيق التوازن بين الوصول إلى البيانات والتحكم فيها ومنح الناس الثقة في البيانات مع تحفيز إجراء التجارب. وهي توفر إطارًا يمكن للأشخاص اتباعه عند استخدام بيانات المؤسسة والتكنولوجيا. وتُعد حوكمة البيانات مفيدة لضمان جودة عالية للبيانات والاستخدام المناسب في ظل القيود التنظيمية.

تعبّر كتالوجات البيانات عن تقنية لتنفيذ سياسات حوكمة البيانات. وتحدد حوكمة البيانات سياسات استخدام البيانات، بينما تفرض كتالوجات البيانات هذه السياسات. وتسمح هذه الكتالوجات للشركات بتتبع حوكمة بياناتها بشكل أكثر فعالية. 

AWS Glue هي خدمة تكامل بيانات بلا خادم تسهّل اكتشاف البيانات وإعدادها ونقلها ودمجها من مصادر متعددة للإجراء التحليلات واستخدام تعلّم الآلة وتطوير التطبيقات. يُعد كتالوج بيانات AWS Glue مستودعًا مركزيًا لتخزين البيانات الوصفية الهيكلية والتشغيلية لكل أصول البيانات لديك. ويمكنك تخزين تعريف جدول مجموعة بيانات معينة وموقعها الفعلي وإضافة السمات ذات الصلة بالأعمال وتتبّع كيفية تغيُّر هذه البيانات بمرور الوقت.

يتكامل كتالوج البيانات أيضًا مع Amazon Athena وAmazon EMR وAmazon Redshift Spectrum. بمجرد إضافة تعريفات الجدول إلى كتالوج البيانات، يمكنك الحصول على عرض مشترك لبياناتك بين هذه الخدمات.

توفر AWS Glue العديد من الطرق لتعبئة البيانات الوصفية في كتالوج البيانات. على سبيل المثال، يمكنك:

• إعداد برامج التتبع المسحي في AWS Glue لفحص مخازن البيانات المختلفة واستنتاج المخططات وبنية الأقسام تلقائيًا وتعبئة كتالوج البيانات بتعريفات الجدول والإحصاءات المقابلة.
• جدولة برامج التتبع المسحي لتشغيلها بشكل دوري حتى تكون البيانات الوصفية محدَّثة دائمًا ومتزامنة مع البيانات الأساسية. 
• يمكنك إضافة تفاصيل الجدول وتحديثها يدويًا باستخدام وحدة تحكم AWS Glue أو عن طريق استدعاء واجهة برمجة التطبيقات (API). 

ابدأ العمل باستخدام كتالوجات البيانات على AWS من خلال إعداد حساب مجاني اليوم.