در قسمت اول و دوم از سری مقالات IBM BigInsights به تشریح این تکنولوژی و همچنین مفهوم Big SQL و برخی قابلیت های مهم آن پرداختیم. در این قسمت به نحوه عملکرد آن در سطوح مختلف می پردازیم.
فرآیند بهینه‌سازی بارکاری در IBM BigInsights
IBM BigInsights، با ارائه چندین ویژگی به ارتقای عملکرد و همچنین قابلیت انطباق و سازگاری در محیط‌های سازمانی کمک می‌نماید.
زمان‌بندی اختصاص بارکاری با BigInsights Scheduler
با توجه به اینکه تمامی بارهای کاری از اولویت یکسانی برخوردار نیستند، BigInsights Scheduler به ارائه‌ی طرح تخصیص جریان کاریِ سازگار برای وظایف MapReduce می‌پردازد تا پردازش داده‌ها را بر اساس یک Policy انتخاب شده توسط کاربر، بهینه نماید. Scheduler، یک Extension برای Hadoop Fair Scheduler می‌باشد که با هدف تخصیص سهم برابری از منابع کلاستر برای تمامی بخش‌ها، طراحی شده است.
مفهوم Adaptive MapReduce و نقش آن در تسریع روند انجام وظایف
Jobهایی که درHadoop اجرا می‌شوند، می‌توانند روند ایجاد وظایف کوچک و متعددی که حجم زیادی از منابع سیستم را مصرف می‌کنند، پایان بخشد. IBM نیز برای مقابله با این موضوع تکنیک جدیدی تحت عنوان Adaptive MapReduce را معرفی نموده است که طراحی آن با هدف سرعت بخشیدن به انجام Jobهای کوچک از طریق تغییر در نحوه‌ی مدیریت وظایف MapReduce، بدون اعلام هشدار در مورد نحوه ایجاد وظایف می‌باشد. Adaptive MapReduce برای عملیات‌های MapReduce و عملیات‌های Hadoop application programming interface یا API، کاملا به صورت Transparent می‌باشد.
مدیریت و امنیت
الزامات دقیق امنیتی که به سایر منابع اطلاعاتی سازمان‌ها اعمال می‌گردد، باید به Big Data نیز، تعمیم یابند. BigInsights با ارائه چندین گزینه سطح بالا می‌تواند امنیت و حریم خصوصی داده‌ها را تضمین نماید.
احراز هویت یا Authentication
مدیران می‌توانند از میان روش‌های موجود برای احراز هویت که شامل Flat File ،Lightweight Directory Access Protocol یا به اختصار LDAP و همچنین (Pluggable Authentication Modules (PAM می‌باشند، روش مناسب برای احراز هویت در کنسول تحت وب BigInsights را انتخاب نمایند. با استفاده از روش LDAP برای احراز هویت، برنامه‌ی نصب BigInsights با یک منبع ذخیره‌سازی که شامل اکانت‌های LDAP برای احراز هویت می‌باشد، ارتباط برقرار می‌کند. مدیران سیستم می‌توانند دسترسی به کنسول BigInsights را بر اساس نقش‌ها یا Roleهای کاربران در گروه‌های مختلف ارائه نموده و روند تنظیم دسترسی برای گروه‌های کاربری مختلف را تسهیل نماید.
نقش‌ها یا Roleها
تکنولوژی IBM BigInsights، چهار نقش را برای کاربران ارائه می‌نماید که عبارتند از: مدیران سیستم (System Administrator)، مدیران داده (Data Administrator)، مدیران برنامه‌های کاربردی (Application Administrator) و کاربران بدون دسترسی مدیریتی (Non-Administrative User). نحوه دسترسی به داده‌ها و ویژگی‌ها منوط به نقش محول شده به کاربر می‌باشد.
ممیزی (Auditing) و امنیت (Security)
Jobهای MapReduce با استفاده از Account IDهای طراحی شده قابل اجرا بوده و به افزایش امنیت، کنترل دسترسی و ممیزی کمک می‌نماید. یکپارچه‌سازی BigInsights با نرم‌افزار امنیت داده‌ی IBM InfoSphere Guardium برای سازمان‌ها این امکان را فراهم می‌سازد تا نیازهای امنیتی و رسیدگی Hadoop را همچون شیوه به کار رفته در مدیریت منابع داده‌ی ساختاریافته، مدیریت نمایند.
همچنین BigInsights از پروتکل احراز هویت Kerberos به صورت Service-To-Service پشتیبانی نموده و توانایی امنیتی برای جلوگیری از حملات Middle Man را افزایش می‌دهد.
بهبود یکپارچه‌سازی در سطح سازمانی
بررسی IBM Watson Explorer
BigInsights شامل یک License با کاربری محدود برای Watson Explorer می‌باشد که به سازمان‌ها در فرآیند شناسایی، جهت‌یابی و تصویرسازیِ حجم زیادی از اطلاعات ساختاریافته و بدون ساختار کمک می‌نمایند. همچنین یک نقطه ورود کارآمد و مقرون‌به‌صرفه را جهت شناسایی ارزش تکنولوژیِ Big Data به واسطه یک چارچوب قدرتمند برای توسعه برنامه‌های کاربردی ارائه می‌نماید که از داده‌های فعلی سازمان استفاده می‌کند.
InfoSphere Streams
تکنولوژی BigInsights در برگیرنده‌ی یک License از InfoSphere Streams با کاربری محدود است که تحلیل داده‌های در جریان را به صورت Real-Time امکانپذیر می‌سازد. InfoSphere Streams، یک سیستم پردازش Stream درسطح سازمانی می‌باشد که علاوه بر قابلیت استخراج داده‌های در جریان می‌تواند داده‌ها را تغییر داده و با سرعت بالا به BigInsights منقل نماید. بدین ترتیب سازمان‌ها می‌توانند داده‌های کسب‌و‌کار را به صورت Real Time بررسی نموده و کارهای لازم را بر روی آن‌ها انجام داده (تحلیل و مرتبط ساختن داده‌ها به محض ورود) و عملکرد پردازش را به صورت اساسی ارتقا بخشند.
Cognos Business Intelligence
BigInsights دارای License برای Cognos Business Intelligence با کاربری محدود می‌باشد که کاربران تجاری را قادر به دسترسی و آنالیز اطلاعات مورد نیاز جهت بهبود فرآیند تصمیم‌گیری، کسب دیدگا‌ه‌های بهتر ومدیریت عملکرد می‌نماید. Cognos Business Intelligence شامل نرم‌افزارهایی برای جستجو، گزارش‌گیری و آنالیز و همچنین داشبوردها و نرم‌افزارهایی برای جمع‌آوری و سازماندهی اطلاعات از منابع متعدد می‌باشد.
InfoSphere Master Data Management
BigInsights برای کاربرانی که قصد آنالیز مشتریان را دارند از InfoSphere Master Data Management جهت انطباق و مرتبط ساختن اطلاعات مشتریان در Hadoop، به صورت مستقیم و با سرعت بالا استفاده می‌نماید. با تخصیص یک ID منحصر به فرد برای هر مشتری، تضمین می‌گردد که فرآیند تجزیه و تحلیل با اطلاعات دقیق‌تری اجرا می‌شود.
بررسی کلی IBM BigInsights برای Apache Hadoop
بطور کلی IBM BigInsights برای Hadoop، به طور صد در صدی یک Apache Hadoop متن باز بوده و شامل قابلیت‌های سازمانی برای پشتیبانی از کلیه موارد کاربردیِ Big Data می‌باشد. تجربه Hadoop با قابلیت دسترس‌پذیری بالا، آموزش، پشتیبانی و ارائه سرویس‌های مورد نیاز توسط IBM ارتقا می‌یابد تا نرخ بازگشت سرمایه و پیاده‌سازی موفق را تضمین نماید.
در زیر به ارائه قابلیت‌های اساسی این تکنولوژی می‌پردازیم:
- پلتفرم منطبق با نیازهای سازمانی با محوریت Apache Hadoop، جهت پردازش، ذخیره‌سازی و آنالیز داده‌ها
- آنالیز پیشرفته برای داده‌های ساختاریافته، نیمه ساختار و بدون ساختار
- ابزار مجازی‌سازی، توسعه و مدیریت در سطح حرفه‌ای برای افزایش بهره‌وری
- تسریع‌کننده‌های برنامه کاربردی که به اجرای سریع کمک نموده و زمان دستیابی به نتیجه را سرعت می‌بخشند.
- ادغام با موارد پیشنهادی و تایید شده‌ی IBM همانند راهکارهای Third-Party
ــــــــــــــــــــــــــــــــــــــــــــ
بررسی IBM BigInsights برای Apache Hadoop – قسمت اول
بررسی IBM BigInsights برای Apache Hadoop – قسمت دوم
بررسی IBM BigInsights برای Apache Hadoop – قسمت سوم (پایانی)
