بررسی گسترش موتورهای اجرا و پلتفرم‌های داده‌ی ترکیب‌پذیر و مزایای این پلتفرم‌ها – قسمت دوم

در قسمت اول مقاله در مورد فرایند تغییر از سیستم‌های داده‌ی سنتی و معماری یکپارچه به پلتفرم‌های داده‌ی ماژولار با عملکرد بالا توضیح دادیم و بیان کردیم که امروزه تکنولوژی‌های کلیدی مثل موتور اجرای Theseus که از سخت‌افزار تسریع‌شده توسط GPU استفاده می‌کند، به دلیل کاهش استفاده از انرژی در حین بهبود شدید عملکرد Query موردتوجه قرار می‌گیرند. این مقاله با تأکید روی نقش استانداردهای باز و قابلیت همکاری توضیح می‌دهد که سازمان‌ها چطور می‌توانند پلتفرم‌های داده سفارشی بسازند که اجزایی با بهترین کیفیت را از Vendorهای متفاوت با هم یکپارچه‌سازی می‌کنند.

معماری‌های ترکیب‌پذیر در عمل

پیاده‌سازی عملی پلتفرم‌های داده‌ی ترکیب‌پذیر را می‌توان در اینکه سازمان‌ها هرروز بیشتر از قبل از استراتژی‌های چند موتوری استفاده می‌کنند، دید. آن‌ها به‌جای اینکه روی یک پلتفرم داده‌ی چندمنظوره حساب کنند، از موتورهای مخصوصی استفاده می‌کنند که برای کارهای به‌خصوصی بهینه‌سازی شده‌اند. مثلاً، ممکن است یک شرکت برای تجزیه‌و‌تحلیل‌های سبک‌وزن و In-Memory از DBMS استفاده کند، درحالی‌که برای پردازش تسریع‌شده توسط GPU با عملکرد بالا، از موارد دیگر بهره ببرد. این موتورهای متفاوت، می‌توانند با استفاده از یک فرمت داده‌ی مشترک، روی مجموعه داده‌های یکسانی عملیات کنند، بدون اینکه نیاز به جابه‌جایی یا دگرگونی داده داشته باشند.

یکی دیگر از جوانب حیاتی پلتفرم‌های داده‌ی ترکیب‌پذیر، یکپارچه‌سازی با منابع داده‌ی متنوع، از جمله سیستم‌های On-Premises ،Data Lakeهای مبتنی بر Cloud و محیط‌های Hybrid است. این انعطاف‌پذیری حیاتی است، زیرا سازمان‌ها روی چشم‌اندازهای IT که روزبه‌روز پیچیده‌تر و همگن‌تر می‌شوند عملیات می‌کنند. پلتفرم‌های ترکیب‌پذیر این امکان را فراهم می‌کنند که داده‌ها در بهترین محل ممکن ذخیره شوند (که دلیلش می‌تواند صرفه‌جویی در هزینه، عملکرد یا تطبیق‌پذیری قانونی باشد)، درحالی‌که همچنان برای اکثر موتورهای اجرا برای هر کار قابل‌دسترسی باشد.

مزایای پلتفرم‌های داده‌ی ترکیب‌پذیر

مزایای پلتفرم‌های داده‌ی ترکیب‌پذیر متعدد هستند:

1. انعطاف‌پذیری: سازمان‌ها می‌توانند بهترین ابزار را برای کارهای به‌خصوص انتخاب کنند؛ کارهایی از جمله تجزیه‌و‌تحلیل Real-Time، پردازش دسته‌ای یا یادگیری ماشینی.
2. مقیاس‌پذیری: می‌توان اجزا را به‌طور مستقل توسعه داد تا پاسخگوی تقاضا باشد و اطمینان حاصل کرد که از منابع به‌طور کارآمدی استفاده می‌شود.
3. بهینه‌سازی هزینه: سازمان‌ها می‌توانند با انتخاب مقرون‌به‌صرفه‌ترین ابزار برای هر کار، هزینه‌های کلی زیرساخت را کاهش دهند.
4. نوآوری: طبیعت ماژولار پلتفرم‌های ترکیب‌پذیر به سازمان‌ها این توانایی را می‌دهد که تکنولوژی‌های جدیدی را اتخاذ کنند و به‌سرعت نوآوری و مزیت رقابتی ایجاد نمایند.
5. کاهش محدود شدن به یک Vendor استانداردهای باز و قابلیت همکاری ریسک متصل شدن به یک Vendor واحد را کاهش داده و به سازمان‌ها کنترل بیشتری روی استراتژی داده‌ی خود می‌دهند.

چالش‌ها و ملاحظات

بااینکه مزایای پلتفرم‌های داده‌ی ترکیب‌پذیر واضح هستند، پیاده‌سازی آن‌ها بدون چالش نیست. یکی از موانع اصلی، پیچیدگی مدیریت معماری ماژولار است. سازمان‌ها باید تخصص لازم را برای یکپارچه‌سازی و حفظ چندین جزء داشته باشند که هر کدام از آن‌ها وابستگی‌ها و پیکربندی‌های مخصوص به خود را دارند. این امر می‌تواند سربار عملیاتی را افزایش دهد و نیازمند نظارت دقیق‌تر روی داده‌ها و ابزار مانیتورینگ است. اما سازمان‌ها از قبل دارای چندین پلتفرم داده‌ی مبتنی بر Cloud و On-Premises هستند که مدیریت‌شان می‌کنند.

 یک چالش دیگر این است که اطمینان حاصل کنیم عملکرد به‌طور باثباتی روی چندین جزء مختلف انجام گردد. بااینکه ترکیب‌پذیری بهینه‌سازی را ممکن می‌سازد، درصورتی‌که اجزا به‌درستی تطبیق نداشته باشند، احتمال ایجاد Bottleneckها نیز ایجاد می‌گردد. برای مثال، یک موتور اجرا با عملکرد بالا مثل Theseus ممکن است به دلیل زیرساخت شبکه یا Storage کند محدود شود و برخی از مزایای آن از بین برود.

درنهایت، امنیت و تطبیق‌پذیری ملاحظاتی حیاتی هستند. درحالی‌که داده روی سیستم‌ها و محیط‌های مختلف جابه‌جا می‌شود، اطمینان حاصل کردن از اینکه ایمن و با قوانین تطبیق‌پذیر باشد بسیار مهم است. سازمان‌ها باید اقدامات امنیتی قدرتمندی مثل رمزگذاری و کنترل دسترسی را پیاده‌سازی کنند و اطمینان حاصل نمایند که تمام اجزا با استانداردهای یکسانی تطبیق دارند.

آینده‌ی پلتفرم‌های داده‌ی هوشمند به تکامل مداوم ترکیب‌پذیری و توسعه‌ی موتورهای اجرای پیشرفته‌تر بستگی دارد. درحالی‌که تکنولوژی‌هایی مثل هوش مصنوعی و یادگیری ماشینی به‌طور روزافزونی در عملیات کسب‌و‌کار مرکزیت پیدا می‌کنند، تقاضا برای پلتفرم‌های داده‌ی منعطف و با عملکرد بالا رشد خواهد کرد. موتورهای اجرا می‌توانند بهبود‌های قابل‌توجهی را در عملکرد و صرفه‌جویی در انرژی ارائه دهند و نقشی حیاتی در پاسخ به آن تقاضاها بازی می‌کنند.

می‌توان انتظار داشت که در آینده بهبودهایی را در یکپارچه‌سازی قابلیت‌های AI با پلتفرم‌های داده ببینیم. تجمیع AI و تجزیه‌و‌تحلیل داده موجب توسعه‌ی موتورهای اجرا و رایانش جدید خواهد شد که برای تصمیم‌گیری Real-Time، تجزیه‌و‌تحلیل‌های پیشبینی‌کننده و مدیریت داده‌ی خودکارسازی‌شده بهینه‌سازی شده باشند. این موتورها باید به بارهای کاری که هر روز پیچیده‌تر می‌شوند رسیدگی کنند و در همین حال انعطاف‌پذیری و مقیاس‌‌پذیری پلتفرم‌های ترکیب‌پذیر را حفظ نمایند.

به‌علاوه، استفاده از استانداردهای باز وسعت بیشتری پیدا خواهد کرد و موجب بهبود قابلیت همکاری بین اجزای مختلف درون یک معماری ترکیب‌پذیر خواهد شد. درحالی‌که سازمان‌های بیشتری این رویکرد را می‌پذیرند، اکوسیستم ابزار و تکنولوژی‌هایی که از پلتفرم‌های داده‌ی ترکیب‌پذیر پشتیبانی می‌کنند رشد خواهند کرد  و گزینه‌های بیشتری را برای سفارشی‌سازی و بهینه‌سازی ارائه خواهند داد.