Hortonworks، که یک شرکت متخصص در زمینه توزیع Hadoop می باشد با HP Labs، به عنوان سازمان مرکزی تحقیقات شرکت HP، با هدف بهبود عملکرد بار‌کاری Spark وارد همکاری شدند.
این دو شرکت در کنفرانس خبری که به تازگی در سان‌فرانسیسکو برگزار شد، اعلام همکاری نموده و برخی مزایای کسب شده از این همکاری را به شرح زیر مطرح نمودند:
- ارتقای فناوری Shuffle Engine. طبقه‌بندی سریعتر و محاسبات In-Memory که برای بهبود چشمگیر عملکرد Spark از پتانسیل مطلوبی برخوردار است.
- استفاده بهتر از حافظه. بهبود عملکرد و کاربرد آن برای مقیاس‌‌پذیری وسیع‌تر، که این امر، امکان استفاده در مقیاس بزرگتر را فراهم می‌نماید.
Martin Fink، معاون اجرایی و مدیرارشد فنی شرکت HP و عضو هیات مدیره Hortonworks، ابراز امیدواری نمود که مجموعه Spark بتواند قابلیت استنتاج سریعتر اطلاعات از مجموعه داده‌های بزرگتر را بدون اعمال تغییر در یک خط جداگانه از کدها (A Single Line of Code) ایجاد نماید.
همچنین آقای Fink اظهار داشت که HP Labs، تحقیقاتی در زمینه کارایی و مقیاس حافظه و همچنین شیوه‌هایی را جهت ارتقای کاربرد حافظه برای این شرکت انجام داده است.
وی افزود: بازنویسی Shuffle Engine از جاوا به ++C، بخشی از این فعالیت تحقیقاتی محسوب می‌گردد. آنها شاهد بودند که با مجموعه‌ای از الگوریتم‌های بازنویسی شده، کارایی موثرتری برای حافظه ایجاد می‌شود و شیوه‌هایی برای مقیاس هرچه بیشتر حافظه ارائه می‌گردد.
در‌واقع مشتریان خاص و موثر بر فعالیت HP Labs دریافتند که عملکرد برخی Workloadها از 5X به 15X ارتقا می‌یابد و این بدان معناست که عملکرد سه برابر شود.
Fink با توجه به تجربیات زیاد خود در این زمینه عنوان کرد که صحبت از افزایش 15برابری در یک Workload به خصوص موضوع اصلی نیست و بر این مساله واقف است که این مقوله باید بخشی از یک مجموعه بزرگتر باشد.
وی خاطر نشان کرد که شرکت HP تصمیم گرفته است تا با توجه به جهت‌گیری Hortonworks برای آزادی عمل و همکاری، تحقیقات خود را با کمک این شرکت به صورت رایگان و Open Source در دسترس قرار دهد.
Scott Gnau، مدیرارشد فنی شرکت Hortonworks اظهار داشت که این همکاری بیانگر همکاری دو‌جانبه و تعهد طرفین جهت توسعه Spark و راهکار‌های آن می‌باشد. وی افزود: ما همچنان بر ارتقای عملکرد، کارایی و نقاط دسترسی بهتر به برنامه‌هایی نظیر Apache Zeppelin و ادغام Spark در معماری داده‌های گسترده (Broad Data Architecture) که توسط Apache YARN پشتیبانی می‌گردد، تاکید می‌نماییم.
Zeppelin، یکی از پروژه‌های در‌حال توسعه Apache می‌باشد که یک Notebook تحت وب را ارائه نموده تا تحلیل تعاملی داده‌‌ها را امکان‌پذیر نماید.
