در مقاله ی “نرم افزار Splunk : پلت‌فرمی برای تجزیه و تحلیل Big Data” به بررسی نحوه ایجاد Bigdata و همچنین تجزیه و تحلیل آن به کمک محصولات Splunk پرداخته شد. در این مقاله به معرفی پلتفرم Hunk ، که جهت تجزیه و تحلیل Bigdataهای Hadoop و NoSQL مورد استفاده قرار می گیرد؛ می پردازیم.
بررسی، تحلیل و تجسم Big dataی خام
Hunk، یک پلتفرم کامل جهت تحلیل، بررسی و تجسم سریع داده‌ها در Data Storeهای Hadoop و NoSQL می‌باشد. این پلتفرم، با توجه به تجربه ی تولید محصولات Bigdata در نسخه های مختلف، که مورد توجه هزاران مشتری Splunk قرار گرفته است، پیشرفت‌های مهمی در بهبود سرعت و سادگیِ به‌دست آوردن تحلیل‌ها از Big dataی خام، بی‌ساختار یا چندساختاری نموده است، در ضمن تمامی آنها، بدون ایجاد مدل(Schema)های ثابت و یا جابجایی داده‌ها به یک ذخیره‌ساز درون‌حافظه‌ای جداگانه، اتفاق می‌افتد. ارزش‌ها و توانمندی هایی که این پلتفرم در امنیت، مدیریت ریسک، تجزیه و تحلیل محصول، دید ۳۶۰ درجه‌ای مشتری و اینترنت اشیاء (The Internet of Things) ارائه می‌دهد، به اثبات رسیده است.
با توجه به اینکه امروزه بسیاری از ابتکارهای حوزه‌ی Big data گاهی ماه‌ها به طول می‌انجامد و همچنین میزان خرابی آن بالا می‌باشند، پلتفرم Hunk رویکردی بی‌نظیر در این حوزه برای حل مشکلات بیان شده، ارائه می‌دهد. Hunk یک تجربه‌ی کاربری سیال (Fluid User Experience) و یکدست ارائه نموده که جهت کسب تحلیل‌هایی از Big dataها طراحی شده است. علاوه بر موارد فوق، این پلتفرم برای تمام افراد سازمان، قدرت تحلیل Self-Service را فراهم می سازد تا از سریع‌ترین روش، تحلیل‌های عملی Big dataی خام را در هر نقطه، به دست آورند.
Splunk Virtual Index
یکی از نوآوری‌های اصلی Hunk فناوری Splunk Virtual Index می‌باشد. این قابلیت خاص که مختص این پلتفرم است، به تفکیکِ “ردیف ذخیره‌سازی” از “دسترسی داده” و “ردیف‌های تحلیل” پرداخته و Hunk را قادر می‌سازد به‌صورتی شفاف درخواست‌ها را به ذخیره‌سازهای مختلف داده‌ها هدایت نماید. با تفکیک ردیف‌ها، Hunk می‌تواند مدل‌های داده، Pivot ،Dashboarding، کنترل‌های دسترسی مبتنی بر نقش (Role Base) و محیط توسعه‌دهنده‌ی Splunk را ترکیب نماید. ردیف تحلیلی (Analytics Tier) که توسط Splunk Search Processing Language یا Splunk SPL تولید شده است؛ یک روش پیشرو صنعتی جهت بررسی تعاملی داده‌ها در گروه‌های بزرگ و متنوع محسوب می گردد.
یکی از تفاوت های فنی Schema-On-the-Fly ،Splunk می باشد که به Hunk اجازه می‌دهد یک تجربه‌ی تحلیلی انعطاف‌پذیر و تعاملی ارائه نماید؛ این قابلیت یکی از مواردی است که مورد نیاز تیم‌های کسب‌وکار و IT در کار با داده‌های بی‌ساختار می باشد.
به کمک مدل Schema-On-the-Fly، داده‌ها را می‌توان با هر فرمتی ذخیره نمود و ساختار، در زمان Query اعمال می‌شود. این امر منجر به ایجاد یک بارکاریِ تکراری، همزمان با مزایای عمده در بهره‌وری می‌گردد. در نتیجه دیگر نیازی به برنامه‌ریزی پیشاپیش ِسوالات نمی باشد و می‌توان از طریق تعاملات بصری به سرعت اقدام به بررسی و تحلیل داده‌ها در ذخیره‌سازهای داده‌ی Hadoop و NoSQL پرداخت و از SPL جهت تحلیل عمیق‌تر بهره گرفت. در نتیجه با استفاده از پلتفرم Hunk، دستیابی به ارزش کسب‌وکار Big data بسیار سریعتر و آسانتر از حد تصور خواهد شد.
محصولات Splunk جهت تجزیه و تحلیل Bigdata
امروزه محصولات پیشرفته‌ی Splunk، شیوه‌ی استفاده‌ی سازمان‌ها از داده‌ها را تغییر داده اند. Splunk Enterprise پلتفرم پیشتاز صنعتی، برای “هوشمندسازی عملیاتی” می باشد که امکان جمع‌آوری، نمایه‌گذاری (Index) و تحلیل مقادیر عمده‌ی داده‌های آنی ( Real-Time) و ماشین تاریخی (Historical Machine) را فراهم می‌سازد.
Hunk، پلت‌فرمی قدرتمند برای بررسی، تجزیه و تحلیل و تجسم Historical Data در Hadoop می باشد. در واقع این پلتفرم و Splunk Enterprise مکمل یکدیگرند. در جدول زیر به بررسی ویژگی های این دو محصول پرداخته شده است.
| Hunk | Splunk Enterprise |
Features |
|---|---|---|
| Virtual | Native | Indexing |
| Any Hadoop Compatible File System (HDFS, MapR, Amazon S3) and NoSQL or Other Data Stores via Strea |
Splunk Buckets on Local or SAN Disks |
Where Data is Stored and Read |
| Unlimited | ۵۰۰MB/Day | ۶۰ Day Free Trial License |
| Number of TaskTrackers (Compute Nodes in YARN) |
Data Ingested per Day |
Pricing Model |
| — | • | Real-time, Streaming Events |
| • | • | Data Model |
| • | • | Pivot |
| • | • | Rich Developer Environment |
| Search Time | Index Time | Event Breaking, Timestamp Extraction, Source Typing |
| Slow: Requires Full Data Scan Within Partitions |
Fast: Uses Index and Bloom Filters |
Rare Term Search |
| • | • | Report Acceleration |
| • | • | Access Control and Single Sign-on |
| — | • | Universal Forwarder |
| — | • | Forwarder Management |
| Limited | • | Splunk Apps |
| — | • | Premium Apps |
| • | • | Standard Support |
| • | • | Enterprise Support |
در قسمت دوم از این مقاله به بررسی قابلیت های Hunk خواهیم پرداخت.
ــــــــــــــــــــــــــــــــــــــــــــــ
بررسی و مفهوم Hunk، پلتفرم تجزیه و تحلیل Splunk برای Hadoop- قسمت اول
بررسی و مفهوم Hunk، پلتفرم تجزیه و تحلیل Splunk برای Hadoop- قسمت دوم(پایانی)
