بررسی ویژگی هایی نصب Splunk Firehose Nozzle برای VMware Tanzu

در واقع، نصب Splunk Firehose Nozzle با VMware Tanzu Loggregator ادغام شده و گزارش‌ها و پارامترهای کاربردی را از برنامه‌های کاربر و اجزای سیستم ارسال می‌کند و آ‌ن‌ها را به فهرست‌کننده‌های Splunk Enterprise که برای دریافت داده‌ها از طریق HTTP Event Collector پیکربندی شده‌اند، ارسال می نماید. سپس اپراتورهای VMware Tanzu می‌توانند داده‌های Firehose را در مورد زیرساختِ VMware Tanzu از طریق استقرارِ Splunk Enterprise خود جستجو و تجزیه و تحلیل کنند. این قابلیتِ مشاهده‌ی عملیاتی می‌تواند برای ایجاد گزارش‌ها، داشبوردها و هشدارها در مورد سلامت و عملکرد برنامه‌ها و اجزای سیستم آن‌ها، استفاده شود.

نصب Splunk Firehose Nozzle برای VMware Tanzu چه ویژگی‌هایی دارد

• راه‌اندازی با تجزیه و غنی‌سازیِ داده‌های خارج از باکس برای انواع مختلف رویداد VMware Tanzu.
• تحویل رویداد قابل اعتماد با استفاده از endpoint Splunk’s HTTP Event Collector.
• ارسال ایمن از VMware Tanzu به محیط‌های خارجی Splunk با استفاده از گواهینامه‌های SSL ارائه‌شده توسط کاربر.
• مقیاس برای پاسخگویی به افزایش حجمِ داده و تعداد برنامه‌ها.
• قابلیت ردیابی رویدادها و نظارت بر فشار صفِ حافظه برای بینشِ فشارِ برگشتی.

الزامات نصب Splunk Firehose Nozzle برای VMware Tanzu

• نسخه 6.x یا بالاتر از استقرارِ Splunk Enterprise یا Splunk Cloud Platform خارجی، که با توکن HTTP Event Collector (HEC) برای دریافتِ داده، پیکربندی شده است.

پلتفرم Splunk و اکوسیستم VMware Tanzu

پروژه نصب Splunk Firehose Nozzle از طریق پشتیبانی Splunk پشتیبانی می‌شود.

Splunk Firehose Nozzle برای VMware Tanzu یک برنامه‌ی کاربردی VMware Tanzu برای ماشین‌های مجازی VMs است. nozzle در نقطه پایانیِ  Loggregator مشترک می‌شود و رویدادها را در یک محیط پلت‌فرم خارجی Splunk می‌نویسد.

بیشتر بخوانید: نرم‌افزار Splunk ES چیست و چه نقشی در امنیت سایبری دارد

در داخل هر nozzle موارد زیر وجود دارد:

• یک روتینِ Golang را با استفاده از api v1 رویدادها از نقطه پایانی  Loggregator جمع آوری می‌کند.
• یک صفِ در حافظه، رویدادها را برای در دسترس بودن برای چندین کاربر Splunk HTTP Event Collector می‌کند.
• کاربران Splunk HTTP Event Collector با روتین های Golang خود اجرا می شوند که رویدادها را با پیوست کردن فیلدهای داده، رویدادهای VMware Tanzu را غنی کند.
• در نهایت، رویدادها با هم دسته بندی شده و از طریق نقطه پایانی HEC به Splunk ارسال می‌شوند.

هیچ مسیر ارتقایی نسبت به نسخه‌ی قبلی Splunk Nozzle برای VMware Tanzu وجود ندارد. این نسخه را در محیطی بدون Splunk Firehose Nozzle برای VMware Tanzu (بتا) نصب کنید.

مراحل نصب Splunk Firehose Nozzle

1. فایل نصب Splunk Firehose Nozzle را از VMware Tanzu Network دانلود کنید.
2. به داشبورد نصب Tanzu Operations Manager (Ops Manager) بروید و روی Import a Product کلیک کنید تا فایل محصول آپلود شود.
3. روی گزینه Add درکنارِ Splunk Firehose Nozzle بارگذاری شده کلیک کنید تا خانه‌ی  VMware Tanzuدر نمای Ops Manager Available Products آن را به منطقه عملیاتی شما اضافه کند.
4. روی Splunk Firehose Nozzle جدید اضافه شده برای خانه VMware Tanzu کلیک کنید.
5. خانه را همانطور که در بخش پیکربندی این مبحث توضیح داده شده است، پیکربندی کنید.
6. روی Save کلیک کنید.
7. به داشبورد نصب Ops Manager برگردید و روی Apply Changes کلیک کنید تا Splunk Firehose Nozzle برای خانه VMware Tanzu نصب شود.

پیکربندی Splunk Firehose Nozzle برای VMware Tanzu

مراحل زیر را برای پیکربندی Splunk Firehose Nozzle برای VMware Tanzu انجام دهید:

1. Assign AZs and Networks را انتخاب کرده و بر اساس آن جایگزینی را انتخاب کنید.
2. Splunk Settings را انتخاب کرده و سپس فیلدهای زیر را تکمیل کنید:

HTTP Event Collector Endpoint (HEC) URL: HTTP Event Collector endpoint URL.

<http(s)>://<address>:<port>

جایی است که address  FQDN یا آدرس IP است  و <port>  پورتی است که Splunk HEC از آن پیروی می‌کند. در یک محیط کلاستری، این می‌تواند آدرس و پورت یک متعادل‌کننده‌ی بار باشد که درخواست‌ها را به چندین نقطه پایانی HEC پیکربندی شده توزیع می‌کند. این نقاط پایانی می‌توانند هم در Splunk Heavy Forwarders و هم در Splunk Indexers باشند.

بیشتر بخوانید: 5 کاربرد مهم راهکار Splunk Enterprise Security یا Splunk ES

• توکن  HEC یا HTTP Event Collector: توکن HEC توسط Splunk تولید شده است.
• رد شدن از اعتبارسنجی SSL
• شاخص  یا Index: شاخص پلتفرم Splunk است که رویدادها به آن ارسال می‌شوند.

3. Cloud Foundry Settings را انتخاب کنید و سپس فیلدهای زیر را تکمیل کنید:

• نقطه پایانی API: نقطه پایان API Cloud Foundry.
• ID کاربر/ Client Secret: UAA client-id و client-secret. کاربر به مجوزهای cloud_controller.admin_read_only  و doppler.firehose  و همچنین grant typeهای client_credentials  و refresh_token  نیاز دارد. از ابزار uaac برای ایجاد کاربر مناسب استفاده کنید. دستورات uaac برای افزودن کاربر به شرح زیر است:

• uaac target https://uaa.[system domain url]
  •   uaac token client get admin -s [admin client credentials secret]
  •   uaac client add splunk-nozzle –name splunk-nozzle
  •   uaac client add splunk-nozzle –secret [your_client_secret]
  •   uaac client add splunk-nozzle –authorized_grant_types client_credentials,refresh_token
  •   uaac client add splunk-nozzle –authorities doppler.firehose,cloud_controller.admin_read_only

4. صرف نظر از اعتبارسنجی SSL: از تأیید اعتبار گواهی SSL برای اتصال به Cloud Foundry صرف نظر کنید. ارتباطات ایمن گواهی‌های SSL را در برابر یک مرجع گواهی قابل اعتماد بررسی نمی‌کند. از آن برای محیط تولید استفاده نکنید.
5. نوع رویداد: انتخاب کنید که نازل کدام رویدادها را به Splunk ارسال می‌کند.
6. HttpStartStop
7. LogMessage
8. CounterEvent
9. Error
10. ContainerMetric
11. گزینه Advanced را انتخاب کنید و سپس فیلدهای زیر را تکمیل کنید:
12. Scale Out Nozzle: Splunk Nozzle را مقیاس‌گذاری کنید. Splunk اجرای دو یا چند نازل را برای در دسترسی بالا توصیه می کند.
13. Firehose Subscription ID: Loggregator مجموعه‌ای از رویدادها را در سراسر اتصالات دارای شناسه یکسان انجام می‌دهد. یک اپراتور فقط در صورتی باید این مورد را تغییر دهد که اتصال دیگری نیز از مقدار پیش فرض استفاده کند.
14. Additional Fields: مجموعه‌ای قراردادی از جفت key:value در فرم key1:value1,key2:value2,key3:value3  می­باشد. این فیلدها با هر بار رویداد ایندکس شده و به عنوان اَبَرداده برای نمایه‌سازی و جستجو استفاده می‌شوند. یکی از موقعیت‌هایی که این مورد در آن ممکن است مفید باشد، تمایز لاگ‌ها از چندین پایه است که به یک شاخص Splunk Enterprise می‌روند.

4. Add App Information
5. Add Tags: برچسب‌های اضافی را از پاکت به رویداد splunk اضافه می‌کند. پیش فرض: false

Adding tags / Enabling this feature may slightly impact the performance due to the increased event size).

• Enable Event Tracing: امکان ثبت رویداد را فراهم می‌کند. رویدادهای Splunk در حال حاضر شامل یک UUID، Splunk Nozzle Event Counts، و یک Subscription-ID برای جستجوی ارتباط Splunk است.
• Monitor Queue Pressure: ایجاد فاصله زمانی برای نظارت بر فشار صف حافظه memoryqueue pressure می باشد که بر حسب ثانیه/دقیقه/ساعت. به عنوان مثال، 3600 ثانیه یا 60 دقیقه یا 1 ساعت می‌باشد..
• HEC Retries: تعداد تلاش مجدد برای ارسال رویدادها به پلت‎فرم Splunk  را به دست می‌دهد. رویدادهایی که پس از این تعداد تلاش مجدد با موفقیت ارسال نشده اند حذف شده و باعث از دست رفتن داده‌ها می‌شوند.
• HEC Batch Size: تعداد رویدادهای هر دسته‌ی ارسال شده به Splunk HTTP Event Collector را به دست می‌دهد.
• HEC Workers: تعداد کارکنانی است که همزمان داده‌ها را به Splunk HTTP Event Collector ارسال می‌کنند. بر این اساس، این عدد را نسبت به ظرفیت جمع آوری داده‌های پلت‌فرم Splunk خود مقیاس‌بندی کنید.
• Consumer Queue Size: اندازه‌ی بافرِ صفِ مصرف‌کننده‌ی داخلی را نشان می‌دهد. رویدادها پس از پر شدن صف به پلتفرم Splunk شما ارسال خواهند شد.
• Flush Interval: فاصله‌ی زمانی برای فلاش کردن صف به پلت‌فرم Splunk، بدون توجه به Consumer Queue Size، است که بر حسب ثانیه/دقیقه/ساعت. به عنوان مثال، 3600 ثانیه یا 60 دقیقه یا 1 ساعت می باشد. از رخدادهای مربوط به خرابی قدیمی در سیستم‌هایی با توان عملیاتی کم جلوگیری می‌کند.
• Missing App Cache Invalidate TTL: فاصله زمانی بین بازخوانی حافظه‌ی پنهان اطلاعات برنامه‌ی از دست رفته بر حسب ثانیه/دقیقه/ساعت. به عنوان مثال، 3600 ثانیه یا 60 دقیقه یا 1 ساعت می باشد. برای حفظِ حافظه‌ی پنهان تا راه اندازی مجدد نازل، آن را روی 0 تنظیم کنید.
• App Cache Invalidate TTL: فاصله زمانی بین رفرش کردن حافظه‌ی پنهان محلی اطلاعات برنامه بر حسب ثانیه/دقیقه/ساعت. به عنوان مثال، 3600 ثانیه یا 60 دقیقه یا 1 ساعت است. آن را روی 0 تنظیم کنید تا فقط حافظه‌ی پنهان در هنگام راه‌اندازی اولیه یا راه‌اندازی مجدد نازل پر شود.
• Org Space Cache Invalidate TTL: فاصله زمانی بین رفرش کردن org و فضای حافظه‌ی پنهان بر حسب ثانیه/دقیقه/ساعت. به عنوان مثال، 3600 ثانیه یا 60 دقیقه یا 1 ساعت می باشد.
• Ignore Missing App: اگر برنامه موجود نیست، درخواست مکرر اطلاعات برنامه را از Cloud Foundry متوقف کنید.
• App Limits: تعداد برنامه‌هایی است که هنگام رفرش کردن حافظه‌ی پنهانِ اَبَرداده‌ی برنامه، برای آ‌ن‌ها اَبَرداده‌ جمع‌آوری می‌شود که ترتیب آن براساس تاریخِ ایجاد شدن برنامه است. برای حذف محدودیت، آن را روی 0 تنظیم کنید.
• Nozzle Memory: حافظه را برای برنامه‌ی Splunk Firehose Nozzle بر اساس MB تنظیم کنید.
• Firehose Keep Alive: مدت زمان فعال بودن Firehose را برای کاربران تداوم ببخشید (بر حسب ثانیه/دقیقه/ساعت. به عنوان مثال، 3600 ثانیه یا 60 دقیقه یا 1 ساعت).
• Drop Warn Threshold: آستانه‌ی تعداد رویدادهای از دست رفته، در صورت کند بودن جریان پایین‌دستی، است. بر اساسِ این آستانه، خطاها ثبت می‌شوند.
• Resource Config: گزینه‌های پیش فرض را انتخاب کنید
• Stemcell: اطمینان حاصل کنید که Stemcell مناسب در دسترس است.

بررسی اجمالی تعادل بار

در محیط‌ پلت‌فرم Splunk با سرورهای چندگانه، که هر کدام دارای نقاط پایانی پیکربندی شده‌ی HEC خود هستند، یک متعادل‌کننده‌ی بارِ فیزیکی یا مجازی، برای توزیع درخواست‌ها در هر سرور پلت‌فرم Splunk، مورد نیاز است. بسته به پیکربندی محیطِ خاص، مجموعه‌ی نقاط پایانی HEC می‌تواند در یک کلاستر از ارسال‌کننده‌های سنگین Splunk یا فهرست‌کننده‌های Splunk قرار گیرد. اگر از یک متعادل‌کننده‌ی بار استفاده می‌کنید، آدرس متعادل‌کننده‌ی بار باید در تنظیمات URL برای HTTP Event Collector Endpoint (HEC)، که در صفحه تنظیمات Splunk یافت می‌شود، پیکربندی شود.

راهکار Splunk Metric Store چه قابلیت‌هایی دارد

ویدیوهای بیشتر درباره اسپلانک

عملکرد و اندازه

Splunk Inc. نازلِ Splunk Firehose را برای معماریVMware Tanzu  آزمایش کرده است، که به عنوان یک نازل منفرد مستقر روی نمونه AWS از نوع c4.4xlarge اجرا می‌شود. این نوع نمونه‌ی EC2 دارای 8 CPU و 32 گیگابایت حافظه است. فضای ذخیره سازی فقط به صورت EBS است و پهنای باند اختصاصی EBS 2000 مگابیت بر ثانیه دارد. تست‌ها با داده‌های ساختاریافته و بدون ساختار با ۲ اندازه‌ی رویداد مختلف ۲۵۶ و ۱۰۲۴ بایت انجام شد.