با توجه به افزایش حجم داده‌ها و میزان تاثیرگذاری آن بر کسب‌وکارها، مفاهیم مربوط به Big Data نیز اهمیت ویژه‌ای یافته است و شرکت‌ها در حال ارائه محصولات و قابلیت‌های جدید برای این تکنولوژی می‌باشند. محصول جدید شرکت اوراکل با نام GoldenGate For Big Data 12c، بدون اثرگذاری بر عملکرد سیستم‌های منبع، به Stream کردن داده‌های تراکنشی به صورت Real Time در سیستم‌های Big Data می‌پردازد. این محصول به تسهیل روند ارائه‌ی Real-Time داده‌ها به متداول‌ترین راهکارهای Big Data از جمله Apache Hadoop، Apache HBase، Apache Hive و Apache Flume پرداخته و موجب بهبود دیدگاه و اطلاعات و در عین حال انجام اقدامات به‌موقع می‌گردد.
بررسی محصول Oracle GoldenGate for Big Data
راهکارهای آنالیز Big Data نقشی محوری در بهبود دیدگاه‌ها نسبت به کسب‌و‌کار و ارتقای تجربه مشتری ایفا می‌کنند. این موضوع بسیار بدیهی است که سازمان‌ها با ترکیب داده‌های تراکنشیِ ساختاریافته با داده‌های نیمه ساختاریافته و یا بدون ساختار می‌توانند به ارزش کامل و بالقوه دارایی‌های اطلاعاتی خود پی ببرند. کسب‌و‌کار‌های مختلف نیز دریافته‌اند که چابکی، واکنش به وضعیت‌های متفاوت به صورتِ Real Time و دسترسی به داده‌های تراکنشی از اهمیت ویژه‌ای برخوردار است.
داده‌های تراکنشیِ با تاخیر کم موجب افزایش ارزش، خصوصا برای عملیات‌های Dynamic می‌گردد که داده‌های قدیمی ِساختاریافته یا بدون ساختار قادر به ارائه آن نیستند. این محصول به ارائه پلتفرمی جامع می‌پردازد تا داده‌های تراکنشی را به صورت Real Time به راهکارهای Big Data انتقال می‌دهدو این امر بدون اینکه کیفیت عملکرد در سیستم‌های عملیاتی اصلی را کاهش دهد، رخ می‌دهد و بدین ترتیب مبنایی را برای عملیات‌های کارآمدتر و بهبود تجربه مشتری به وجود می‌آورد. این تکنولوژی از طریق ارائه راهکارهای قابل استفاده به صورت کاملا ساده، این امکان را برای کارکنان IT فراهم می‌نماید تا به سرعت و بدون نیاز به آموزش‌های گسترده و منابع مدیریتی، در قالب سیستم‌های Big Data ادغام شوند.
Oracle GoldenGate، یک محصول جهت یکپارچه‌سازی داده به صورت Real-Time و Replication پایگاههای داده‌ی ناهمگون می‌باشد که کارایی آن در زمان‌های مختلف آزمایش شده و به تایید نیز رسیده است. این تکنولوژی از طریق فرآیندهای زیر به پشتیبانی از نیازهای سازمان‌ها می‌پردازد:
- یکپارچه‌سازی داده‌ها به صورت Real-Time برای سیستم‌های تحلیلی
- تجمیع و انتقال بدون Downtime به معماری‌های Cloud
- Offload کردن گزارشات از سیستم‌های تراکنشی به صورت On Premise و Cloud با هدف دستیابی به عملکرد در بالاترین سطح
- Replication پایگاه داده به صورت Active-Active جهت توزیع داده و دسترس‌پذیری مداوم
Oracle GoldenGate for Big Data به عنوان یک محصول جدید به ارائه عملکرد بهینه و با کیفیت بالا برای Flume، HDFS، Hive و Hbase می‌پردازد تا با عملیات‌های تحلیلی Big Data به صورت Real-Time از نیازهای مشتریان پشتیبانی نماید. همچنین این تکنولوژی شامل Oracle GoldenGate for Java نیز می‌شود که مشتریان به کمک آن می‌توانند به راحتی با دیگر سیستم‌های Big Data مانند Oracle NoSQL، Apache Kafka، Apache Storm، Apache Spark و … ادغام شوند.
پلتفرم مربوط به این تکنولوژی با Stream کردن داده‌های Real-Time به مشتریان این امکان را می‌دهد تا انبارهای داده و یا منابع Big Data را از طریق سیستم‌های عملیاتی به‌روز نگهدارند. با استفاده از این راهکار، مشتریان می‌توانند فرآیندهای شناسایی به صورت Ad-Hoc، سازمان‌دهی و تقویت داده‌های دارای تاخیر اندک را اجرا نمایند، پیش از اینکه این داده‌ها به مجموعه ابزارهای تحلیلی بهبود یافته جریان یابند.
Oracle GoldenGate for Big Data از اجزای مهم و کلیدی در قابلیت یکپارچه‌سازیِ Big Data می‌باشد که همراه با Oracle Data Integrator 12c ارائه می‌گردد. اوراکل قابلیت یکپارچه‌سازی Big Data را با معماری Big Data Architecture نیز ترکیب می‌نماید تا مشتریان را از عملکرد و مزایای Real Time بودن در تکنولوژی‌های Hadoop بهره‌مند نماید.
پشتیبانی Oracle GoldenGate for Big Data از فرآیند Stream کردن داده‌ها به صورت Real-Time در راستای اهداف اصلی Big Data
مشتریان می‌توانند Oracle GoldenGate for Big Data را با Oracle GoldenGate ترکیب نموده و به یک پلتفرم End-to-End برای Stream کردن داده‌ها به صورت Real-Time از سیستم‌های ناهمگون دست یابند.
بررسی Adapter Oracle GoldenGate برای Apache Flume
Apache Flume یک سرویس توزیعی جهت انتقال و Stream کردن کارآمد جریان‌های داده‌ی حجم بالا می‌باشد. این سرویس امکان اجرای آنالیزهای Real-Time بر روی جریان های داده را دارا می‌باشد تا از قابلیت دید و عملیاتِ به‌موقع در محیط‌های کسب‌و‌کار دیجیتال و پرسرعت کنونی پشتیبانی نماید. سازمان‌ها با Stream کردن داده‌های Real-Time به سیستم‌های Apache Flume از طریق Oracle GoldenGate for Big Data، می‌توانند به ایجاد برنامه‌های تحلیلیِ Real-Time با قابلیت تحمل خطا (Fault-Tolerance)، اطمینان بالا (Highly Reliability) و توسعه‌پذیری بپردازند.
Oracle GoldenGate Adapter برای تکنولوژی HDFS
Hadoop Distributed File System یا به اختصار HDFS، یک فایل سیستم مبتنی بر Java می‌باشد که Storageهای مقیاس‌پذیر و قابل‌اطمینانی را برای داده‌ها ارائه می‌نماید و به منظور گسترش کلاسترهای بزرگ در سرورهایِ Commodity طراحی شده‌اند. HDFS، MapReduce و YARN در واقع هسته‌ی اصلی Apache Hadoop را تشکیل می‌دهند. استفاده از Oracle GoldenGate for Big data برای Stream نمودن داده‌های تغییر‌یافته به HDFS، این امکان را برای برنامه‌های کاربردی Downstream فراهم می‌کند تا به پردازش بیشتر داده‌های استقرار یافته بر روی Hadoop به صورت Native پرداخته و به این ترتیب علاوه بر کسب دیدگاه‌های بهتر در حوزه کسب‌و‌کار، هزینه‌های کلی مالکیت (TCO) را نیز کاهش دهند.
کاربرد Oracle GoldenGate Adapter در Hive
Hive یک زیرساخت انبار داده محسوب می‌گردد که بر روی Hadoop و با هدف آنالیز و خلاصه‌سازی داده‌ها ایجاد شده است. در‌حال‌حاضر Oracle GoldenGate قادر به ارائه داده‌های Real-Time به Hive Data Store می‌باشد و امکان انبار نمودن داده‌ها به صورت مقیاس‌پذیر، چابک، مقرون‌به‌صرفه و Real-Time را میسر می‌نماید.
کاربرد Oracle GoldenGate Adapter در HBase
Apache HBase، یک پایگاه داده‌ی غیررابطه‌ای (NoSQL) می‌باشد که بر روی HDFS اجرا می‌شود. این پایگاه داده به صورت ستونی بوده و Storage با قابلیت FT و دسترسی سریع به مقادیر زیادی از داده‌های پراکنده را فراهم می‌کند. علاوه بر این موارد، Apache HBase قابلیت‌های تراکنشی را به Hadoop افزوده و به کاربران این امکان را می‌دهد تا اقدام به بهروزرسانی، درج و حذف داده‌ها نمایند. در‌حال‌حاضر با بهره‌گیری از Oracle GoldenGate for Big Data، می‌توان درج، بهروزرسانی و حذف داده‌ها را در HBase به صورت Real-Time اجرا نمود تا بتوان از مجموعه‌های بزرگ داده، نتایج مورد نیاز را به دست آورد.
ویژگی‌های فنی Oracle GoldenGate for Big Data
Oracle GoldenGate یک معماری ماژولار را ارائه می‌نماید که جهت عملکرد بسیار بالا، تحملِ خطا و انعطاف‌پذیری طراحی شده است. Oracle GoldenGate for Big Data نیز بر اساس همین معماری بنا شده و راهکارهای قابل توسعه را برای مشتریان در محیط‌های Big Data فعال می‌نماید.
Oracle GoldenGate به Capture نمودن داده‌ها از سیستم‌های منبع ناهمگون از جمله سیستم‌های پیام‌رسان مبتنی‌بر Java به صورت Non-Invasively و با سربارِ ناچیز می‌پردازد. این نرم‌افزار، تراکنش‌های پایگاه داده را در Trail Fileها ذخیره نموده و به چارچوبِ Java Adapter می‌فرستد. Oracle GoldenGate for Big data دارای Adapterهایی برای انواع تکنولوژی‌های مربوط به Big Data مانند HDFS، Hive، HBase یا Flume می‌باشد. ضمن اینکه Oracle GoldenGate for Java را نیز دربرگرفته و این امکان را برای مشتریان فراهم می‌نماید تا فرآیند تحویل به سایر سیستم‌های Big Data را به سهولت انجام داده و از موارد کاربردی خاص و مورد نیاز محیط پشتیبانی نمایند.
با پلتفرم ارائه شده توسطِ Oracle GoldenGate که فرآیندِ Streaming Data را به صورتِ Real-Time میسر می‌سازد، مشتریان می‌توانند تنها یک‌بار اقدام به Capture کردن از سیستم منبع نموده و سپس تمام یا بخشی از داده‌های تغییر‌یافته را به چندین بخش هدف در وضعیت On-Premise وCloud ارائه نمایند که شامل پایگاههای داده، سیستم‌های پیام‌رسان و محیط‌های Big Data می‌باشد.
Oracle GoldenGate همگام با گسترش پشتیبانی از منابع ناهمگون، به سازمان‌ها این امکان را می‌دهد تا استاندارد‌سازی را بر روی یک پلتفرم واحد Streaming به صورت Real-Time انجام دهند. این تکنولوژی از فرآیند ارائه و Capture نمودن مبتنی‌بر Log برای سیستم‌هایی همچون Oracle، DB2 for z/OS، (Linux، Unix، Windows)i Series & LUW ، SQL Server، MySQL، Informix، Sybase ASE، SQL/MX، سیستم‌های پیام‌رسانِ JMS و … پشتیبانی می‌نماید. همچنین، قابلیت‌های تحویل داده در Oracle GoldenGate، علاوه بر سیستم‌های Big Data مبتنی‌بر Hadoop، در بردارندهOracle TimesTen In Memory Database وPostgreSQL نیز می‌باشد.
