کلیک ویو-بخش اول

آموزش کلیک ویو را در مجموعه مقالاتی تقدیم می کنم. لازم است از شرکت نظم آران برای برگزاری دوره آموزشی، تشکر ویژه داشته باشم.

تعریف Data Mining:

استخراج انبوه مفاهیمی که  قبلا ناشناخته بوده که بطور بالقوه ای این اطلاعات از میان داده های خام استخراج می شوند ” و یا “علم استخراج اطلاعات مفید از میان مجموعه های بزرگ از داده ها یا پایگاه داده ها”، Data Mining نامیده می شود.

شناسایی و استخراج دیتا از منابع مختلف سازمان، نظیر فایل هایی مانند Excel، Access و دیتابیس هایی مانند SQL و دیگر دیتابیس ها ، ETL (EXTRACT، TRANSFORM، LOAD) نامیده می شود.

نکته: برای یکپارچه سازی دیتا اسامی فیلدهای مشترک از Data Source های متفاوت که یک مفهوم را دارند، باید یکسان شوند. مثلا” در یک Data Source، نام فیلد کد پرسنلی، “Pers Code” است و در Data source دیگر، نام فیلد کد پرسنلی که همان مفهوم را دارد، ” Pers ID” است. بنابراین برای اینکه از دیتاهای این دو Data Source در یک گزارش واحد در کلیک ویو استفاده شود، باید نام این فیلد با مفهوم مشترک در کلیک ویو یکسان شود. به عبارت دیگر نام این دو فیلد به یک نام واحد MAP شود. فرآیند  Name Mapping در ETL صورت می پذیرد.

نکته: تغییر در Source Data انجام نمی شود بلکه تغییرات و یکسان سازی نام در کلیک ویو انجام می گیرد. همچنین تغییر تاریخ میلادی در Data Source به تاریخ شمسی یا تغییر فرمت تاریخ نیز در کلیک ویو انجام می گیرد. مهمترین عملیات در فراخوانی دیتا از Data Source به کلیک ویو برای ایجاد گزارش همین عملیات Mapping است که باید توسط تیم فناوری اطلاعات صورت بپذیرد.

همچنین واحد فناوری اطلاعات می تواند  فیلدهای مورد نیاز برای ایجاد یک گزارش را از جداول مختلف یک دیتا بیس در یک جدول واحد (یک Data View) با انجام Mapping مورد نظر، گردآوری کند و آن جدول را در اختیار تیم ایجاد کننده Dashboard قرار دهد. به این ترتیب نیازی به انجام Mapping در کلیک ویو وجود ندارد و یا این نیاز به حداقل می رسد. این کار سبب می شود علاوه بر اینکه تیم ایجاد کننده گزارش یا دشبورد، درگیر پیچیده گی های Mapping فیلدها در کلیک ویو نشود، به منابع Online دیتا نیز دسترسی نخواهد داشت و در نتیجه سبب افزایش امنیت و همچنین Performance می گردد.

یکپارچه سازی دیتا در یک انبار داده (DATA WAREHOUSE) صورت می پذیرد.DATA WAREHOUSE یک دیتابیس است که دیتاهای اخذ شده از DATA SOURCE های مختلف در آن نگهداری می گردد. به عبارت دیگر، دیتای حاصل از ETL در DATA WAREHOUSE قرار می گیرد. یکی از ویژگی های عالی کلیک ویو آن است که نیازمند ایجاد انبار داده نیست.

یکپارچه سازی و ایجاد مفاهیم جدید از Data Source های مختلف (سیستم های مختلف) در Data warehouse:

در واقع دیتای حاصل از ساماندهی بر اساس یک فرآیند، در ترکیب با دیتاهای حاصل از فرآیندهای دیگر، تبدیل به دیتایی می شود که بر اساس موضوعات مختلف ساماندهی شده است. و آنگاه می توان گزارشات را بر اساس موضوعات تهیه کرد. به عبارت دیگر در یک Data warehouse، با انجام ETL بر روی دیتا های حاصل از Data source های مختلف، این دیتاها تبدیل به Information و در نهایت به دانش تبدیل می شوند.

فرآیند Data warehouse:

در این فرآیند، ابتدا Data Source هایی از سازمان که حاوی دیتا های مورد نظر (فیلد های مورد) هستند، شناسایی می شوند در مرحله دوم عملیات ETL بر روی آنها صورت می گیرد بدین معنی که دیتا های مورد نظر (فیلدهای مورد نظر) از Data Source های شناسایی شده استخراج می شود (Extraction)، تغییرات مورد نظر (مانند Mapping یا سایر تغییرات مانند تبدیل تاریخ) روی فیلدهای مورد نظر انجام می شود (Transformation)، فیلدهایی که مقادیر Null دارند، یا دارای اشتباهات تایپی و یا مقادیر نادرست هستند که طبعا” منجر به گزارشات نادرست خواهند شد، اصلاح شوند (Cleaning) و بالاخره، محاسبات بر روی فیلدهای مورد نظر برای رسیدن به فیلد های جدید مورد نظر، که نهایتا” این فیلدهای جدید هستند که برای گزارشات مورد استفاده قرار خواهند گرفت، با استفاده از توابع، متغیرها و کلا” زبان نرم افزار مورد استفاده، صورت میگیرد (Aggregation)

نکته یک: اگر Data Source، یک دیتابیس، نظیر SQL باشد، با نوشتن Query بر روی فیلد های مورد نظر و ایجاد یک Data View (به عنوان Data Source حد واسط)، می توان عملیات Transformation ( مانند Mapping) و یا حتی قسمتی از عملیات Aggregation (محاسبات بر روی فیلد ها و تولید فیلد های جدید مورد نظر) را در همان Data View انجام داد و بدین ترتیب عملیات Extraction (فراخوانی فیلدها به Data warehouse) را بر روی فیلد های جدید (فیلدهای حاصل از Mapping و فیلدهای حاصل از محا سبات) انجام داد.

نکته دو: اگر فرض کنیم Data Source های ما دیتابیس SQL و فایل Excel باشد در صورت ایجاد Data view ( به عنوان Data Source حد واسط) به صورتی که در بالا ذکر شد و نیز ایجاد فیلد مورد نظر از محاسبات سایر فیلد ها در Excel، Mapping در Data warehouse تنها به Mapping فیلدهای فراخوانی شده از Excel و نیز Aggregation تنها به محاسبات میان فیلد های فراخوانی شده از Excel با فیلد های فراخوانی شده از Data View کاهش خواهد یافت. حتی در صورت اصلاح نام فیلدهای مورد نظر در Excel، نیازی به Mapping فیلدهای فراخوانی شده از Excel در Data warehouse نیز نخواهد بود.

در مرحله سوم، خروجی ETL، Cleaning و Aggregation، در انبار داده (Data warehouse) ذخیره می شود.

در مرحله چهارم، دیتا های موجود در Data Warehouse بر مبنای هر حوزه (مثلا” منابع انسانی، تولید، فروش و…) دسته بندی می شود و Data Mart ها ایجاد می گردد. به عبارت دیگر هر Mart مربوط به یک حوزه خواهد بود و دسترسی هر Mart را به تیمی خواهیم داد که می خواهد در حوزه آن Mart، دیتا را به صورت های مختلف (مثلا” ساخت گزارش)، نمایش بدهد.

مرحله آخر، Present کردن یا Visual نمودن دیتای هر MART است.

روش Present یا Visual نمودن دیتای موجود در  Data warehouse:

On Line Analytical Processing (OLAP):

در این روش از یک Cube (یا مکعب اطلاعاتی که البته ممکن است بیش از سه بعد داشته باشد) برای ایجاد گزارشات مورد نظر استفاده می گردد. به این ترتیب که از زوایای مختلف به دیتا های موجود در Data warehouse نگریسته می شود و گزارش های خروجی متناسب با آن زاویه نگرش، دریافت می گردد. پیاده سازی Cube دارای پیچیدگی های خاصی است.

بنابر آنچه گفته شد، روش سنتی یا مرسوم BI را می توان به فرم زیر نمایش داد:

اما در تکنولوژی کلیک ویو، تمامی مراحل میانی توسط خود ابزار کلیک ویو انجام می گردد. (البته ETL با ابزار کلیک ویو اما بواسطه Developer در محیط Script نویسی آن صورت می گیرد.)

بدین معنی که در روش سنتی یا مرسوم برای هر یک از مراحل میانی، نیازمند یک ابزار هستیم. اما در کلیک ویو، همان ابزار کلیک ویو کار تمامی این ابزار ها را انجام می دهد. به عبارت دیگر، در روش سنتی یا مرسوم، نیازمند چند متخصص برای هر یک از مراحل میانی هستیم اما در کلیک ویو، وجود یک متخصص برای انجام تمامی مراحل کار، کفایت می کند. همین امر سبب می شود سرعت تولید گزارش در کلیک ویو بسیار بیشتر و هزینه آن بسیار کمتر از روش سنتی یا مرسوم باشد.

سختار یک Cube اطلاعاتی به فرم زیر است:

 

از حاصل تقاطع ابعاد یک Cube اطلاعاتی (در این مثال: بعد تاریخ، بعد محصول و بعد منطقه) یک Node ایجاد می گردد:

این Node، یک عدد را نمایش می دهد. در مثال فوق تفسیر این عدد آن است که در یک تاریخ (مثلا” ۵/۴/۱۳۹۶) در منطقه تبریز میزان محصول عدد نمایش داده شده در آن Node است.

یک Cube با جزئیات و تعداد Node های بیشتر:

خصوصیات استفاده از راهکار OLAP در پیاده سازی BI:

۱- در این روش، دیتا ها به صورت محاسبه شده در Cube ها نگهداری می شوند.

۲- پیاده سازی این روش، هزینه بیشتری دارد (چون از چندین ابزار و چندین متخصص استفاده می گردد)

۳- نیازمند منابع سخت افزاری زیادی است.

۴- سوالات در جلسه Presentation باید از قبل دانسته شود. چون ابعاد Cube ها که گزارشات بر اساس آنها ساخته می شود، بر مبنای این سوالات طراحی می شوند با ایجاد سوالات جدید، باید بعد جدید برای Cube ایجاد شود که این خود مستلزم فرآیند جدید در تمامی ابزارهای میانی است. (در کلیک ویو، کافی است بعد جدید در نرم افزار Load شده باشد و چون کار تمامی ابزارهای میانی را خود کلیک ویو انجام می دهد، لذا به سرعت می توان پاسخگوی سوال جدید بود)

نکته: بهتر است تمام فیلدهای یک Data Source، حتی آنهایی که در ایجاد گزارش مورد نظر، کاربردی ندارند، در کلیک ویو Load شوند تا به سرعت بتوان در ایجاد گزارشات جدید از آنها استفاده کرد.

۵- پیاده سازی این راهکار پیچیدگی زیادی دارد.

در هر پروژه ای که با کلیک ویو انجام می شود، یک QlikView File با پسوند QVW ایجاد می گردد. تمامی اطلاعات از قبیل دیتا، کد های برنامه نویسی، نمودارها و …. در این فایل قرار می گیرد. در QlikView File منابع اطلاعاتی و ارتباطات ایجاد شده میان آنها قرار دارند بنابراین در کلیک ویو نیازی به ایجاد Data Warehouse وجود ندارد.

Data Source ها بصورت مستقیم به QlikView File، Load می شوند و پس از آن کار به صورت Offline ادامه پیدا می کند.

Load شدن Data از Data Source ها به کلیک ویو قابلیت Scheduling را دارد.

پس از Load شدن Data، ساختار Relational ( ارتباطات میان جداول مختلف) ایجاد می گردد و ابر اطلاعاتی تولید می گردد.

پس از ایجاد داشبورد از ابر اطلاعاتی، با هر کلیک بر روی منابع اطلاعاتی دشبورد، یک Query از ابر اطلاعاتی گرفته می شود.

با نوشتن Script بر روی دیتا های Load شده از Data Source های مختلف، محاسبات مورد نظر بر روی این دیتا انجام می گردد و نتایج حاصله در انبار داده QlikView File قرار می گیرد و دشبورد ها از دیتاهای موجود در این انبار داده، با توجه به دسترسی های کاربران، ساخته می شود.