دانلود افزایش کارایی پرس و جوهای پایگاه داده تحلیلی با نگاشت مکعب مفهومی به فضای دوبعدی

افزایش کارایی پرس و جوهای پایگاه داده تحلیلی با نگاشت مکعب مفهومی به فضای دوبعدی در این مقاله با به کارگیری تکنیک‌های محاسبه از پایین به بالای عناصر شبکه جستجو، روش کارآیی برای پردازش پرس‌وجو در پایگاه داده تحلیلی و انجام محاسبات مکعب داده ارائه شده است

دسته بندی	مهندسی نرم افزار
فرمت فایل	doc
حجم فایل	89 کیلو بایت
تعداد صفحات فایل	9

افزایش کارایی پرس و جوهای پایگاه داده تحلیلی با نگاشت مکعب مفهومی به فضای دوبعدی

 

چکیده

پایگاه داده تحلیلی و پردازش تحلیلی برخط، از جمله عناصر ضروری در سیستم‌های تصمیم‌یار به شمار می‌روند که به طور روز افزون در مباحث مرتبط با پایگاه‌های داده مورد توجه قرار گرفته‌اند. سیستم‌های تصمیم‌یار نسبت به سیستمهای پردازش تراکنش برخط، نیازمندی‌های متفاوتی دارد. در این سیستم‌ها بهینه‌سازی پرس‌وجوها و پردازش کارآی مکعب های داده‌ای نقش اساسی در عملکرد سیستم ایفا می‌کند.

 

در این مقاله با به کارگیری تکنیک‌های محاسبه از پایین به بالای عناصر شبکه جستجو، روش کارآیی برای پردازش پرس‌وجو در پایگاه داده تحلیلی و انجام محاسبات مکعب داده ارائه شده است. بررسی نتایج به دست آمده بر مبنای پارامترهای ارزیابی، حکایت از آن دارد که الگوریتم ارائه شده در این مقاله نسبت به بهترین الگوریتم‌هایی که پیش از آن ارائه شده‌اند عملکرد بهتری (بر اساس معیار زمان اجرا) از خود نشان می‌دهد و سرعت آن در اجرای پرس و جوهای یکنوا و با حجم داده های بسیار زیاد، به مراتب بهتر از الگوریتم های پیش از آن است. ضمن اینکه با توجه به نگاه دو بعدی ایجاد شده توسط این الگوریتم به مساله مکعب و تبدیل مکعب به ساختار ابرگراف، میزان حافظه مورد نیاز این الگوریتم در مواردی که مجموع سازی بر روی زیرمجموعه‌ای از ابعاد مکعب صورت پذیرد، کمتر از حافظه‌ی مصرف شده توسط الگوریتم‌های پیش از آن است.

 

 

کلید واژه:

مکعب داده

پایگاه داده تحلیلی

پردازش تحلیلی برخط

مدل داده‌ی چند بعدی

 

 

 

1- مقدمه

پایگاه داده‌ی تحلیلی، ابزاری برای پشتیبانی تصمیم است که از منابع داده‌ی سازمان‌ها و ارگان‌های متفاوت تهیه می‌شود. این پایگاه داده بستر مناسبی فراهم می‌آورد که داده‌های بایگانی شده در پایگاه‌های داده‌ی عملیاتی، به صورت مجتمع و سازمان یافته درآیند و برای استخراج دانش مناسب باشند. تعریف ارائه شده توسط اینمون (Inmon) برای پایگاه داده تحلیلی به صورت زیر است: "پایگاه داده تحلیلی، یک مجموعه موضوع-گرا، یکپارچه، متکی بر بازه‌های زمانی متفاوت (متغیر با زمان) ، و تغییرناپذیر از داده‌ها است که برای پشتیبانی مدیریت پردازش تصمیم‌گیری (تصمیم‌یاری) به کار می‌رود."[12]

 

پایگاه‌های داده تحلیلی با توجه به اینکه اطلاعات مجتمع شده از چندین پایگاه داده عملیاتی را در خود دارند  شامل حجم عظیمی از داده هستند. این مساله سبب بروز مشکلاتی در نگهداری و به کارگیری پایگاه‌های مزبور می‌شود. برای اینکه بتوان به صورت کارا به پرس‌وجوهایی که از پایگاه داده تحلیلی می‌شود پاسخ داد، باید از روشهایی کارا برای دستیابی به داده و پردازش پرس‌وجو استفاده کرد. به این منظور الگوریتم‌های فراوانی ارائه شده‌اند که هدف آنها انجام پرس و جوها به نحوی است که زمان لازم برای پاسخگویی کمینه باشد و در عین حال فضای حافظه مورد نیاز برای انجام پردازش ها بهینه و یا دست کم قابل قبول باشد.

 

پایگاه های داده تحلیلی را می توان از دیدگاه مفهومی به صورت مجموعه ای چند بعدی از داده ها دید. این دیدگاه چند بعدی را مکعب داده می نامند. مکعب داده در [6] ارائه شده و برخی از ویژگی‌های مفید محاسبه مکعب بیان شده است. منظور از محاسبه مکعب داده، پاسخگویی به پرس و جوهای تحلیلی است که از پایگاه داده تحلیلی متناظر با آن می شود.  چون این پرس وجوها تحلیلی هستند و به بررسی داده ها در بعد کلان می پردازند، نیاز به مجموع سازی داده ها در ابعاد مختلف مکعب دارند.سه نوع تابع برای انجام عملیات مجموع‌سازی تعریف می‌شوند [1]. مجموعه‌ای مانند T از چندگانه‌ها (رکوردها) را در نظر بگیرید. فرض کنید که مجموعه‌ی  یک مجموعه‌ی کامل از زیر مجموعه‌های جدا از هم T باشد یعنی  و . 

 

• تابع مجموع‌ساز F، تابع توزیعی خوانده می‌شود اگر تابعی مانند G وجود داشته باشد طوریکه  . توابع SUM، MIN، و MAX همگی توابعی توزیعی هستند که در آنها G=F است. تابع COUNT نیز یک تابع توزیعی است که در آن G=SUM است.

• تابع مجموع‌ساز F جبری است اگر تابع M-مقداری G و تابع H موجود باشند طوریکه   که در آن مقدار M برخلاف مقادیر |T| و n ثابت است. همه‌ی تابع‌های توزیعی توابعی جبری نیز هستند. علاوه بر آنها توابعی نظیر میانگین، انحراف معیار استاندارد، MaxN و MinN نیز توابعی جبری هستند. به عنوان مثال، در تابع میانگین (Average)، تابع G مقادیر SUM و COUNT را به دست می‌آورد و تابع H نتایج به دست آمده از تابع G را بر هم تقسیم می‌نماید.

• یک تابع مجموع‌ساز نظیر F را هولیستیک می‌نامند اگر جبری نباشد. برای مثال توابع میانه (Median) و رتبه (Rank) نمونه‌ای از توابع هولیستیک هستند. 

 

 

فهرست مطالب

افزایش کارایی پرس و جوهای پایگاه داده تحلیلی با نگاشت مکعب مفهومی به فضای دوبعدی 1

چکیده 1

کلید واژه 1

1- مقدمه 2

2- پرس و جوهای آستانه ای 3

3- الگوریتم  Ex-Cube 5

3-1- تعاریف و نمادها 5

3-2- ساختار ابرگراف 6

3-3- ذخیره سازی دوبعدی Ex-Graph 6

3-4- فضای لازم برای ذخیره سازی Ex-Graph 7

4- شبیه‌سازی و نتایج به دست آمده 8

4-1- تاثیر افزایش حجم پایگاه داده بر روی شمای ثابت بر سرعت محاسبات 8

4-2- تغییرات زمان با افزایش کاردینالیتی ابعاد 8

4-3- افزایش تعداد ابعاد 8

4-4- افزایش تعداد ابعاد 9

5- نتیجه 9

مراجع 9

 

 

 OLAP

Data Cube

Data Warehouse

On-Line Analytical Processing

Multi-dimensional Data Model

متدولوژی تصمیم گیری در ایجاد پایگاه داده تحلیلی در این مقاله متدولوژی تصمیم گیری در ایجاد پایگاه داده تحلیلی مورد بررسی قرار می گیرد

دسته بندی	مهندسی نرم افزار
فرمت فایل	doc
حجم فایل	83 کیلو بایت
تعداد صفحات فایل	17

دانلود مقاله کارشناسی ارشد مهندسی نرم افزار

متدولوژی تصمیم گیری در ایجاد پایگاه داده تحلیلی

 

 

 چکیده

نظر به اینکه دلیل اصلی شکست سیستم های پایگاه داده تحلیلی، عدم تشخیص لزوم ایجاد آنهاست، تحلیل لزوم ایجاد پایگاه داده تحلیلی دارای اهمیت بسیار زیادی بوده و در این گزارش مورد بررسی قرار می گیرد. به این منظور ابتدا انواع پرس و جو  دسته بندی شده و سپس بر روی یک پایگاه داده نمونه و پایگاه داده تحلیلی متناظر با آن با سایزهای مختلف اعمال شد و دیدیم که در رابطه با پرس و جوهای چندبعدی  و مجتمع ، وجود پایگاه داده تحلیلی ضروری بوده و در رابطه با پرس و جوهای تودرتو  و پیوندی ، استفاده از پایگاه داده تحلیلی مفید بوده و برای پری و جوهای ساده  و محاسباتی ، استفاده از پایگاه داده مناسب تر می باشد. در این مقاله، هدف از متدولوژی، ارائه یک چهارچوب کاری است.

 

 

کلمات کلیدی:

پایگاه داده تحلیلی

طراحی پایگاه داده تحلیلی

تصمیم گیری در ایجاد پایگاه داده تحلیلی

 

 

 

مقدمه

با بررسی منابع مختلف، دیدیم که به چگونگی ساخت پایگاه داده تحلیلی بسیار پرداخته شده است. ساخت پایگاه داده تحلیلی شامل مراحل زیر است:

- انتخاب فرایند تجاری: این فرایند، فرایند عملیاتی اصلی در سازمان مورد نظر می باشد . سازمان مورد نظر شامل چندین سیستم می باشد که در آن داده ها برای پایگاه داده تحلیلی جمع آوری می شوند.

 

- انتخاب دانه : دانه در واقع یک رکورد در جدول حقیقت می باشد و می تواند یک تراکنش خاص باشد.

- انتخاب بعدها : مانند زمان، محصول و مشتری به همراه شناسایی ویژگیهای آن بعد.

- انتخاب حقایق قابل اندازه گیری جدول حقایق : این حقایق مقادیر شمارشی و افزودنی می باشند.

- تشخیص پارامترهای تحلیلی: رکوردی که خلاصه ای از بعضی رکوردهای جدول حقیقت سطح پایه را ارائه می دهد.

 

 

پس از ساخت چهارچوب اصلی پایگاه داده تحلیلی، فعالیتهای زیر به منظور پرکردن اطلاعات آن باید صورت گیرد:

آماده سازی، یکپارچگی، تحلیل سطح بالا، خصوصی سازی

آماده سازی برای هر منبعی انجام می شود و شامل استخراج داده، پاکسازی آن و احتمالا بایگانی آن قبل یا بعد از پاکسازی می باشد. قدم دوم شامل تطبیق داده و یکپارچگی آن می باشد که پاکسازی چند منبعه می باشد. قدم سوم محاسبه دیدهای تحلیلی از دیدهای پایه و در واقع ایجاد پارامترهای تحلیلی می باشد. قدم چهارم شامل استخراج و خصوصی سازی اطلاعات، در واقع ایجاد پایگاه پردازش تحلیلی خاص  می باشد.

 

در این گزارش ابتدا انواع پرس و جو دسته بندی شده و ساختار داده ای هر یک ارائه می شود. هدف از این دسته بندی، تشخیص لزوم ایجاد پایگاه داده تحلیلی با توجه به انواع پرس و جو که به آن اعمال می شود می باشد. بنابراین، پس از آن، نحوه پاسخگویی هر یک از این انواع بر روی پایگاه داده و پایگاه داده تحلیلی متناظر با آن در سایزهای مختلف ارزیابی می شود. به این منظور مقاله ارائه شده دارای هفت بخش دیگر است. در بخش یک، انواع پرس و جو دسته بندی می شود و ساختار داده ای هر دسته ارائه می شود. در بخش دوم، پارامترهای ارزیابی سیستم در رابطه با پرس و جو ارائه می شود. در بخش سوم، یک پایگاه داده و پایگاه داده تحلیلی متناظر با آن به منظور انجام آزمایشات معرفی می شوند. بخش چهارم شامل بررسی نحوه پاسخگویی پایگاه داده و پایگاه داده تحلیلی به انواع پرس و جوهای دسته بندی شده بوده و در بخش پنجم، نتایج آزمایشات بررسی می شود. خلاصه مقاله در بخش ششم ارائه شده و در نهایت، بخش هفتم دربرگیرنده فهرست منابع می باشد.

 

 

 

 

 

 

فهرست مطالب

1- چکیده 2

2- کلید واژه 2

3- مقدمه 2

4- دسته بندی انواع پرس و جو 3

 

5-2- پرس و جوی ساده 3

5-3- پرس و جوی مجتمع 4

5-4- پرس و جوی تودرتو 4

5-5- پرس و جوی پیچیده 4

5-6- پرس و جوی محاسباتی 5

2-6- پرس و جوی پیوندی 5

2-7- پرس و جوی بزرگ 5

2-8- پرس و جوی چندبعدی 6

5- پارامترهای ارزیابی سیستم در رابطه با پرس و جو 6

 

6- معرفی پایگاه داده نمونه و پایگاه داده تحلیلی متناظر با آن به منظور انجام آزمایشات 6

 

6-1- جدول1: جدول شخص (Person_Table) 7

6-2- جدول3: جدول شماره تلفن اشخاص (Tel_Table) 8

جدول4: جدول قرارداد (Contract_Table) 8

6-3- جدول5: جدول تعهدات (Commitment_Table) 8

6-4- جدول6: جدول خسارت (Damage_Table) 8

6-5- شکل1: دیاگرام ارتباطی پایگاه داده 9

6-6- جدول 7 : جدول حقیقت (Insurance_Fact) 9

6-7- جدول 8 :بعد زمان (Time_Dimension) 9

6-8- جدول9: بعد شخص (Person_Dimension) 9

جدول10 : بعد تعهد (Commitment_Dimension) 9

7- نحوه پاسخگویی پایگاه داده و پایگاه داده تحلیلی به انواع پرس و جو 11

 

5-1- نتایج اجرای پرس و جوی ساده 11

5-2- نتایج اجرای پرس و جوی مجتمع 11

5-3- نتایج اجرای پرس و جوی تودرتو 12

5-4- نتایج اجرای پرس و جوی پیوندی 12

5-5- نتایج اجرای پرس و جوی بزرگ (پرس و جوی دو بعدی) 13

5-6- نتایج اجرای پرس و جوی بزرگ (پرس و جوی سه بعدی) 14

8- بررسی نتایج 15

9- خلاصه و نتیجه 16

10- فهرست منابع 16