دانلود پروژه داده کاوی پویا با استفاده از عامل

دانلود متن کامل ورد Word پروژه داده کاوی پویا با استفاده از عامل دانلود متن کامل پایان نامه داده کاوی پویا با استفاده از عامل پایان­­ نامه کارشناسی رشته مهندسی کامپیوتر گرایش نرم ­افزار تعداد صفحات 157 چکیده امروزه با توجه به گسترش روز افزون اطلاعاتی که بشر با آنها سر و کار دارد، بهره ­گیری از روشهایی همچون داده ­کاوی برای استخراج دانش و اطلاعات نهفته در داده­ها، امری غیرقابل اجتناب می­باشد بدلیل حجم بسیار

دسته بندی	هوش مصنوعی
فرمت فایل	doc
حجم فایل	406 کیلو بایت
تعداد صفحات فایل	157

دانلود متن کامل پایان نامه داده کاوی پویا با استفاده از عامل

پایان­­ نامه کارشناسی رشته مهندسی کامپیوتر گرایش نرم ­افزار

 تعداد صفحات : 157

چکیده

امروزه با توجه به گسترش روز افزون اطلاعاتی که بشر با آنها سر و کار دارد، بهره ­گیری از روشهایی همچون داده ­کاوی برای استخراج دانش و اطلاعات نهفته در داده­ها، امری غیرقابل اجتناب می­باشد. بدلیل حجم بسیار بالای داده­ ها در بسیاری از کاربردها و اهمیت بیشتر داده­ های جدید، ذخیره ­سازی این داده ­ها امری مقرون به صرفه نیست، لذا داده ­هایی که باید مورد پردازش قرار گیرند، همواره بصوت پویا در حال تغییر و تحول هستند. مساله دیگری که امروزه در بحث داده ­کاوی وجود دارد، بحث توزیع شدگی ذاتی داده­ها است. معمولا پایگاه هایی که این داده­ ها را ایجاد یا دریافت می­کنند، متعلق به افراد حقیقی یا حقوقی هستند که هر کدام بدنبال اهداف و منافع خود می­باشند و حاضر نیستند دانش خود را بطور رایگان در اختیار دیگران قرار دهند.

با توجه به قابلیتهای عامل و سیستمهای چندعامله و مناسب بودن آنها برای محیطهای پویا و توزیع شده بنظر می­رسد که بتوان از قابلیت های آنها برای داده­کاوی در محیطهای پویا و محیطهای توزیع شده بهره برد. اکثر کارهایی که تاکنون در زمینه بهره­گیری از عامل و سیستمهای چندعامله انجام شده است خصوصیتهایی همانند خودآغازی و بخصوص متحرک بودن عاملها را مورد بررسی قرار داده است و در آنها مواردی همچون هوشمندی، یادگیری، قابلیت استدلال، هدف گرایی و قابلیت های اجتماعی عاملها مورد بررسی قرار نگرفته است. در این تحقیق ما قصد داریم تا ضمن بررسی کارهای موجود در زمینه کاربرد عامل و سیستم های چندعامله در داده­کاوی، بحث طبقه­ بندی جریان داده­ها را در یک محیط پویا مورد بررسی قرار دهیم. ما مساله خود را در دو فاز مورد بررسی قرار خواهیم داد. در فاز اول خصوصیت های یک عامل تنها مورد بررسی قرار خواهد گرفت و در فاز دوم قابلیت های اجتماعی عاملها مانند مذاکره، دستیابی به توافق و … برای داده­ کاوی در یک محیط پویا و توزیع­ شده رقابتی مورد استفاده قرار خواهد گرفت. بطور کلی دستاوردهای اصلی این تحقیق عبارتند از

1) ارائه یک رویکرد مبتنی بر عامل برای مساله طبقه­ بندی جریان داده­ های دارای تغییر مفهوم و پویا با استفاده از قابلیتهای هدف گرایی، هوشمندی، یادگیری و استدلال

2) ارائه یک رویکرد مبتنی بر سیستمهای چندعامله برای طبقه­بندی جریان داده­های توزیع­شده در یک محیط رقابتی با استفاده از قابلیتهای اجتماعی عاملها و دستیابی به توافق.

نتایج حاصل از آزمایشات انجام شده در این پایان­ نامه نشان­ دهنده برتری استفاده از عاملها و سیستم های چندعامله برای بحث طبقه­ بندی و داده ­کاوی در محیطهای پویا و توزیع شده می­باشد.

فهرست مطالب

1. فصل اول – معرفی و آشنایی با مفاهیم اولیه

1-1- مقدمه­ ای بر داده­ کاوی

1-1-1- خوشه­ بندی

1-1-2- کشف قواعد وابستگی

1-1-3- طبقه­ بندی

1-1-3-1- طبقه­ بندی مبتنی بر قواعد

1-2- داده­ کاوی توزیع­ شده

1-3- عاملها و سیستم های چندعامله

1-3-1- عامل

1-3-1-1- مقایسه عامل با شی

1-3-1-2- معماری عامل ها

1-3-1-3- معماری BDI

1-3-2- سیستم ­های چندعامله

1-3-2-1- مذاکره

1-4- بهره ­گیری از عامل برای داده کاوی

1-4-1- سیستم­ های چندعامله، بستری برای داده­ کاوی توزیع شده

1-5- جمع ­بندی

1. فصل دوم – داده­ کاوی پویا

2-1- مقدمه­ ای بر داده­ کاوی پویا

2-2- جریان داده

2-3- طبقه­ بندی جریان داده

2-3-1- موضوعات پژوهشی

2-4- جمع­ بندی

1. فصل سوم – مروری بر کارهای انجام شده

3-1- مقدمه

3-2- داده­ کاوی توزیع­ شده ایستا

3-2-1- روشهای غیرمتمرکز

3-2-2- روشهای مبتنی بر توزیع ذاتی داده ­ها

3-3- کارهای مهم انجام شده در زمینه داده ­کاوی با استفاده از عامل 

3-4- کارهای انجام شده در زمینه طبقه­ بندی جریان داده ­ها

3-4-1- روشهای طبقه­ بندی Ensemble-based

3-4-2- درختهای تصمیم بسیار سریع

3-4-3- طبقه­ بندی On-Demand

3-4-4- OLIN

3-4-5- الگوریتم های LWClass

3-4-6- الگوریتم ANNCAD

3-4-7- الگوریتم SCALLOP

3-4-8- طبقه ­بندی جریان داده ­ها با استفاده از یک روش Rule-based

3-5- جمع­ بندی

1. فصل چهارم – تعریف مساله

4-1- مقدمه

4-2- تعریف مساله برای فاز اول

4-2-1- جریان داده

4-2-2- مفهوم یا مدل موجود در جریان داده

4-2-3- مساله طبقه­ بندی جریان داده­ های دارای تغییر مفهوم

4-3- تعریف مساله برای فاز دوم

1. فصل پنجم – رویکردهای پیشنهادی

5-1- مقدمه

5-2- رویکرد پیشنهادی برای فاز اول پروژه

5-2-1- عامل و ویژگی های آن در این مساله

5-2-2- عملکرد کلی عامل

5-2-3- معماری عامل

5-2-3-1- حسگرها

5-2-3-2- پایگاه دانش عامل

5-2-3-3- تابع ارزیابی محیط

5-2-3-3-1- نحوه تشخیص اطلاعات و نگهداری الگوهای recur در جریان داده  

5-2-3-3-2- نحوه استخراج الگوهای recur

5-2-3-3-3- نحوه بروزرسانی اطلاعات مربوط به الگوهای recur

5-2-3-3-4- نحوه محاسبه وقوع احتمال وقوع یک الگوی خاص

5-2-3-4- تابع سودمندی

5-2-3-5- بخش تصمیم­ گیری و Planning

5-2-3-5-1- بخش تصمیم­ گیری

5-2-3-5-2- Planning

5-2-3-6- بخش Action

5-3- رویکرد پیشنهادی برای فاز دوم مساله

5-3-1- عاملهای مشتری

5-3-2- عامل صفحه زرد

5-3-3- عاملهای داده­ کاو

5-3-3-1- معماری عاملهای داده­ کاو

5-3-3-1-1- تابع BRF

5-3-3-1-2- تابع Generate Options

5-3-3-1-3- تابع فیلتر

5-3-3-1-4- بخش Actions

5-3-3-1-5- Plan های عامل

5-3-3-1-5- 1- Plan مربوط به طبقه­ بندی

5-3-3-1-5-2- Plan مربوط به تطبیق طبقه ­بند

5-3-3-1-5-3- Plan مربوط به خرید و فروش قواعد با استفاده از مذاکره  

5-4- جمع ­بندی

1. فصل ششم – آزمایشات و نتایج

6-1- مقدمه

6-2- محیط عملیاتی

6-3- مجموعه داده­ های مورد استفاده

6-3-1- مجموعه داده­ های استاندارد

6-3-2- مجموعه داده­ های واقعی

6-4- معیارهای ارزیابی و روشهای مورد استفاده برای مقایسه

6-5- آزمایشات انجام شده

6-5-1- آزمایشات مربوط به فاز اول

6-5-2- آزمایشات مربوط به فاز دوم

6-6- جمع ­بندی

1. فصل هفتم- جمع­بندی و نتیجه­ گیری

 فهرست مراجع

فهرست اشکال

1. شکل 1-1- معماری BDI در عامل
2. شکل 3-1- درخت تحقیق مربوط به طبقه­بندی در مبحث داده­کاوی
3. شکل 3-2- طبقه­ بندی مبتنی بر Ensemble. Error! Bookmark not defined
4. شکل 3-3- چارچوب روش On-Demand
5. شکل 3-4- نمایی از سیستم OLIN
6. شکل 3-5- پروسه SCALLOP
7. شکل 5-1- نمودار ترتیب عملکرد عامل پیشنهادی
8. شکل 5-2- معماری عامل پیشنهادی
9. شکل 5-3- پنجره نظاره بر روی جریان داده­ها
10. شکل 5-4- گراف ایجاد شده از روی رشته مفهوم­ها
11. شکل 5-5- محل تجمع الگوهای استخراج شده از رشته مفهوم­ها
12. شکل 5-6- میزان محاسبه شده احتمالها به ازای مقادیر مختلف K
13. شکل 5-7- شبه کد Plan کلی عامل
14. شکل 5-8- نسبت واریانس به حاصلضرب 50 متغیر دارای مجموع ثابت
15. شکل 5-9- وزن دهی چند داده مختلف
16. شکل 5-10- نمایی کلی از سیستم چندعامله ایجاد شده
17. شکل 5-11- معماری BDI عامل داده­کاو
18. شکل 5-12- بخشی از جریان داده و قواعد استخراج شده از آن
19. شکل 5-13- بخشی از جریان داده و قواعد استخراج شده از آن
20. شکل 6-1- کد نمونه برای استفاده از بسته نرم افزاری weka
21. شکل 6-2- زمان لازم بر حسب میلی ثانیه برای داده ­های Stagger
22. شکل 6-3- زمان مصرف شده برای تطبیق طبقه­بند
23. شکل 6-4- نمودار مربوط به زمان پردازش روشهای مختلف برای داده­ های HyperPlan
24. شکل 6-5- زمان مصرف شده برای تطبیق طبقه ­بند
25. شکل 6-6- نمودار مربوط به زمان پردازش روشهای مختلف برای داده ­های Nursery
26. شکل 6-7- زمان مصرف شده برای تطبیق طبقه­بند برای داده ­های Nursery
27. شکل 6-8- عملکرد روشهای مختلف بر روی مجموعه داده HyperPlan
28. شکل 6-9- نمودار عملکرد روشهای مختلف بر روی مجموعه داده HyperPlan در یک بازه کوچکتر
29. شکل 6-10- نمودار عملکرد روشهای مختلف بر روی مجموعه داده HyperPlan در یک بازه کوچکتر
30. شکل 6-11- زمان مصرف شده برای تطبیق طبقه­ بند برای داده­های HyperPlan
31. شکل 6-12- عملکرد روشهای مختلف بر روی مجموعه داده Stagger
32. شکل 6-13- زمان مصرف شده برای تطبیق طبقه­بند برای داده­های Stagger
33. شکل 6-14- عملکرد روشهای مختلف بر روی مجموعه داده Nursery
34. شکل 6-15- زمان مصرف شده برای تطبیق طبقه­ بند برای داده­های Nursery
35. شکل 6-16- نمودار نتایج حاصل از طبقه­ بندی توزیع ­شده مجموعه داده Nursery

فهرست جدولها

1. جدول 1-1- ویژگیهای یک عامل
2. جدول 3-1- ماتریس حاصل از روش LWClass
3. جدول 3-2- مقایسه تکنیک های ذکر شده
4. جدول 5-1- ساختار اطلاعاتی ذخیره شده برای هر مفهوم و الگو
5. جدول 5-2- ساختار اطلاعاتی مربوط به وقوع الگوی “CFDA”
6. جدول 5-3- نمونه ای از خروجی تابع سودمندی عامل
7. جدول 5-4- اطلاعات مورد استفاده برای تخمین سودمندی یک قاعده
8. جدول 6-1- دقت طبقه­ بندی روشهای مختلف
9. جدول 6-2- نتایج حاصل از طبقه­ بندی توزیع شده مجموعه داده Nursery در سه مفهوم مختلف

دانلود مقاله داده کاوی پویا با استفاده از عامل هوشمند

داده کاوی پویا با استفاده از عامل هوشمند در این مقاله روشی برای طبقه بندی جریان داده ها با استفاده از عامل ارائه گردیده است که در آن از خصوصیات عاملها استفاده شده است

دسته بندی	مهندسی نرم افزار
فرمت فایل	doc
حجم فایل	118 کیلو بایت
تعداد صفحات فایل	23

داده کاوی پویا با استفاده از عامل هوشمند

 

حسین مرشدلو  : احمد عبدالله زاده بارفروش 

 

 

چکیده

امروزه بدلیل حجم بسیار بالای داده ها و نیاز به پردازش و استخراج پویای دانش موجود در داده ها، داده کاوی جریان داده-ها اهمیت بسزایی یافته است. طبقه بندی جریان داده ها نیز یکی از مهمترین شاخه های داده کاوی است که تاکنون روشهای مختلفی برای آن ارائه گردیده است. اکثر این روشها واکنشی عمل کرده و پس از وقوع تغییر مفهوم در جریان داده ها، مدل داده خود را با مفهوم جدید وفق می دهند. از آنجائیکه در دنیای واقعی بسیاری از رخدادها تکرار می شوند بنظر می رسدکه بتوان با استفاده از روشهای یادگیری، تغییرات احتمالی در جریان داده-ها را پیش بینی کرد.

 

 البته بدلیل غیرقابل پیش بینی بودن برخی رخدادها لازم است که روش ارائه شده، قابلیت واکنشی نیز داشته باشد. بنابراین روشی که بتواند بطور هوشمندانه تناسب خوبی بین رفتارهای واکنشی و پیش فعال برقرار نماید، قادر خواهد بود قابلیت انطباق خوبی با محیط داشته و موفق عمل نماید. از طرفی با توجه به خصوصیات عاملها همچون خودمختاری، واکنشی، پیش  فعالی، یادگیری و قابلیت استدلال، بطور قطع مساله طبقه بندی جریان داده ها بستر مناسبی برای استفاده از قابلیت های عامل ها می باشد. در این مقاله روشی برای طبقه بندی جریان داده ها با استفاده از عامل ارائه گردیده است که در آن از خصوصیات عاملها استفاده شده است. 

 

در این روش عاملها قبل از وقوع تغییرات در جریان داده، بکمک استدلال و دانشی که از محیط بدست آورده اند، تغییرات را پیش بینی کرده و بر اساس آن برنامه ریزی می کنند. در صورتیکه رخدادهای پیش بینی شده اتفاق نیفتند، عامل متناسب با وضعیت فعلی از خود رفتار واکنشی نشان می دهد. این ویژگیها عامل را قادر می سازد که در محیط، یک رفتار هوشمند از خود نشان دهد. روش مورد نظر بر روی مجموعه داده های استاندارد که در اکثر کارهای انجام گرفته برای طبقه بندی جریان داده ها مورد استفاده قرار گرفته-اند، تست گردیده و نتایج حاصل از انجام آزمایشات نشان دهنده برتری استفاده از یک رفتار هوشمند پیش فعال نسبت به یک رفتار واکنشی می باشد.

 

 

کلمات کلیدی:

عامل

طبقه بندی

رفتار واکنشی

رفتار پیش فعال

داده کاوی جریان داده ها

 

 

مقدمه

امروزه بدلیل حجم گسترده و بسیار زیاد داده های موجود و همچنین عدم امکان ذخیره سازی آنها و نیاز به پردازش و استخراج پویای اطلاعات و دانش نهفته در داده ها، بحث داده کاوی جریان داده ها (Data Stream Mining) طی سالهای اخیر بسیار مورد توجه قرار گرفته است. از جمله کاربردهای داده کاوی جریان داده ها می توان به استفاده در بحث تشخیص تقلب در کارتهای اعتباری، بحث پردازش ترافیک شبکه و ... اشاره کرد. در این میان بحث طبقه بندی جریان داده ها از اهمیت بسزایی برخوردار است و کارهای متعددی در این زمینه انجام گرفته است که از آن جمله می توان به موارد ]4،7،10،11،12[ اشاره کرد.

 

 یکی از مهمترین مباحثی که در بحث طبقه بندی و داده کاوی جریان داده ها وجود دارد ، بحث مربوط به تغییر مفهوم (concept drift) می باشد که بمعنی تغییر مدل یا مفهوم نهفته در پس داده های یک جریان داده می باشد، به این معنی که مدلهایی که از یک جریان داده در یک زمان خاص ساخته می شوند ، با گذشت زمان دقت خود را از دست داده و قادر به طبقه بندی صحیح داده ها با دقت لازم نیستند. اکثر روشهایی که تاکنون برای مدیریت تغییر مفهوم در داده ها ارائه گردیده اند، بصورت واکنشی عمل کرده و سعی می کنند، همواره مدل داده خود را با مفهوم های جدید در داده ها وفق دهند. بررسی و مرور جامعی بر این روشها را می توان در [9] مشاهده کرد.

 

 از آنجایی که این روشها تنها از یک مدل داده استفاده می کنند، بحث دقیق نگه داشتن این مدل داده هنگامی که تغییر مفهوم در جریان داده وجود دارد، امری دشوار و مشکل می-باشد، لذا بنظر می رسد در صورت وجود تغییر مفهوم در داده استفاده از چند مدل داده مختلف متناسب با مفاهیم مختلف بر استفاده از یک مدل داده واحد برتری داشته باشد، اما مشکلی که وجود دارد تصمیم گیری درست در مورد استفاده از مدل داده مناسب در هر لحظه است. برخی روشها یا الگوریتمها همانند [7] که از چند مدل داده استفاده می کنند، برای بالا بردن دقت خود در طبقه بندی از روشهای Ensemble کردن چندین طبقه بند مختلف بهره می گیرند. برای مثال در ][7] طبقه بندهایی در بازه های زمانی مختلف بر روی داده هایی از جریان داده ایجاد می گردند.

 

الگوریتم این طبقه بندها را بر روی اخیرترین داده ها اعمال می-کند و بسته به دقت این طبقه بندها به هر کدام وزنی تخصیص می-یابد تا برای جریان داده های فعلی بکار گرفته شوند. در واقع اشکالی که روشهای Ensemble کردن دارند این است که نحوه انتخاب درست طبقه بندها برای Ensemble کردن نیز ساده تر از مشکل قبلی (انتخاب درست طبقه بند مناسب با مفهوم جاری موجود در جریان داده ) نمی باشد. رویکردهایی همانند رویکرد [7] اگر چه قادر به ارائه عملکرد قابل قبولی بر روی جریان داده هایی که در آنها تغییر تدریجی مفهوم وجود دارد می باشد، اما در مواردی که جریان داده دارای تغییر مفهوم ناگهانی (Concept shift) باشد، خطای این روشها زیاد می باشد.

 

 

 

فهرست مطالب

داده کاوی پویا با استفاده از عامل هوشمند 1

چکیده 1

کلمات کلیدی 2

ABSTRACT 3

1- مقدمه 4

2- مفاهیم پایه 6

شکل (1) پنجره نظاره بر روی جریان دادهها 7

2-2- عامل و ویژگیهای آن 8

3- رویکرد پیشنهادی 9

3-1-1- روش مقایسه طبقهبند ایجاد شده با طبقهبندهای موجود در حافظه 10

شکل (2) نسبت واریانس به حاصاضرب 50 متغیر دارای مجموع ثابت 11

شکل (3) وزندهی چند داده مختلف 12

3-2- رفتار پیشفعال 12

3-2-1- نحوه پیشبینی مفهوم آتی 14

3-3- ترکیب رفتارهای واکنشی و پیشفعال 15

شکل (5) شبه کد برای تعیین مقدار k 18

4- آزمایشات انجام شده 18

شکل (6) شبیه سازی تغییر مفهوم تدریجی در مجموعه داده استاندارد Hyperplane 19

4-2- نتایج 20

شکل (7) نتایج حاصل از انجام آزمایش بر روی Stagger 20

شکل (8) نتایج حاصل از انجام آزمایش بر روی Hyperplane با تغییر مفهوم تدریجی 21

5- جمع بندی 21

6- مراجع 22