مقدمه ای بر داده‌کاوی
در دو دهه قبل توانايي های فنی بشر در برای
توليد و جمع آوری داده‌ها به سرعت افزايش يافته است. عواملی نظير استفاده
گسترده از بارکد برای توليدات تجاری، به خدمت گرفتن کامپيوتر در کسب و کار،
علوم، خدمات دولتی و پيشرفت در وسائل جمع آوری داده، از اسکن کردن متون و
تصاوير تا سيستمهای سنجش از دور ماهواره ای، در اين تغييرات نقش مهمی دارند
[1].
بطور کلی استفاده همگانی از وب و اينترنت به عنوان يک سيستم
اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. اين
رشد انفجاری در داده‌های ذخيره شده، نياز مبرم وجود تکنولوژی های جديد و
ابزارهای خودکاری را ايجاد کرده که به صورت هوشمند به انسان ياری رسانند تا
اين حجم زياد داده را به اطلاعات و دانش تبديل کند: داده کاوی به عنوان يک
راه حل برای اين مسائل مطرح مي باشد. در يک تعريف غير رسمی داده کاوی
فرآيندی است، خودکار برای استخراج الگوهايی که دانش را بازنمايی مي کنند،
که اين دانش به صورت ضمنی در پايگاه داده های عظيم، انباره داده و ديگر
مخازن بزرگ اطلاعات، ذخيره شده است. داده کاوی بطور همزمان از چندين رشته
علمی بهره مي برد نظير: تکنولوژی پايگاه داده، هوش مصنوعی، يادگيری ماشين،
شبکه های عصبی، آمار، شناسايی الگو، سيستم های مبتنی بر دانش ، حصول دانش ،
بازيابی اطلاعات ، محاسبات سرعت بالا و بازنمايی بصری داده . داده کاوی
در اواخر دهه 1980 پديدار گشته، در دهه 1990 گامهای بلندی در اين شاخه از
علم برداشته شده و انتظار می رود در اين قرن به رشد و پيشرفت خود ادامه دهد
[2].
واژه های «داده کاوی» و «کشف دانش در پایگاه داده» اغلب به صورت
مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان يک فرآيند
در شکل1-1 نشان داده شده است.
کشف دانش در پایگاه داده فرایند شناسایی
درست، ساده، مفید، و نهایتا الگوها و مدلهای قابل فهم در داده ها می باشد.
داده کاوی، مرحله ای از فرایند کشف دانش می باشد و شامل الگوریتمهای مخصوص
داده کاوی است، بطوریکه، تحت محدودیتهای مؤثر محاسباتی قابل قبول، الگوها و
یا مدلها را در داده کشف می کند [1]. به بیان ساده تر، داده کاوی به
فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق می شود.
تعریف دیگر اینست که، داده کاوی گونه ای از تکنیکها برای شناسایی اطلاعات و
یا دانش تصمیم گیری از قطعات داده می باشد، به نحوی که با استخراج آنها،
در حوزه های تصمیم گیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار
گیرند. داده ها اغلب حجیم ، اما بدون ارزش می باشند، داده به تنهایی قابل
استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می باشد. به این
دلیل اغلب به داده کاوی، تحلیل داده ای ثانویه گفته می شود.
1-1 چه چيزی سبب پيدايش داده کاوی شده است؟
اصلی
ترين دليلی که باعث شد داده کاوی کانون توجهات در صنعت اطلاعات قرار
بگيرد، مساله در دسترس بودن حجم وسيعی از داده ها و نياز شديد به اينکه از
اين داده ها اطلاعات و دانش سودمند استخراج کنيم. اطلاعات و دانش بدست آمده
در کاربردهای وسيعی از مديريت کسب و کار وکنترل توليد و تحليل بازار تا
طراحی مهندسی و تحقيقات علمی مورد استفاده قرار می گيرد.
داده کاوی را
می توان حاصل سير تکاملی طبيعی تکنولوژی اطلاعات دانست، که اين سير تکاملی
ناشی از يک سير تکاملی در صنعت پايگاه داده می باشد، نظير عمليات: جمع آوری
داده ها وايجاد پايگاه داده، مديريت داده و تحليل و فهم داده ها. در
شکل1-2 اين روند تکاملی در پايگاه های داده نشان داده شده است ]3[.
فهرست
1 مقدمه ای بر داده‌کاوی 3
1-1 چه چيزی سبب پيدايش داده کاوی شده است؟ 4
1-2 مراحل کشف دانش 6
1-3 جایگاه داده کاوی در میان علوم مختلف 11
1-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟ 12
1-5 داده کاوی و انبار داده ها 13
1-6 داده کاوی و OLAP 14
1-7 کاربرد یادگیری ماشین و آمار در داده کاوی 15
2- توصیف داده ها در داده کاوی 15
2-1 خلاصه سازی و به تصویر در آوردن داده ها 15
2-2 خوشه بندی 16
2-3 تحلیل لینک 16
3- مدل های پیش بینی داده ها 17
3-1 Classification 17
3-2 Regression 17
3-3 Time series 18
4 مدل ها و الگوریتم های داده کاوی 18
4-1 شبکه های عصبی 18
4-2 Decision trees 22
4-3 Multivariate Adaptive Regression Splines(MARS) 24
4-4 Rule induction 25
4-5 K-nearest neibour and memory-based reansoning(MBR) 26
4-6 رگرسیون منطقی 27
4-7 تحلیل تفکیکی 27
4-8 مدل افزودنی کلی (GAM) 28
4-9 Boosting 28
5 سلسله مراتب انتخابها 29