آموزش جامع داده کاوی با رپیدماینر RapidMiner

داده کاوی با رپیدماینر (ِRapidMiner) قطعا یکی از محبوبترین و پرطرفدارترین شیوه های داده کاوی است که بدون نیاز به هیچ گونه دانش برنامه نویسی می توانید از آن استفاده کنید.

در کنار اهمیت و محبوبیت داده کاوی میان دانشجویان و شرکت های بزرگ، در طی سال های اخیر به دلیل افزایش تولید دیتا و همچنین دیتا محور شدن اکثر کسب و کارها، تحلیل داده پیشرفته (Data analytics) به یک پایه در پیشرفته شرکت ها، سازمان ها و موسسات تحقیقاتی تبدیل شده است.

افزایش رقابت میان شرکت ها، هدفمند شدن تصمیم‌گیری مدیران، کاهش هزینه های سازمانی، افزایش درآمد و در نتیجه افزایش سود در بازارهای مختلف، همگی به داده کاوی و پیاده سازی مدل‌های مبتنی بر یادگیری ماشینی وابسته اند.

حال در کنار اهمیت این تخصص، می توان از جنبه مالی نیز آن را بررسی و تحلیل کرد. هیچ متخصص داده کاوی وجود ندارد که درآمد مناسب نداشته باشد زیرا این کار به قدری لذت بخش است که سختی کار را برای متخصصان این حوزه به شدت کاهش می‌دهد. کشف الگوهای پنهان و پیش بینی احتمال، مواردی هستند که تمامی مدیران را تحت تاثیر قرار می‌دهند و متخصصان داده کاوی و یادگیری ماشین را متمایز می‌کند.

از داده کاوی در بسیاری از صنایع استفاده می‌شود: تجارت، پزشکی و دارو، بیمه و بانک، نفت و گاز، تولید کابل، تجارت الکترونیک و ….

رپیدماینر (ِRapidMiner) بی شک یکی از محبوب‌ترین و پرطرفدارترین نرم افزارهای داده کاوی و علوم داده (Data Science) است. شما بدون هیچ گونه دانش برنامه نویسی و به صورت کاملاً لذت بخش، می‌توانید:

• انواع دیتاست ها مانند اکسل، متن، CSV، SPSS، دیتای موجود در اینترت (URL) و جداول پایگاه داده رابطه‌ای مثل SQL SERVER، MYSQL، ORACLE  و .. را وارد محیط کنید.
• توسط انواع Operator، توابع مختلف (ریاضی، آماری، متن، منطقی و ..) بسازید و ویژگی (متغیر(  تولید کنید.
• پیش پردازش دیتا را به صورت پیشرفته انجام دهید.
• با استفاده انواع الگوریتم‌های نظارتی (رگرسیون خطی، رگرسیون لجستیک، SVM، شبکه عصبی و …) و الگوریتم‌های غیر نظارتی (کاهش ابعاد، خوشه بندی) الگوهای پنهان کشف کنید و احتمال رویدادها را پیش بینی کنید.
• مدل را ارزیابی کنید و دیتاست نهایی را با انواع فرمت خارج کنید.

در دوره قبلی داده کاوی با پایتون و داده کاوی با IBM SPSS Modeler را به شما آموزش دادیم (که لینک آنها در انتهای این توضیحات موجود می باشد.) و در این دوره آموزشی قصد داریم تا به صورت جامع به آموزش داده کاوی با Rapidminer بپردازیم. در ادامه سرفصل های این دوره آموزشی را مشاهده می کنید :

سرفصل های دوره آموزش داده‌کاوی با RapidMiner

فصل ۱- شروع کار با نرم افزار Rapid Miner

معرفی دوره و مزیت های داده کاوی با رپید ماینر

دانلود و نصب نرم افزار

وارد کردن دیتاست ها

• اکسل (Excel)
• متن (Text)
• CSV
• SPSS آماری (.sav)
• صفحه سایت (URL)

اتصال پایگاه داده SQL Server به RapidMiner

تحلیل آماری و رسم نمودار

• آمار توصیفی
• تابع Aggregate (Group by)
• Pivot table
• ماتریس همبستگی
• رسم نمودار دو بعدی و سه بعدی

مشخص کردن نوع (Type) و نقش (Role) ویژگی

فصل ۲- ساخت ویژگی (Attribute) و توابع

• ساخت ویژگی با توابع منطقی (Logical)
• ساخت ویژگی با توابع مقایسه‌ای و اطلاعات متنی
• ساخت ویژگی با توابع آماری
• ساخت ویژگی با توابع ریاضی
• ساخت ویژگی با مهندسی ویژگی (Feature Engineering)

فصل ۳- پیش پردازش داده‌ها

پیش پردازش داده‌ها (بخش ۱)

• نرمالسازی
• ساخت ویژگی ID
• نمونه گیری ساده و پیشرفته (Stratified)
• Binning (طبقه بندی دیتای کمی)
• Binning به وسیله Entropy
• فیلتر کردن رکورد (Example) و ویژگی (Attribute)
• جایگذاری مقادیر Null (خالی)
• مباحث پیشرفته‌تر در پر کردن مقدار Null
• تولید ویژگی با نیوز (Noise)
• Merge 
• حذف ویژگی‌های همبسته (Corellated attributes)
• Sort

پیش پردازش داده‌ها (بخش ۲)

• مدیریت مقادیر Null در ویژگی‌های کیفی به با استفاده از Map
• ایجاد اتصال (Join)
• ایجاد تجمیع (Append)
• شناسای و حذف دیتای پرت (Outlier Detection)
• زیر مجموعه (Subset)
• زیر فرآیند (Sub process)

پیش پردازش داده‌ها (بخش ۳)

• کاهش ابعاد (PCA و SVD)
• FP-Growth برای قواعد انجمنی (Association Rules)
• انتخاب ویژگی (Feature Selection) -> در فصل پروژه‌ها

فصل ۴- یادگیری نظارتی

• رگرسیون خطی (Linear regression) + مثال
• طبقه بندی (Classification) چیست؟
• درخت تصمیم + مثال
• رگرسیون لجستیک + مثال
• شبکه‌ بیز (Naïve Bayes) + مثال
• KNN + مثال
• بردار حمایت ماشین (Support Vector Machine) + مثال
• شبکه عصبی (Neural Networks) + مثال
• Rule Induction + مثال
• Boosting (تکنیک Ensemble) + مثال
• Bagging (تکنیک Ensemble) + مثال

فصل ۵- یادگیری غیر نظارتی

• خوشه بندی چیست؟
• خوشه بندی با K-means + مثال
• خوشه بندی سلسله مراتبی + مثال
• خوشه بندی با EM + مثال
• خوشه بندی با DBSCAN + مثال
• طبقه بندی براساس نتایج خوشه بندی + مثال

فصل ۶- قواعد انجمنی (Association Rules)

• قواعد انجمنی چیست؟
• تحلیل سبد بازار (Market Basket Analysis) + مثال

فصل ۷- پروژه‌های داده کاوی

• بازاریابی مستقیم بر روی دیتای کمپین بازاریابی یک بانک
• طبقه بندی بیماران سرطان خون
• رتبه بندی اعتباری مشتریان
• پیش بینی نمره نهایی دانش آموزان مدارس یک منطقه
• خوشه بندی افراد براساس تغذیه
• طبقه بندی انواع شیشه با توجه به مواد سازنده آنها
• Credit Approval (براساس اطلاعات حساب بانکی مشتریان)
• رتبه بندی اپلیکیشن های ورود به دانشکده پرستاری
• تحلیل سبد محصولات یک فروشگاه غذایی با استفاده از قواعد انجمنی
• خوشه بندی مشتریان یک بانک
• خوشه بندی دانشجویان رشته‌های مختلف یک دانشگاه

حاصل دوره

• به راحتی می‌‌توانید انواع پروژه دانشگاهی و سازمانی داده کاوی را انجام دهید.
• به عنوان داده کاو (data miner) در شرکت‌های مختلف استخدام شوید.

توجه : نسخه حرفه ای و کرک شده نرم افزار rapidminer نیز برای دانلود و نصب در اختیارتان قرار داده شده است. پس از دانلود و نصب نرم افزار، ذر پوشه crack، فایل readme را مطالعه کنید.