پکیج جامع علم داده با رپیدماینر RapidMiner

علم داده با رپیدماینر یکی از ترندهای روز حوزه هوش مصنوعی است که هر روز موقعیت های شغلی بیشتر و جذاب تری برای آن به وجود می آید. علم داده (data science) و یادگیری ماشین را می‌توان به عنوان یکی از مهم‌ترین و محبوب‌ترین تخصص‌های عصر حاضر در نظر گرفت؛ چرا که در اکثر کشورهای دنیا، داده، نقش بسیار مهمی در پیشرفت / سقوط کسب و کار ایفا می‌کند.

یادگیری ماشین یا machine learning که زیر مجموعه هوش مصنوعی محسوب می‌شود، انقلابی بزرگ در کسب و کارها ایجاد کرده است. کاهش هزینه‌ها، افزایش درآمد و در نتیجه افزایش سود سازمانی، هدف اصلی بکارگیری این تخصص است. اینکه بدانیم روی چه مشتری حساب باز کنیم، چه کسی وفادار است، چه کسی سود‌آور است ،چه کسانی از محصولات و خدمات شرکت روی برگرداندند، در چه صورتی، مشتری محصولات ما را می‌خرد و … نمونه‌ای از سؤالاتی است که پاسخ آن در گرو پیاده سازی فرآیندهی مبتنی بر علم داده است. 

تجزیه و تحلیل داده‌های تاریک (dark analytics)، تحلیل داده‌های بدون ساختار (unstructured data) یا نیمه ساختار یافته (semi structured) با پیاده سازی فرآیند داده کاوی است. بیش از 80% دیتای تولیدی در روز، دیتای تاریک محسوب می‌شود. در کشورهای پیشرفته، بسیاری از مدیران به تخصص متن کاوی برای خوشه بندی اسناد و گزارشات، تحلیل نظرات مشتریان در خصوص محصولات و خدماتی که شرکت ارائه می‌دهد، نیاز اساسی دارند.

نرم افزار رپیدماینر، به علت عدم نیاز به داشتن دانش برنامه نویسی، انجام سریع پردازش داده‌های حجیم، داشتن عملگرهای (operator) متنوع و پیشرفته در ساخت با کیفیت فرآیند داده کاوی و ساپورت فرمت‌های بسیاری از دیتاست‌ها (اکسل، csv، pdf، word، صفحات وب، spss، پایگاه‌ داده‌های رابطه ای مثل sql server و …)، به یکی از محبوب‌ترین نرم افزارها در این حوزه تبدیل شده است.

در این دوره چه مباحثی آموزش داده شده است؟

پکیج علم داده (Data Science) با پایتون، مجموع چهار دوره مبانی و مفاهیم داده کاوی و یادگیری ماشین، داده کاوی با رپیدماینر، متن کاوی و وب‌کاوی با رپیدماینر و تصویرکاوی با رپیدماینر است.

توجه: پکیج در سه فصل قرار گرفته است و با هدف یادگیری کامل و تسلط به مباحث پکیج، نیاز است که فایل‌ها به ترتیب فهرست مشاهده شوند:

1-1) مبانی و مفاهیم داده کاوی و یادگیری ماشین:  به آموزش جامع مفاهیم داده کاوی پرداخته می شود و به طور کامل، مفاهیم مربوط با داده کاوی و یادگیری ماشینی را یاد خواهید گرفت.

2-1) داده کاوی با رپیدماینر:  به صورت جامع فرآیند داده کاوی و استفاده از آن برای تحلیل رفتار مشتری (customer behavior)، بخش بندی بازار و … را  در رپیدماینر یاد خواهید گرفت.

2) متن کاوی و وب کاوی با رپیدماینر:  در فصل دوم، شما در تحلیل داده‌های کیفی (فایل‌های PDF، Word، .txt ، متن صفحات وب و دیتای متن در اکسل و (CSV به مهارت بسیار خوبی خواهید رسید و انواع متن را به کمک هوش مصنوعی تحلیل خواهید نمود.

3) تصویر کاوی با رپیدماینر: در فصل سوم، به صورت پروژه محور یاد خواهید گرفت که چطور تصاویر با فرمت‌های مختلف را به دیتاست تبدیل کنید و از آن‌ها، الگوهای پنهان کشف کنید.

سرفصل های دوره پکیج جامع علم داده با رپیدماینر RapidMiner

فصل 1-1 مبانی داده کاوی و یادگیری ماشین

آشنایی با مفاهیم اولیه

• تعریف داده کاوی (data mining)
• اهمیت داده کاوی
• کاربرد داده کاوی در صنایع و کسب و کارهای مختلف
• تعریف فرآیند داده کاوی
• تعریف یادگیری ماشین (machine learning) و کاربرد آن در داده کاوی
• تفاوت میان داده کاوی و علم داده (data science)
• هدف دوره

مفهوم جبر خطی در داده کاوی و یادگیری ماشین

• تعریف جبر خطی
• اهمیت جبر خطی در داده کاوی
• بردارها و محاسبات برداری
• نرم برداری
• ماتریس‌ها و محاسبات ماتریس

آشنایی با انواع دیتا

• دیتای ساختار یافته (Structured data)
• دیتای نیمه ساختار یافته (Semi-structured data)
• دیتای بدون ساختار (Unstructured data)

 مفاهیم تحلیل آماری و رسم نمودار در داده کاوی و یادگیری ماشین

• آشنایی با انواع نمودار (پیاده سازی در پایتون)
• تعریف آمار و علم آمار
• ابزارهای مورد استفاده برای تهیه گزارش آماری
• آشنایی با شاخص‌های مرکزی و پراکندگی
• متغیرها
• همبستگی و ماتریس همبستگی
• نمودار پراکندگی (scatterplot)
• Crosstab
• توابع Aggregation
• آشنایی با مفهوم Group by
• استفاده از تابع Group by برای محاسبه فراوانی یک متغیر کیفی
• استفاده از نمودار هیستوگرام برای محاسبه فراوانی یک متغیر کمی
• مفهوم significance (P-value)
• آزمون‌های آماری پارامتریک
• آزمون‌های آماری ناپارامتریک
• تعریف نمونه‌گیری
• مزایا و معایب نمونه‌‎‌گیری دار داده کاوی
• انواع روش پرکاربرد نمونه گیری

 مفاهیم پیش پردازش داده‌ها

• پر کردن مقادیر NULL (کمی، کیفی اسمی و ترتیبی)
• فیلتر کردن رکورد یا وِیژگی
• تولید ویژگی feature generation))
• ساخت Dummy  برای ویژگی‌های کیفی
•  Reclassification طبقه بندی مجدد مقادیر
• Join
• Append
• بخش بندی دیتا (Train_Test_Split)
• نرمالسازی
• استاندارد سازی
• تعریف کاهش ابعاد
• اهمیت کاهش ابعاد
• تعریف انتخاب ویژگی (Feature selection)
• اهمیت انتخاب ویژگی
• انواع روش انتخاب ویژگی

 مفهوم سری‌های زمانی

• تعریف سری زمانی
• تعریف برازش (Fitting) و پیش بینی (Forecasting)
• مدل ARIMA
• شاخص‌های نیکویی برازش
• میانگین
• خطای معیار (SE)
• R2 ایستایی
• میانگین مجذور خطا (RMSE)
• میانگین قدر مطلق درصد خطا (MAPE)
• ماکزیمم قدر مطلق درصد خطا (MAX PE)
• میانگین قدر مطلق خطا (MAE)
• ماکزیمم قدر مطلق خطا (MAX AE)
• معیار اطلاعاتی نرمال شده بیز (Normalized BIC)

مفهوم رگرسیون خطی

• تعریف رگرسیون خطی
• رابطه خطی
• R Square
• خطای معیار تخمین
• فرضیه آماری آزمون معنا داری کل مدل رگرسیون (به کمک جدول Anova)
• مقدار ثابت (B0)
• مقدار ضریب متغیر مستقل (B1)
• فاصله اطمینان
• Regularization
• مفهوم Overfitting

مفهوم خوشه بندی (Clustering)

• تعریف خوشه بندی
• اهمیت خوشه بندی
• تفاوت خوشه بندی با کاهش ابعاد
• انواع روش خوشه بندی
• مفهوم distance / similarity
• Dendrogram
• مفهوم Agglomerative clustering
• مفهوم Linkage و انواع آن
• مفهوم Ward

مفهوم طبقه بندی (Classification)

• تعریف طبقه بندی
• تفاوت طبقه بندی با خوشه بندی
• اهمیت طبقه بندی
• آشنایی با الگوریتم‌های طبقه بندی، مفاهیم و کاربردهای آن‌ها
• کارنامه طبقه بندی و ارزیابی مدل

مفهوم آنالیز RFM

• تعریف اولیه
• اهمیت RFM
• مفهوم Recency
• مفهوم Frequency
• مفهوم Monetary

مفهوم قواعد انجمنی

• آشنایی با مفاهیم قواعد انجمنی
• محاسبات مربوطه

فصل 2-1 داده کاوی با رپیدماینر

معرفی دوره

دانلود و نصب نرم افزار

وارد کردن دیتاست‌ها

• اکسل (Excel)
• متن (Text)
• CSV
• SPSS آماری (.sav)
• صفحه سایت (URL)

اتصال پایگاه داده SQL Server به RapidMiner

تحلیل آماری و رسم نمودار

• آمار توصیفی
• تابع Aggregate (Group by)
• Pivot table
• ماتریس همبستگی
• رسم نمودار دو بعدی و سه بعدی

مشخص کردن نوع (Type) و نقش (Role) ویژگی

ساخت ویژگی (Attribute) و توابع

• ساخت ویژگی با توابع منطقی (Logical)
• ساخت ویژگی با توابع مقایسه‌ای و اطلاعات متنی
• ساخت ویژگی با توابع آماری
• ساخت ویژگی با توابع ریاضی
• ساخت ویژگی با مهندسی ویژگی (Feature Engineering)

پیش پردازش داده‌ها

پیش پردازش داده‌ها (بخش 1)

• نرمالسازی
• ساخت ویژگی ID
• نمونه گیری ساده و پیشرفته (Stratified)
• Binning (طبقه بندی دیتای کمی)
• Binning به وسیله Entropy
• فیلتر کردن رکورد (Example) و ویژگی (Attribute)
• جایگذاری مقادیر Null (خالی)
• مباحث پیشرفته‌تر در پر کردن مقدار Null
• تولید ویژگی با نیوز (Noise)
• Merge 
• حذف ویژگی‌های همبسته (Corellated attributes)
• Sort

پیش پردازش داده‌ها (بخش 2)

• مدیریت مقادیر Null در ویژگی‌های کیفی به با استفاده از Map
• ایجاد اتصال (Join)
• ایجاد تجمیع (Append)
• شناسای و حذف دیتای پرت (Outlier Detection)
• زیر مجموعه (Subset)
• زیر فرآیند (Sub process)

پیش پردازش داده‌ها (بخش 3)

• کاهش ابعاد (PCA و SVD)
• FP-Growth برای قواعد انجمنی (Association Rules)
• انتخاب ویژگی (Feature Selection) -> در فصل پروژه‌ها

یادگیری نظارتی

• رگرسیون خطی (Linear regression) + مثال
• طبقه بندی (Classification) چیست؟
• درخت تصمیم + مثال
• رگرسیون لجستیک + مثال
• شبکه‌ بیز (Naïve Bayes) + مثال
• KNN + مثال
• بردار حمایت ماشین (Support Vector Machine) + مثال
• شبکه عصبی (Neural Networks) + مثال
• Rule Induction + مثال
• Boosting (تکنیک Ensemble) + مثال
• Bagging (تکنیک Ensemble) + مثال

خوشه بندی

• خوشه بندی چیست؟
• خوشه بندی با K-means + مثال
• خوشه بندی سلسله مراتبی + مثال
• خوشه بندی با EM + مثال
• خوشه بندی با DBSCAN + مثال
• طبقه بندی براساس نتایج خوشه بندی + مثال

قواعد انجمنی (Association Rules)

• قواعد انجمنی چیست؟
• تحلیل سبد بازار (Market Basket Analysis) + مثال

پروژه‌های داده کاوی

• بازاریابی مستقیم بر روی دیتای کمپین بازاریابی یک بانک
• طبقه بندی بیماران سرطان خون
• رتبه بندی اعتباری مشتریان
• پیش بینی نمره نهایی دانش آموزان مدارس یک منطقه
• خوشه بندی افراد براساس تغذیه
• طبقه بندی انواع شیشه با توجه به مواد سازنده آن‌ها
• Credit Approval (براساس اطلاعات حساب بانکی مشتریان)
• رتبه بندی اپلیکیش‌های ورود به دانشکده پرستاری
• تحلیل سبد محصولات یک فروشگاه غذایی با استفاده از قواعد انجمنی
• خوشه بندی مشتریان یک بانک
• خوشه بندی دانشجویان رشته‌های مختلف یک دانشگاه

فصل 2- متن کاوی و وب کاوی با رپیدماینر

• آشنایی با متن کاوی
• منابع دیتاست‌های متن
• مفاهیم پیش پردازش متن
• دانلود و نصب فایل‌های متن کاوی و وب کاوی در رپیدماینر
• شناسایی و طبقه بندی پیامک‌‌های اسپم 
• ساخت سیستم طبقه بندی متون اخبار براساس نوع زبان
• تحلیل اطلاعات دانشگاه‌های ایران (سراسری، آزاد و پیام نور)  در سطح وب (وب کاوی)
• ارزیابی شباهت محتوای سایت‌های شرکت‌های پتروشیمی (وب کاوی)
• تحلیل نظرات/ پیشنهادات مشتریان هتل‌های مختلف (Text association mining)
• خوشه بندی هتل‌ها براساس نظرات / پیشنهاد مشتریان
• خوشه بندی اسناد و مدارک (در اینجا رزومه‌های کاری) 
• انتخاب بهترین رزومه فرصت شغلی ” متخصص علوم داده” با استفاده از متن کاوی

فصل 3- تصویر کاوی با رپیدماینر

• آشنایی با تصویر کاوی
• دانلود و نصب Image miner در رپیدماینر
• نحوه تار کردن و ذخیره سازی یک تصویر
• استفاده از Histogram Equalizer در تصویر
• نحوه کار با استخراج کننده عنصر رنگی (CCE) و جدول Look up
• نحوه ترکیب کردن تصاویر (Image combination)
• بخش بندی اجزای یک تصویر با ماشین بردار حمایتی (SVM)
• خوشه بندی اجزای تصویر با K-means براساس دیتاست استخراج شده
• طبقه بندی تصاویر پرندگان و غروب خورشید با درخت تصمیم
• خوشه بندی تصاویر با K-means و EM Clustering 
• طبقه بندی تصاویر طبیعت و امکان تاریخی با شبکه عصبی (پیشرفته)
• کشف و شناسایی الگو – Pattern detection (پیشرفته)

حاصل دوره

1. کسب تخصص لازم برای کار و فعالیت به عنوان Data scientist
2. پوشش جامع نیازمندی های فرصت شغلی های مرتبط
3. پشتیبانی روزانه برای پاسخ به سؤالات افراد برای تضمین یادگیری

توجه : 

1- نسخه حرفه ای و کرک شده نرم افزار rapidminer نیز برای دانلود و نصب در اختیارتان قرار داده شده است. پس از دانلود و نصب نرم افزار، ذر پوشه crack، فایل readme را مطالعه کنید.

2- با توجه به تعداد زیاد فایل‌های آموزش و راحتی دانشجو در دانلود آن‌ها، فایل‌ها به صورت فشرده قرار داده شده‌اند که پس از خرید دوره، مطابق با فهرست دوره، قابل دانلود و مشاهده می‌باشند.

3-  در صورت داشتن هر گونه سؤال در خصوص دوره، از طریق آدرس ایمیل shahin.nouri91@gmail.com یا ارسال تیکت (در صورت خرید دوره)، می توانید سؤالات خود را مطرح کنید.

توجه : با هدف یادگیری کامل و تسلط به مباحث دوره، در صورت داشتن هر گونه سؤال، راهنمایی و نیاز به توضیحات بیشتر در خصوص فرآیندها و عملگرهای آموزش، دانشجویان محترم می توانند با ارسال تیکت از طریق بخش حساب کاربری و تیکت پشتیبانی با بنده در ارتباط باشند.