پکیج جامع علم داده با رپیدماینر RapidMiner

علم داده با رپیدماینر یکی از ترندهای روز حوزه هوش مصنوعی است که هر روز موقعیت های شغلی بیشتر و جذاب تری برای آن به وجود می آید. علم داده (data science) و یادگیری ماشین را می‌توان به عنوان یکی از مهم‌ترین و محبوب‌ترین تخصص‌های عصر حاضر در نظر گرفت؛ چرا که در اکثر کشورهای دنیا، داده، نقش بسیار مهمی در پیشرفت / سقوط کسب و کار ایفا می‌کند.

یادگیری ماشین یا machine learning که زیر مجموعه هوش مصنوعی محسوب می‌شود، انقلابی بزرگ در کسب و کارها ایجاد کرده است. کاهش هزینه‌ها، افزایش درآمد و در نتیجه افزایش سود سازمانی، هدف اصلی بکارگیری این تخصص است. اینکه بدانیم روی چه مشتری حساب باز کنیم، چه کسی وفادار است، چه کسی سود‌آور است ،چه کسانی از محصولات و خدمات شرکت روی برگرداندند، در چه صورتی، مشتری محصولات ما را می‌خرد و … نمونه‌ای از سؤالاتی است که پاسخ آن در گرو پیاده سازی فرآیندهی مبتنی بر علم داده است. 

تجزیه و تحلیل داده‌های تاریک (dark analytics)، تحلیل داده‌های بدون ساختار (unstructured data) یا نیمه ساختار یافته (semi structured) با پیاده سازی فرآیند داده کاوی است. بیش از ۸۰% دیتای تولیدی در روز، دیتای تاریک محسوب می‌شود. در کشورهای پیشرفته، بسیاری از مدیران به تخصص متن کاوی برای خوشه بندی اسناد و گزارشات، تحلیل نظرات مشتریان در خصوص محصولات و خدماتی که شرکت ارائه می‌دهد، نیاز اساسی دارند.

نرم افزار رپیدماینر، به علت عدم نیاز به داشتن دانش برنامه نویسی، انجام سریع پردازش داده‌های حجیم، داشتن عملگرهای (operator) متنوع و پیشرفته در ساخت با کیفیت فرآیند داده کاوی و ساپورت فرمت‌های بسیاری از دیتاست‌ها (اکسل، csv، pdf، word، صفحات وب، spss، پایگاه‌ داده‌های رابطه ای مثل sql server و …)، به یکی از محبوب‌ترین نرم افزارها در این حوزه تبدیل شده است.

در این دوره چه مباحثی آموزش داده شده است؟

پکیج علم داده (Data science)، مجموع سه دوره داده کاوی و  رپیدماینر ، متن کاوی  و وب کاوی و تصویر کاوی است.

توجه: تهیه این دوره به کسانی پیشنهاد می‌‎شود که اصلاً در خصوص هیچ یک از تخصص‌های ذکر شده، آشنایی ندارند و یا هیچ یک از دوره‌های مربوطه را تهیه نکرده‌اند.

فصل‌های دوره، سه دوره ذکر شده می باشد:

• داده کاوی با رپیدماینر: در بخش اول به صورت جامع فرآیند داده کاوی و استفاده از آن برای تحلیل رفتار مشتری (customer behavior)، بخش بندی بازار و … را یاد خواهید گرفت.

• متن کاوی و وب کاوی با رپیدماینر: بخش دوم به پروژه محور تحلیل داده‌های متنی (فایل های pdf، word) و جمع آوری متن‌های وب‌ سایت با استفاده از تکنیک‌های وب کاوی خواهیم پرداخت

• تصویر کاوی با رپیدماینر: در این بخش، به صورت پروژه محور یاد خواهید گرفت که چطور تصاویر با فرمت‌های مختلف را به دیتاست تبدیل کنید و از آن‌ها، الگوهای پنهان کشف کنید.

سرفصل های دوره پکیج جامع علم داده با رپیدماینر RapidMiner

فصل ۱- داده کاوی با رپیدماینر

معرفی دوره

دانلود و نصب نرم افزار

وارد کردن دیتاست‌ها

• اکسل (Excel)
• متن (Text)
• CSV
• SPSS آماری (.sav)
• صفحه سایت (URL)

اتصال پایگاه داده SQL Server به RapidMiner

تحلیل آماری و رسم نمودار

• آمار توصیفی
• تابع Aggregate (Group by)
• Pivot table
• ماتریس همبستگی
• رسم نمودار دو بعدی و سه بعدی

مشخص کردن نوع (Type) و نقش (Role) ویژگی

ساخت ویژگی (Attribute) و توابع

• ساخت ویژگی با توابع منطقی (Logical)
• ساخت ویژگی با توابع مقایسه‌ای و اطلاعات متنی
• ساخت ویژگی با توابع آماری
• ساخت ویژگی با توابع ریاضی
• ساخت ویژگی با مهندسی ویژگی (Feature Engineering)

پیش پردازش داده‌ها

پیش پردازش داده‌ها (بخش ۱)

• نرمالسازی
• ساخت ویژگی ID
• نمونه گیری ساده و پیشرفته (Stratified)
• Binning (طبقه بندی دیتای کمی)
• Binning به وسیله Entropy
• فیلتر کردن رکورد (Example) و ویژگی (Attribute)
• جایگذاری مقادیر Null (خالی)
• مباحث پیشرفته‌تر در پر کردن مقدار Null
• تولید ویژگی با نیوز (Noise)
• Merge 
• حذف ویژگی‌های همبسته (Corellated attributes)
• Sort

پیش پردازش داده‌ها (بخش ۲)

• مدیریت مقادیر Null در ویژگی‌های کیفی به با استفاده از Map
• ایجاد اتصال (Join)
• ایجاد تجمیع (Append)
• شناسای و حذف دیتای پرت (Outlier Detection)
• زیر مجموعه (Subset)
• زیر فرآیند (Sub process)

پیش پردازش داده‌ها (بخش ۳)

• کاهش ابعاد (PCA و SVD)
• FP-Growth برای قواعد انجمنی (Association Rules)
• انتخاب ویژگی (Feature Selection) -> در فصل پروژه‌ها

یادگیری نظارتی

• رگرسیون خطی (Linear regression) + مثال
• طبقه بندی (Classification) چیست؟
• درخت تصمیم + مثال
• رگرسیون لجستیک + مثال
• شبکه‌ بیز (Naïve Bayes) + مثال
• KNN + مثال
• بردار حمایت ماشین (Support Vector Machine) + مثال
• شبکه عصبی (Neural Networks) + مثال
• Rule Induction + مثال
• Boosting (تکنیک Ensemble) + مثال
• Bagging (تکنیک Ensemble) + مثال

خوشه بندی

• خوشه بندی چیست؟
• خوشه بندی با K-means + مثال
• خوشه بندی سلسله مراتبی + مثال
• خوشه بندی با EM + مثال
• خوشه بندی با DBSCAN + مثال
• طبقه بندی براساس نتایج خوشه بندی + مثال

قواعد انجمنی (Association Rules)

• قواعد انجمنی چیست؟
• تحلیل سبد بازار (Market Basket Analysis) + مثال

پروژه‌های داده کاوی

• بازاریابی مستقیم بر روی دیتای کمپین بازاریابی یک بانک
• طبقه بندی بیماران سرطان خون
• رتبه بندی اعتباری مشتریان
• پیش بینی نمره نهایی دانش آموزان مدارس یک منطقه
• خوشه بندی افراد براساس تغذیه
• طبقه بندی انواع شیشه با توجه به مواد سازنده آن‌ها
• Credit Approval (براساس اطلاعات حساب بانکی مشتریان)
• رتبه بندی اپلیکیش‌های ورود به دانشکده پرستاری
• تحلیل سبد محصولات یک فروشگاه غذایی با استفاده از قواعد انجمنی
• خوشه بندی مشتریان یک بانک
• خوشه بندی دانشجویان رشته‌های مختلف یک دانشگاه

فصل ۲- متن کاوی و وب کاوی با رپیدماینر

• آشنایی با متن کاوی
• منابع دیتاست‌های متن
• مفاهیم پیش پردازش متن
• دانلود و نصب فایل‌های متن کاوی و وب کاوی در رپیدماینر
• شناسایی و طبقه بندی پیامک‌‌های اسپم 
• ساخت سیستم طبقه بندی متون اخبار براساس نوع زبان
• تحلیل اطلاعات دانشگاه‌های ایران (سراسری، آزاد و پیام نور)  در سطح وب (وب کاوی)
• ارزیابی شباهت محتوای سایت‌های شرکت‌های پتروشیمی (وب کاوی)
• تحلیل نظرات/ پیشنهادات مشتریان هتل‌های مختلف (Text association mining)
• خوشه بندی هتل‌ها براساس نظرات / پیشنهاد مشتریان
• خوشه بندی اسناد و مدارک (در اینجا رزومه‌های کاری) 
• انتخاب بهترین رزومه فرصت شغلی ” متخصص علوم داده” با استفاده از متن کاوی

فصل ۳- تصویر کاوی با رپیدماینر

• آشنایی با تصویر کاوی
• دانلود و نصب Image miner در رپیدماینر
• نحوه تار کردن و ذخیره سازی یک تصویر
• استفاده از Histogram Equalizer در تصویر
• نحوه کار با استخراج کننده عنصر رنگی (CCE) و جدول Look up
• نحوه ترکیب کردن تصاویر (Image combination)
• بخش بندی اجزای یک تصویر با ماشین بردار حمایتی (SVM)
• خوشه بندی اجزای تصویر با K-means براساس دیتاست استخراج شده
• طبقه بندی تصاویر پرندگان و غروب خورشید با درخت تصمیم
• خوشه بندی تصاویر با K-means و EM Clustering 
• طبقه بندی تصاویر طبیعت و امکان تاریخی با شبکه عصبی (پیشرفته)
• کشف و شناسایی الگو – Pattern detection (پیشرفته)

حاصل دوره

1. کسب تخصص لازم برای کار و فعالیت به عنوان Data scientist
2. پوشش جامع نیازمندی های فرصت شغلی های مرتبط
3. پشتیبانی روزانه برای پاسخ به سؤالات افراد برای تضمین یادگیری

توجه : نسخه حرفه ای و کرک شده نرم افزار rapidminer نیز برای دانلود و نصب در اختیارتان قرار داده شده است. پس از دانلود و نصب نرم افزار، ذر پوشه crack، فایل readme را مطالعه کنید.