آموزش جامع داده کاوی و یادگیری ماشینی با IBM SPSS modeler (به همراه دیتاست ها)

داده کاوی یا دیتا ماینینگ (Data Mining) به معنای کاوش معادن داده هاست. داده کاوی به شما کمک می کند تا رفتار کسب و کار خود در گذشته را به دقت بررسی کنید و بر اساس آن رفتار آینده را با ضریب دقت بالایی پیش بینی کنید !

داده کاوی یا دیتا ماینینگ به شما کمک می کند تصمیماتی صحیح و واقع بینانه در مورد کسب و کار خود اتخاذ کنید و استراتژی های مناسبی را بر اساس اهداف سازمانی طراحی کنید.

با توجه به اینکه اکثر کسب و کارهای امروزی مبتنی بر داده و هوش مصنوعی هستند، وجود یک فرد متخصص داده کاوی در این کسب و کارها بسیار ضروری است. فرقی نمی کند که کسب و کار شما در چه حوزه ای قرار دارد اگر کسب و کار شما با داده ها سر و کار دارد قطعا شما به داده کاوی برای پیشرفت نیاز خواهید داشت.

کاربردهای داده کاوی

• شناخت بازار هدف
• یافتن الگوی خرید مشتری
• برنامه ریزی برای معرفی یک محصول جدید
• ترسیم پروفایل مشتری
• دسته بندی مشتریان بر اساس نوع خریدی که انجام داده اند.
• آنالیز نیازهای مختلف مشتریان
• تشخیص محصولات مناسب برای دسته های گوناگون مشتریان
• تشخیص فاکتورهایی برای جذب مشتریان جدید
• تعیین الگوهای خرید مشتریان
• تجزیه و تحلیل سبد خرید بازار
• پیش بینی میزان خرید اینترنتی مشتریان
• پیش بینی الگوهای کلاهبرداری از طریق کارت های اعتباری و شناسایی جرایم مالی
• تشخیص مشتریان ثابت و دسته بندی و خوشه بندی مشتریان با توجه به رفتار مشابه آنها در زمینه بانکداری و باز پرداخت وام
• تعیین میزان استفاده از کارت های اعتباری بر اساس گروه های اجتماعی
• تحلیل اعتبار مشتریان
• شناسایی فاکتورهای اصلی در ریسک باز پرداخت وام
• تحلیل پاسخگویی مشتریان به ارائه خدمات جدید بانکی
• پیشگویی میزان خرید بیمه‌نامه‌های جدید توسط مشتریان
• تحلیل ریسک و برآورد حق بیمه مشتریان بر اساس میزان ریسک هر مشتری
• پیش‌بینی میزان خسارت بر اساس گروه های مشتریان
• مدیریت ارتباط با بیمه‌گذاران و تدوین استراتژی بر اساس مشتریان هدف
• تعیین عوامل وفاداری و یا روی‌گردانی مشتریان
• شناخت نیازها و الگوهای خرید سرویسهای بیمه ای توسط مشتریان
• شناخت تخلفات بیمه ای
• تعیین نوع رفتار با بیماران و تعیین روش درمان بیماری ها
• پیشگویی میزان موفقیت اعمال جراحی و تعیین میزان موفقیت روش های درمانی در برخورد با بیماری های لاعلاج
• بررسی میزان تاثیر دارو بر بیماری و اثرات جانبی آن
• تشخیص و پیش‌ بینی انواع بیماری ها مانند تشخیص و یا پیش بینی انواع سرطان
• تجزیه و تحلیل داده های موجود در سیستم های اطلاعات سلامت
• تحلیل تصاویر پزشکی

بازارکار داده کاوی در ایران و جهان چگونه است؟

در حال حاضر علوم داده (Data Science) یکی از گران ترین تخصص ها در کشورهای پیشرفته ای مانند آمریکا، کانادا، آلمان، سوئیس و انگلیس به حساب می آید و افراد متخصص در این حوزه درآمدهای چشم گیری نسبت به دیگر تخصص ها دارند.

در ایران نیز شرکت ها و سازمان ها با مشکل کمبود شدید افراد متخصص در زمینه دیتا ماینینگ مواجه هستند و به همین دلیل نمی توانند تصمیماتی به موقع، هوشمندانه و استراتژیک در مورد سازمان یا شرکت خود بگیرند. بنابراین تسلط بر این حوزه موقعیت های شغلی بسیار عالی و فراوانی را پیش پای شما قرار خواهد داد.

نرم افزار SPSS Modeler چیست؟

نرم افزار SPSS Modeler که توسط کمپانی IBM تولید شده یک نرم افزار کاربردی برای داده کاوی و تجزیه و تحلیل متن هاست که برای ایجاد مدل های پیش بینی کننده و انجام سایر امور مرتبط با تجزیه و تحلیل مورد استفاده قرار می گیرد. نام اولیه این نرم افزار کلمنتاین Clementine بود که بعده ها به SPSS Clementine معروف شد و در نهایت به IBM SPSS Modeler تغییر نام پیدا کرد.

IBM SPSS Modeler دارای رابط کاربری ساده و مناسبی است و به کاربر این امکان را می دهد که بدون داشتن دانش برنامه نویسی، الگوریتم های داده کاوی و آماری را در پژوهش های خود به کار گیرد.

این دوره شامل چه مباحثی است؟

در این دوره آموزشی به طور جامع (مبتدی تا فوق پیشرفته) به آموزش داده کاوی با نرم افزار SPSS Modeler می پردازیم. شما با یادگیری این دوره آموزشی و همچنین با استفاده از دیتاست های حجیم و واقعی می توانید به راحتی و با سرعت زیاد عملیات زیر را انجام دهید :

۱- با هر فرمتی (اکسل، تکست، دیتابیس مثل SQL server، Spss آماری و …) دیتاست ها را وارد و خارج کنید.

۲- تحلیل های آماری پیشرفته انجام دهید و داده ها را با انواع نمودار ها و گراف های دو بعدی و سه بعدی مصور کنید. 

۳- پیچیده ترین عملیات پیش پردازش داده ها را انجام دهید.

۴- ویژگی های مرتبط را استخراج کنید.

۵- با استفاده از الگوریتم های یادگیری ماشینی (رگرسیون، طبقه بندی (SVM، رگرسیون لجستیک، شبکه عصبی و…)، خوشه بندی، کاهش ابعاد، قواعد انجمنی و سری زمانی)، مدلسازی کنید و الگوهای پنهان را کشف و احتمالات را محاسبه کنید.

۶- از تکنیک های Ensemble استفاده کنید.

۷- دقت پیش بینی های خود را ارزیابی و تحلیل کنید.

سرفصل های این دوره آموزشی

فصل ۱- شروع کار با IBM SPSS Modeler

• معرفی دوره
• نصب و راه اندازی نرم افزار IBM SPSS Modeler 18
• وارد کردن دیتاست‌ها
• اکسل (Excel)
• متن (Text)
• CSV
• SPSS آماری (.sav)
• جداول پایگاه داده رابطه‌ای (در آموزش، SQL Server)

فصل ۲- توابع پایه

• کار با شاخه‌ها، گره Type، برچسب گذاری بر روی مقادیر متغیر ترتیبی
• مشخص کردن نوع ویژگی (کمی، اسمی، ترتیبی، ID، دو جمله ای)
• برچسب گذاشتن روی مقادیر ویژگی (متغیر) ترتیبی
• پیش پردازش داده‌ها
• فرمول‌های محاسباتی برای ساخت ویژگی جدید
• توابع رشته‌ای
• فیلتر کردن
• استاندارد سازی داده‌ها
• نرمالسازی
• بخش بندی داده‌ها (Train data – Test data)
• اتصال دیتاست‌ها (Join)
• تجمیع مقادیر دیتاست‌ها (Append)
• نحوه پر کردن مقادیر Null با توجه به نوع متغیر (کمی، اسمی، ترتیبی)

فصل ۳- تحلیل آماری

• تحلیل آماری چند متغیره
• توزیع فراوانی
• گره Data audit
• مفهوم Super node و نرمال سازی متغیر با آن
• Reclassifying (طبقه بندی مجدد ویژگی کیفی)
• Binning (طبقه بندی متغیر کمی)
• تحلیل آماری چند متغیره
• همبستگی‌
• آمار توصیفی
• Crosstab (ساده و پیشرفته)
• Pivot table
• توابع Aggregate

فصل  ۴- مصور سازی داده و گراف (ِData Visualization)

• گراف Plot
• گراف Multiplot
• گراف Web
• گراف توزیع فراوانی
• هیستوگرام
• گراف سه بعدی
• نقشه حرارتی (Heat map)

فصل ۵- سری زمانی

• پیش بینی تولید ماهانه شیر گاو بر حسب پوند
• پیش بینی فروش یک شرکت بین المللی در ۹ ماه آینده با درنظر گرفتن هزینه ارسال محموله با کشتی

فصل ۶- رگرسیون

• ساخت ماشین پیش بینی کننده نمره نهایی دانش آموزان براساس نمره پیش از آزمون با استفاده از رگرسیون خطی ساده
• Benchmark (مقایسه نسبت هزینه – عملکرد محصولات دو شرکت Intel و AMD با رگرسیون خطی ساده
• پیش بینی نمره نهایی دانش آموزان براساس روش تدریس و نمره پیش از آزمون با رگرسیون خطی چندگانه
• برآرود جایزه نقدی افراد در بازی گلف

فصل ۷- نمونه گیری تصادفی ساده و پیشرفته

• نمونه گیری ۱ in N
• نمونه گیری تصادفی درصدی
• نمونه گیری خوشه ای
• Stratified Sampling
• Stratified Sampling (وزن دار)

فصل ۸ – تحلیل فاکتور

• شناسایی رفتار مصاحبه شوندگان براساس رژیمی غذایی با استفاده از کاهش ابعاد (PCA – PFA)
• رضایت سنجی کاربران یک شرکت فناوری اطلاعات با استفاده از کاهش ابعاد (PCA – PFA)

فصل ۹- خوشه بندی

• خوشه بندی خودروها کمپانی‌های بزرگ دنیا (سلسله مراتبی)
• خوشه بندی مصاحبه شوندگان براساس رژیمی غذایی (سلسله مراتبی)
• شناسایی رفتار مشتریان بانک جهت طراحی راهبرد متناسب با رفتارشان (K-means)
• خوشه بندی کاربران یک شرکت IT براساس رضایت فنی و رضایت سازمانی (K-means)
• تعیین بهترین الگوریتم برای خوشه بندی بیماران مبتلا به دیابت

فصل ۱۰- طبقه بندی

• معرفی انواع الگوریتم طبقه بندی و مقایسه طبقه بندی با خوشه بندی
• Confusion Matrix
• رسم نمودار ROC برای مصورسازی دقت پیش بینی
• رتبه بندی اعتباری مشتریان بانک با رگرسیون لجستیک
• طبقه بندی مسافران کشتی تایتانیک و کشف علل زنده ماندن/ فوت آن‌ها با رگرسیون لجستیک
• طبفه بندی بیماران سرطان سینه با استفاده از LDA
• طبقه بندی بیماران سرطان خون با استفاده از بکارگیری کاهش ابعاد و LDA
• طبقه بندی بیماران سرطان سینه با استفاده از SVM
• بکارگیری مهندسی ویژگی (Feature engineering) و الگوریتم SVM در طبقه بندی مسافران تایتانیک
• مقایسه دقت پیش بینی شبکه عصبی، LDA و SVM در طبقه بندی مسافران تایتانیک
• تأثیر Ensemble در افزایش یادگیری ماشینی (شبکه عصبی(
• طبقه بندی دیتا Iris با KNN
• پیش بینی سرطان خون افراد با استفاده از بکارگیری کاهش ابعاد و LDA
• پیش بینی نتیجه بازی شطرنج با درخت تصمیم
• انتخاب بهترین الگوریتم طبقه بندی با استفاده از طبقه بندی اتومانیک

فصل ۱۱- قواعد انجمنی

• آشنایی با قواعد انجمنی
• تحلیل سبد بازار با استفاده از الگوریتم Apriori

فصل ۱۲- آنالیز RFM

• رتبه بندی مشتریان براساس شاخص RFM

توجه : دیتاست های استفاده شده در این آموزش را نیز از طریق لینک مربوطه می توانید دانلود و استفاده نمایید.

حاصل دوره

دانشجویان عزیز پس از گذراندن این دوره آموزشی می توانند :

۱- به عنوان دانشمند داده یا داده کاو در شرکت های بزرگ استخدام شوند.

۲- انواع پایان نامه، تحقیقات و پژوهش مبتنی بر داده و اطلاعات را تحلیل و انجام دهند.

۳- به دلیل درخواست های بالای این تخصص، مهاجرت تحصیلی و کاری آنها آسان تر از گذشته خواهد بود.

دوره های دیگر داده کاوی و یادگیری ماشینی :