پکیج آموزش جامع علم داده با پایتون

علم داده با پایتون یا همان Data science در حال حاضر یکی از محبوب ترین و پرطرفدارترین گرایش‌های هوش مصنوعی به حساب می‌آید. به طوری که در سراسر جهان (از جمله ایران)، این تخصص به شدت مورد توجه شرکت‌ها قرار گرفته است. در آمریکا، میانگین حقوق پرداختی به یک متخصص علم داده (ِData scientist) و یادگیری ماشین (Machine learning) بیش از 120 هزار دلار در سال می باشد و این در حالی است که یک مهندس برق 100 هزار در سال می‌گیرد.

در ایران نیز شرکت‌های بزرگ از جمله اسنپ، تپ سی، کافه بازار، علـی بـابـا، شرکت‌های بانکی و بیمه‌ای و …، همگی همواره فرصت شغلی‌های متخصص علم داده را دارند. علت محبوبیت این تخصص، افزایش روزانه حجم تولید داده و داده محور شدن اکثر کسب و کارهای امروزی است. می‌توان داده را مساوی طلا در نظر گرفت.

هر چقدر داده‌های موجود در پایگاه داده شرکت افزایش پیدا کند، سرمایه شرکت بیش‌تر می‌شود. حال، برای تبدیل کردن این داده‌های حجیم و تمیز نشده، نیاز است از این تخصص استفاده کرد تا با کشف الگو‌های پنهان از پردازش میلیون‌ها داده، نتایج شگف انگیزی را بدست آورد و تحلیل کرد.

یکی دیگر از محبوب شدن علم داده، کمک به کاهش هزینه، افزایش قابل توجه درآمد و افزایش قدرت رقابت در بازار است. شما به کمک data science، می‌توانید هر نوع داده‌ای را تحلیل کنید (داده‌های پایگاه داده و کسب و کار، متن گزارشات و اسناد، تصاویر، سخنرانی‌ها و …)

در این دوره چه مباحثی آموزش داده شده است؟

 پکیج علم داده (Data Science) با پایتون، مجموع چهار دوره مبانی و مفاهیم داده کاوی و یادگیری ماشین، داده کاوی و یادگیری ماشین با پایتون، متن کاوی و  پردازش زبان‌های طبیعی با پایتون و یادگیری عمیق با پایتون است.

توجه:  پکیج در سه فصل قرار گرفته است و با هدف یادگیری کامل و تسلط به مباحث پکیج، نیاز است که فایل‌ها به ترتیب فهرست مشاهده شوند:

1-1) مبانی و مفاهیم داده کاوی و یادگیری ماشین:  به آموزش جامع مفاهیم داده کاوی پرداخته می شود و به طور کامل، مفاهیم مربوط با داده کاوی و یادگیری ماشینی را یاد خواهید گرفت.

1-2) داده کاوی و یادگیری ماشین با پایتون:  به آموزش داده کاوی (data mining) و بکارگیری آن در کسب و کار و انجام پروژه‌های دانشگاهی پرداخته می‌شود.

2) متن کاوی و  پردازش زبان‌های طبیعی با پایتون:  در فصل دوم؛ شما در تحلیل داده‌های کیفی (فایل‌های PDF، Word، .txt ، متن صفحات وب و دیتای متن در اکسل و (CSV به مهارت بسیار خوبی خواهید رسید و انواع متن را به کمک هوش مصنوعی تحلیل خواهید نمود.

3) یادگیری عمیق با پایتون:  وژن نوینی از یادگیری ماشین که شما می‌توانید مدل‌های پیش بینی کننده (از جمله پروژه‌های طبقه بندی، تحلیل احساسات، طبقه بندی تصاویر، پیش بینی سری‌های زمانی و …) را با آن انجام دهید.

سرفصل های دوره پکیج جامع علم داده با پایتون

فصل 1-1 مبانی داده کاوی و یادگیری ماشین

آشنایی با مفاهیم اولیه

• تعریف داده کاوی (data mining)
• اهمیت داده کاوی
• کاربرد داده کاوی در صنایع و کسب و کارهای مختلف
• تعریف فرآیند داده کاوی
• تعریف یادگیری ماشین (machine learning) و کاربرد آن در داده کاوی
• تفاوت میان داده کاوی و علم داده (data science)
• هدف دوره

مفهوم جبر خطی در داده کاوی و یادگیری ماشین

• تعریف جبر خطی
• اهمیت جبر خطی در داده کاوی
• بردارها و محاسبات برداری
• نرم برداری
• ماتریس‌ها و محاسبات ماتریس

آشنایی با انواع دیتا

• دیتای ساختار یافته (Structured data)
• دیتای نیمه ساختار یافته (Semi-structured data)
• دیتای بدون ساختار (Unstructured data)

 مفاهیم تحلیل آماری و رسم نمودار در داده کاوی و یادگیری ماشین

• آشنایی با انواع نمودار (پیاده سازی در پایتون)
• تعریف آمار و علم آمار
• ابزارهای مورد استفاده برای تهیه گزارش آماری
• آشنایی با شاخص‌های مرکزی و پراکندگی
• متغیرها
• همبستگی و ماتریس همبستگی
• نمودار پراکندگی (scatterplot)
• Crosstab
• توابع Aggregation
• آشنایی با مفهوم Group by
• استفاده از تابع Group by برای محاسبه فراوانی یک متغیر کیفی
• استفاده از نمودار هیستوگرام برای محاسبه فراوانی یک متغیر کمی
• مفهوم significance (P-value)
• آزمون‌های آماری پارامتریک
• آزمون‌های آماری ناپارامتریک
• تعریف نمونه‌گیری
• مزایا و معایب نمونه‌‎‌گیری دار داده کاوی
• انواع روش پرکاربرد نمونه گیری

 مفاهیم پیش پردازش داده‌ها

• پر کردن مقادیر NULL (کمی، کیفی اسمی و ترتیبی)
• فیلتر کردن رکورد یا وِیژگی
• تولید ویژگی feature generation))
• ساخت Dummy  برای ویژگی‌های کیفی
•  Reclassification طبقه بندی مجدد مقادیر
• Join
• Append
• بخش بندی دیتا (Train_Test_Split)
• نرمالسازی
• استاندارد سازی
• تعریف کاهش ابعاد
• اهمیت کاهش ابعاد
• تعریف انتخاب ویژگی (Feature selection)
• اهمیت انتخاب ویژگی
• انواع روش انتخاب ویژگی

 مفهوم سری‌های زمانی

• تعریف سری زمانی
• تعریف برازش (Fitting) و پیش بینی (Forecasting)
• مدل ARIMA
• شاخص‌های نیکویی برازش
• میانگین
• خطای معیار (SE)
• R2 ایستایی
• میانگین مجذور خطا (RMSE)
• میانگین قدر مطلق درصد خطا (MAPE)
• ماکزیمم قدر مطلق درصد خطا (MAX PE)
• میانگین قدر مطلق خطا (MAE)
• ماکزیمم قدر مطلق خطا (MAX AE)
• معیار اطلاعاتی نرمال شده بیز (Normalized BIC)

مفهوم رگرسیون خطی

• تعریف رگرسیون خطی
• رابطه خطی
• R Square
• خطای معیار تخمین
• فرضیه آماری آزمون معنا داری کل مدل رگرسیون (به کمک جدول Anova)
• مقدار ثابت (B0)
• مقدار ضریب متغیر مستقل (B1)
• فاصله اطمینان
• Regularization
• مفهوم Overfitting

مفهوم خوشه بندی (Clustering)

• تعریف خوشه بندی
• اهمیت خوشه بندی
• تفاوت خوشه بندی با کاهش ابعاد
• انواع روش خوشه بندی
• مفهوم distance / similarity
• Dendrogram
• مفهوم Agglomerative clustering
• مفهوم Linkage و انواع آن
• مفهوم Ward

مفهوم طبقه بندی (Classification)

• تعریف طبقه بندی
• تفاوت طبقه بندی با خوشه بندی
• اهمیت طبقه بندی
• آشنایی با الگوریتم‌های طبقه بندی، مفاهیم و کاربردهای آن‌ها
• کارنامه طبقه بندی و ارزیابی مدل

مفهوم آنالیز RFM

• تعریف اولیه
• اهمیت RFM
• مفهوم Recency
• مفهوم Frequency
• مفهوم Monetary

مفهوم قواعد انجمنی

• آشنایی با مفاهیم قواعد انجمنی
• محاسبات مربوطه

فصل 2-1 داده کاوی و یادگیری ماشین با پایتون

آشنایی با دوره

• معرفی دوره
• نصب و راه اندازی

مرور مبانی برنامه نویسی با پایتون با تمرکز بر داده کاوی و یادگیری ماشین

• شروع کار با پایتون
• انواع ساختار داده
• برنامه‌ های کنترلی
• انواع توابع
•  Iteratorها
• Comprehensionها
• Generator‌ها
• کلاس‌ها

جبر خطی برای داده کاوی و یادگیری ماشین با پایتون

• آشنایی با جبر خطی
• کاربرد جبر خطی در داده کاوی و یادگیری ماشین
• بردارهای و محاسبات برداری در پایتون (ضرب داخلی، نرم برداری و …)
• ماتریس‌ها و محاسبات ماتریسی در پایتون ( ضرب داخلی، ضرب اسکالر و …)
• برنامه نویسی عملیات ریاضی برای ماتریس‌ها  (چرخش ماتریس، معکوس کردن و …)

آشنایی با کتابخانه‌های داده‌کاوی و یادگیری ماشین با پایتون

• کار با کتابخانه Numpy
• کار با کتابخانه Pandas
• مصورسازی دیتا با کتابخانه Matplotlib
• مصورسازی دیتا با کتابخانه Seaborn

وارد کردن دیتاست‌ها

• وارد کردن انواع دیتاست (CSV, URL، Excel، Text، SAS، STATA)

تحلیل آماری

• آمار توصیفی
• رسم نمودار آماری
• همبستگی
• Crosstab (ساده و پیشرفته)
• جدول Pivot (ساده و پیشرفته)
• رسم نمودار heatmap با جدول Pivot
• انواع آزمون‌های فرضیه ( آزمون‌های میانگین)
• P- value
• انواع آزمون‌های نرمال 
• انواع آزمون‌ها فرضیه (آزمون ‌های ناپارامتری)
• نمونه گیری تصادفی ساده بر روی دیتاست محصولات
• Stratified Sampling

پیش پردازش داده

• پیش پردازش اولیه داده
• پر کردن مقادیر Null (کمی، کیفی اسمی و ترتیبی)
• فیلتر کردن رکورد یا وِیژگی
• مدیریت دیتای کیفی (اسمی و ترتیبی)
• تولید ویژگی (feature generation)
• ساخت Dummy  برای ویژگی‌های کیفی
•  Reclassification (طبقه بندی مجدد مقادیر)
• Join (اتصال)
• Append (در پروژه‌های داده کاوی توضیح داده می‌شود)
• بخش بندی دیتا (Train_Test_Split)
• نرمالسازی
• استاندارد سازی
• انتخاب وِیژگی
• انتخاب وِیژگی‌های مهم برای داده کاوی با جنگل تصادفی
• انتخاب وِیژگی‌های مهم برای داده کاوی با الگوریتم KNN
• کاهش ابعاد

سری زمانی

• پیش بینی فروش میانه، بدبینانه و خوشبینانه کلا برای یک شرکت تجاری بین المللی
• مقایسه روند فروش محصولات شرکت طی چهار سال گذشته

رگرسیون خطی

• آشنایی با رگرسیون خطی
• پیش بینی ارزش خانه در شهر بوستون با ساخت معادله رگرسیونی خطی ساده و چندگانه

خوشه بندی

• آشنایی با خوشه بندی
• آشنایی با خوشه بندی سلسله مراتبی
• آشنایی با خوشه بندی k-means
• خوشه بندی بر روی دیتاست Iris  با الگوریتم سلسله مراتبی
• خوشه بندی بر روی دیتاست Iris  با الگوریتم K-means
• خوشه بندی مشتریان بانک
• خارج کردن دیتاست خوشه بندی شده از محیط
• مقایسه عملکرد الگوریتم DBSCAN و K-means در خوشه بندی مقادیر با پراکندگی کم

طبقه بندی

• آشنایی با مفهوم و الگوریتم طبقه بندی
• آشنایی با رگرسیون لجستیک
• آشنایی با درخت تصمیم
• آشنایی با KNN
• آشنایی با آنالیز خطی افتراقی (LDA)
• آشنایی با ماشین بردار پشتیبانی (SVM)
• نوشتن برنامه “انتخاب بهترین الگوریتم طبقه بندی”
• بازاریابی مستقیم بر روی دیتای کمپین بازاریی مشتریان بالقوه یک مؤسسه بانکی در پرتغال با کمک انتخاب وِیژگی و الگوریتم رگرسیون لجستیک
• ساخت سیستم تشخیص چهره به کمک الگوریتم بردار حمایت ماشینی (SVM)
• طبقه بندی متون اخبار به کمک شبکه بیز
• طبقه بندی بیماران دیابتی با درخت تصمیم + انتخاب وِیژگی (جنگل تصادفی) 
• طبقه بندی گل‌های دیتاست Iris با الگوریتم KNN + انتخاب وِیژگی
• نمودار ROC (ارزیابی مدل داده کاوی)
• Confusion Matrix (ارزیابی مدل داده کاوی)
• گزارش طبقه بندی (ارزیابی مدل داده کاوی)

مدیریت ارتباط با مشتری (CRM)

• آنالیر RFM بر شناسایی مشتریان وفادار و سودآور یک شرکت تجاری بین المللی

قواعد انجمنی (Association Rules)

• آشنایی با قواعد انجمنی

پروژه تحلیل سبد بازار (Market basket analysis) یک شرکت خرده فروشی بین المللی

فصل 2- متن کاوی و پردازش زبان طبیعی و صوت با پایتون

معرفی و مرور مبانی داده کاوی با پایتون

• معرفی دوره
• دانلود و نصب Jupyter notebook + نصب ابزار متن کاوی

استخراج متن از منابع مختلف

• استخراج متن از کتاب
• استراج متن از فایل word
• استخراج متن از فایل PDF
• استخراج متن از صفحه وب
• استخراج شناسه ایمیل از متن
• جایگزین کردن شناسه‌های ایمیل در متن
• مدیریت دیتای رشته در متن
• استخراج متن ازفایل Json

پیش پردازش متن

• تبدیل متن به Lowercase (کوچک کردن حروف واژه)
• Tokenization (جداسازی واژگان و جملات در متن)
• حذف Punctuation (نقطه گذاری)
• حذف Stop word ها (واژگان پر تکرار و بی‌اهمیت)
• استاندارد سازی متن (Text standardization)
• Stemming (حذف صرف فعل)
• Lemmatizing (تبدیل جمع به مفرد)
• تصحیح غلط نوشتاری
• محاسبه فراوانی لغات
• ساخت ابر واژگان

تبدیل متن به ویژگی

• تبدیل متن به ویژگی با استفاده کد گذاری (Encoding)
• تبدیل متن به ویژگی با استفاده بردار شمارش (Count Vectorizing)
• تبدیل متن به ویژگی با استفاده از N-Grams
• ویژگی‌های مبتنی بر بایگرام یک فایل متن
• مهندسی ویژگی با TF-IDF

پردازش زبان طبیعی پیشرفته

• استخراج عبارت اسمی از متن
• شباهت سنجی میان متن‌ها (Text similarity)
• برچسب گذاری نقش گرامری واژه (اسم، فعل، صفت و …) با POS Tagging
• استخراج اسامی خاص از متن (دانشگاه، استان، شخص و …)
• تحلیل احساسات + مثال (Sentiment Analysis)
• تشخیص معنی واژه در جملات مختلف
• ساخت سیستم ترجمه
• تبدیل صوت به متن
• تبدیل متن به صوت (یک فایل MP3)

پروژه‌های کسب و کار

• طبقه بندی متن پیامک‌ها و شناسایی  علل اسپم بودن آن‌ها
• ساخت سیستم طبقه بندی شکایات مصرف کنندگان
• پروژه تحلیل احساسات مشتریان یک شرکت بزرگ
• خلاصه سازی متن یک صفحه وب
• خلاصه سازی متن یک کتاب
• پروژه خوشه بندی متن اسناد (Document Clustering)

فصل 3- یادگیری عمیق با پایتون (داده کاوی با استفاده از شبکه‌های عصبی)

معرفی و آشنایی با یادگیری عمیق

• معرفی دوره
• آشنایی و نصب کتابخانه Theano
• آشنایی و نصب کتابخانه Tensorflow
• آشنایی و نصب کتابخانه Keras
• مروری مبانی برنامه نویسی با پایتون با تمرکز بر داده کاوی و یادگیری ماشین

• • شروع کار با پایتون
  • انواع ساختار داده
  • برنامه‌ های کنترلی
  • انواع توابع
  •  Iteratorها
  • Comprehensionها
  • Generator‌ها
  • کلاس‌ها
• کار با کتابخانه Numpy
• کار با کتابخانه Pandas

پرسپترون‌های چندلایه (MLP)

• آشنایی با MLP و ساختار آن
• توسعه اولین مدل یادگیری عمیق بر روی دیتاست بیماران دیابتی
  • لایه‌های تمام متصل (fully connected layers)
  • Kernel initializer
  • توابع فعال سازی در لایه‌های مختلف
  • توابع loss
  • توابع بهینه سازی
  • Metrics
  • Epochs
  • Batch size
  • ارزیابی دقت پیش بینی مدل
• روش‌های ارزیابی عملکرد یادگیری عمیق
  • روش اتوماتیک
  • روش دستی
  • روش Cross validation

• ارزیابی مدل با کتابخانه Scikit learn برای یادگیری ماشین
• پروژه 1: طبقه بندی چندگانه بر روی دیتاست گیاهان
• پروژه 2: طبقه بندی دیتاست سونار به همراه پیش پردازش دیتا
• پروژه 3: پیش بینی قیمت خانه
• ذخیره کردن مدل و وزن‌های شبکه‌های عصبی
• حفظ بالاترین دقت پیش بینی در یادگیری عمیق با استفاده از checkpoint
• درک رفتار مدل با رسم دقت پیش بینی
• ساخت لایه Drop out برای regularization و کاهش over fitting

شبکه‌های عصبی کانولوشنالی (CNN)

• آشنایی با CNN  و ساختار آن
• پروژه 4: طبقه بندی تصاویر اعداد با استفاده از MLP
• پروژه 5: طبقه بندی تصاویر اعداد با استفاده از CNN
• پروژه 6: تشخیص اشیا در تصاویر با CNN
• پروژه 7: تحلیل نظرات کاربران سایت فیلم با CNN

شبکه‌های عصبی بازگشتی (RNN)

• آشنایی با RNN  و ساختار آن
• پیش بینی سری‌های زمانی تعداد مسافران خط هوایی با استفاده از MLP
• پروژه 8: پیش بینی تعداد مسافران خط هوایی با RNN،  LSTM
• پروژه 9: تحلیل نظرات کاربران سایت فیلم با LSTM

پروژه های پیشرفته یادگیری عمیق

• پروژه 10: ساخت موتور جستجو
• پروژه 11: طبقه متن پیامک‌های مردم با MLP، CNN، RNN و LSTM

لینک دوره های دیگر

• آموزش داده کاوی و یادگیری ماشینی با IBM SPSS modeler
• آموزش جامع مبانی و مفاهیم داده کاوی و یادگیری ماشین
• آموزش داده کاوی و یادگیری ماشینی با پایتون
• آموزش متن کاوی با پایتون
• آموزش یادگیری عمیق با پایتون
• آموزش داده کاوی با رپیدماینر
• آموزش تصویر کاوی با رپیدماینر
• آموزش متن کاوی و وب کاوی با رپیدماینر
• پکیج آموزش جامع علم داده با رپیدماینر RapidMiner
• آموزش جامع هوش تجاری BI و تحلیل داده با تبلو Tableau

حاصل دوره

1. شما یک متخصص علم داده (data scientist) و یادگیری ماشین (machine learning) با زبان پایتون (python) خواهید شد.
2. پوشش جامع و پروژه محور نیازمندهای فرصت شغلی data scientist با پایتون
3. پیشتیانی روزانه از سؤالات دانشجویان دوره برای تضمین یادگیری

توجه:

1- با توجه به تعداد زیاد فایل های آموزش و راحتی دانشجو در دانلود آنها، فایلها در دو بخش به صورت فشرده قرار داده شده است که پس از خرید دوره، مطابق با فهرست دوره قابل دانلود و مشاهده می باشند.

2- این آموزش در Jupyter notebook (ورژن 3.7 پایتون) تهیه و پیاده سازی شده است.

3- در صورت داشتن هر گونه سوال در خصوص دوره، از طریق آدرس ایمیل shahin.nouri91@gmail.com و یا ارسال تیکت (در صورت خرید دوره)، می توانید سؤالات خود را مطرح نمایید.

توجه : با هدف یادگیری کامل و تسلط به مباحث دوره، در صورت داشتن هر گونه سؤال، راهنمایی و نیاز به توضیحات بیشتر در خصوص فرآیندها و عملگرهای آموزش، دانشجویان محترم می توانند با ارسال تیکت از طریق بخش حساب کاربری و تیکت پشتیبانی با بنده در ارتباط باشند.