متن کاوی با پایتون Python یکی از روش های رایج برای استخراج داده ها از متون مختلف می باشد. متن کاوی به معنای استخراج داده ها از دل متن هاست که می توان به کمک آن ها اطلاعات مفید و کاربردی را در مورد آنها برای مقاصد مختلف بدست آورد.
امروزه علوم داده به یکی از جذاب ترین و پرطرفدارین تخصص ها و مشاغل در ایران و دنیا تبدیل شده است. اما برای تبدیل شدن به یک متخصص علوم داده، تسلط بر مفاهیم و تکنیک های داده کاوی های معمول و شناخته شده (یا همان کاوش دیتای ساختار یافته (Structured Data) کافی نیست و تسلط به تحلیل داده های بدون ساختار (Unstructured Data) امری ضروری محسوب می‌شود که منظور از داده های بدون ساختار، همان داده های متن (Text) و تصویر می باشد.
طبق آمار، بیش از 80% دیتای تولید شده در دنیا در دسته بدون ساختار قرار می‌گیرند و این میزان به صورت نمادی در حال افزایش است. جالب است بدانید که 40% از مدیران کسب و کارها در کشورهای پیشرفته از داشتن حجم بسیار زیاد دیتای متن آنالیز نشده شکایت دارند اما با پیشرفت تکنولوژی و توسعه هوش مصنوعی، بسترهای تجزیه و تحلیل دیتای متن و تصویر نیز شکل گرفتند و از دل متون سنگین و نامنظم به کمک یادگیری ماشین (Machine learning)، می توان الگوهای پنهان را کشف کرد و به مدیران در تصمیم گیری، طراحی راهبرد و پیاده سازی آن، کمک فراوانی کرد.
با کمک متن کاوی با پایتون و پردازش زبان طبیعی میتوان :
- از انواع منابع متن (کتاب، روزنامه، فایل pdf، فایل word، صفحات وب و …) اطلاعات کلیدی و مهم استخراج کرد.
- نظرات، کامنت ها و گفته های مردم را تحلیل کرد.
- گزارشات و اسناد را طبقه بندی نمود.
- گزارشات و اسناد را خوشه بندی نمود.
- از دل منبع اطلاعات متنی، ابر واژگان ساخت.
- یک سیستم ترجمه (برای تمام زبان‌های دنیا) ساخت.
- صوت را به متن تبدیل کرد.
- متن را به یک فایل صوتی (با فرمت .mp3) تبدیل کرد.
- متن را به ویژگی تبدیل کرد (برا خوشه بندی و طبقه بندی متن مورد استفاده قرار می‌گیرد.)
- و …
در این دوره چه مباحثی آموزش داده شده است؟
ما در این دوره به طور جامع به آموزش متن کاوی با پایتون Python خواهیم پرداخت. با اطمینان میتوان گفت که در اکثر فرصت های شغلی علوم داده (Data science) در تمام دنیا، تسلط به داده کاوی و متن کاوی با پایتون امری ضروری می باشد و امتیاز بسیار زیادی در جذب و استخدام افراد دارد.
سرفصل های دوره آموزش متن کاوی با پایتون
فصل 1- معرفی و مرور مبانی داده کاوی با پایتون
- معرفی دوره
- دانلود و نصب Jupyter notebook + نصب ابزار متن کاوی
- مبانی برنامه نویسی پایتون با تمرکز بر داده کاوی
- کار با کتابخانه Numpy
- کار با کتابخانه Pandas
فصل 2- استخراج متن از منابع مختلف
- استخراج متن از کتاب
- استراج متن از فایل word
- استخراج متن از فایل PDF
- استخراج متن از صفحه وب
- استخراج شناسه ایمیل از متن
- جایگزین کردن شناسه‌های ایمیل در متن
- مدیریت دیتای رشته در متن
- استخراج متن ازفایل Json
فصل 3- پیش پردازش متن
- تبدیل متن به Lowercase (کوچک کردن حروف واژه)
- Tokenization (جداسازی واژگان و جملات در متن)
- حذف Punctuation (نقطه گذاری)
- حذف Stop word ها (واژگان پر تکرار و بی‌اهمیت)
- استاندارد سازی متن (Text standardization)
- Stemming (حذف صرف فعل)
- Lemmatizing (تبدیل جمع به مفرد)
- تصحیح غلط نوشتاری
- محاسبه فراوانی لغات
- ساخت ابر واژگان
فصل 4- تبدیل متن به ویژگی
- تبدیل متن به ویژگی با استفاده کد گذاری (Encoding)
- تبدیل متن به ویژگی با استفاده بردار شمارش (Count Vectorizing)
- تبدیل متن به ویژگی با استفاده از N-Grams
- ویژگی‌های مبتنی بر بایگرام یک فایل متن
- مهندسی ویژگی با TF-IDF
فصل 5- پردازش زبان طبیعی پیشرفته
- استخراج عبارت اسمی از متن
- شباهت سنجی میان متن‌ها (Text similarity)
- برچسب گذاری نقش گرامری واژه (اسم، فعل، صفت و …) با POS Tagging
- استخراج اسامی خاص از متن (دانشگاه، استان، شخص و …)
- تحلیل احساسات + مثال (Sentiment Analysis)
- تشخیص معنی واژه در جملات مختلف
- ساخت سیستم ترجمه
- تبدیل صوت به متن
- تبدل متن به صوت (یک فایل MP3)
فصل 6- پروژه‌های کسب و کار
- طبقه بندی متن پیامک‌ها و شناسایی علل اسپم بودن آنها
- ساخت سیستم طبقه بندی شکایات مصرف کنندگان
- پروژه تحلیل احساسات مشتریان یک شرکت بزرگ
- خلاصه سازی متن یک صفحه وب
- خلاصه سازی متن یک کتاب
- پروژه خوشه بندی متن اسناد (Document Clustering)
لینک دوره های دیگر
- آموزش داده کاوی و یادگیری ماشینی با IBM SPSS modeler
- آموزش جامع مبانی و مفاهیم داده کاوی و یادگیری ماشین
- آموزش داده کاوی و یادگیری ماشینی با پایتون
- آموزش یادگیری عمیق با پایتون
- پکیج آموزش جامع علم داده با پایتون
- آموزش داده کاوی با رپیدماینر
- آموزش تصویر کاوی با رپیدماینر
- آموزش متن کاوی و وب کاوی با رپیدماینر
- پکیج آموزش جامع علم داده با رپیدماینر RapidMiner
- آموزش جامع هوش تجاری BI و تحلیل داده با تبلو Tableau
حاصل دوره
- در صورت تسلط به داده کاوی با پایتون و یادگیری مفاهیم این دوره، میتو‌ایند به عنوان یک متخصص علوم داده در شرکت های مشغول به کار شوید.
- داده های کیفی را با کمک یادگیری ماشین تحلیل کنید.
- از کاربردهای پردازش زبان طبیعی در تسهیل پروژه‌های خود استفاده کنید.
- تسلط به متن کاوی و پردازش زبان طبیعی با پایتون در مهاجرت تحصیلی و کاری شما می تواند بسیار مؤثر باشد.
توجه : با هدف یادگیری کامل و تسلط به مباحث دوره، در صورت داشتن هر گونه سؤال، راهنمایی و نیاز به توضیحات بیشتر در خصوص فرآیندها و عملگرهای آموزش، دانشجویان محترم می توانند با ارسال تیکت از طریق بخش حساب کاربری و تیکت پشتیبانی با بنده در ارتباط باشند.
فصل اول
معرفی دوره ویدئو
16:27
دانلود و نصب Jupyter notebook + نصب ابزار متن کاوی ویدئو
05:40
مبانی برنامه نویسی پایتون با تمرکز بر داده کاوی ویدئو
01:02:36
کار با کتابخانه Numpy ویدئو
29:49
کار با کتابخانه Pandas ویدئو
22:01
فصل دوم
استخراج داده از کتاب الکترونیک ویدئو
10:46
استخراج داده از فایل ورد (Word) ویدئو
06:19
استخراج داده از فایل PDF ویدئو
06:51
استخراج داده از صفحه وب ویدئو
13:17
استخراج شناسه ایمیل (Email ID) از متن ویدئو
02:25
جایگزین کردن شناسه‌های ایمیل (Email ID) در متن ویدئو
02:19
مدیریت دیتای رشته در متن ویدئو
02:29
استخراج دیتا از فایل Json ویدئو
04:30
فصل سوم
تبدیل متن به Lowercase (کوچک کردن حروف واژه) ویدئو
05:19
Tokenization (جداسازی واژگان و جملات در متن) ویدئو
10:21
حذف Punctuation (نقطه گذاری) ویدئو
04:05
حذف Stop word ها (واژگان پر تکرار و بی‌اهمیت) ویدئو
05:28
استاندارد سازی متن (Text standardization) ویدئو
10:15
Stemming (حذف صرف فعل) ویدئو
05:07
Lemmatizing (تبدیل جمع به مفرد) ویدئو
03:04
تصحیح غلط نوشتاری ویدئو
08:11
محاسبه فراوانی لغات ویدئو
13:28
ساخت ابر واژگان ویدئو
05:31
فصل چهارم
تبدیل متن به ویژگی با استفاده کد گذاری (Encoding) ویدئو
07:14
تبدیل متن به ویژگی با استفاده بردار شمارش (Count Vectorizing) ویدئو
04:49
تبدیل متن به ویژگی با استفاده از N-Grams ویدئو
05:24
ویژگی‌های مبتنی بر بایگرام یک فایل متن ویدئو
02:36
مهندسی ویژگی با TF-IDF ویدئو
06:07
فصل پنجم
استخراج عبارت اسمی از متن ویدئو
02:12
شباهت سنجی میان متن‌ها (Text similarity) ویدئو
05:53
برچسب گذاری نقش گرامری واژه (اسم، فعل، صفت و ...) با POS Tagging ویدئو
08:47
استخراج اسامی خاص از متن (دانشگاه، استان، شخص و ...) ویدئو
04:13
تحلیل احساسات + مثال (Sentiment Analysis) ویدئو
05:15
تشخیص معنی واژه در جملات مختلف ویدئو
10:24
ساخت سیستم ترجمه ویدئو
02:27
تبدیل صوت به متن ویدئو
09:58
تبدیل متن به صوت ویدئو
08:08
فصل ششم
طبقه بندی متن پیامک‌ها و شناسایی علل اسپم بودن آنها ویدئو
40:22
ساخت سیستم طبقه بندی شکایات مصرف کنندگان ویدئو
45:18
پروژه تحلیل احساسات مشتریان یک شرکت بزرگ ویدئو
56:53
خلاصه سازی متن یک صفحه وب ویدئو
29:48
خلاصه سازی متن یک کتاب ویدئو
15:04
پروژه خوشه بندی متن اسناد (Document Clustering) ویدئو
51:31
دیتاست‌های آموزش
سورس کدهای آموزش
متخصص علوم داده و فعال در صنعت بانک و بیمه. دارای مدرک کارشناسی آمار از دانشگاه شهید بهشتی و کارشناسی ارشد مدیریت فناوری از دانشگاه تهران
دوره های مرتبط
آموزش PHP شی گرا در قالب پروژه گالری عکس
ارائه شده توسط< امین کریمی
خداحافظی با اسپم در وردپرس
ارائه شده توسط< مسعود جواهری
طراحی وب از رویا تا واقعیت (فصل سوم)
ارائه شده توسط< محمدرضا عسگری
طراحی وب از رویا تا واقعیت (فصل دوم)
ارائه شده توسط< محمدرضا عسگری
آموزش کار با دیتابیس در زبان جاوا
ارائه شده توسط< مهدی عادلی فرد
rate_reviewامتیاز دانشجویان دوره
chat_bubble_outlineنظرات
قوانین ثبت دیدگاه
با سلام و احترام خدمت شما کاربر محترم- دیدگاه های خود را فارسی بنویسید.
- دیدگاه های نامرتبط با دوره تایید نخواهد شد.
- از درج دیدگاه های تکراری پرهیز نمایید.
- امتیاز دادن به دوره فقط مخصوص دانشجویان دوره می باشد.
برای ارسال نظر باید وارد حساب کاربری خود شده باشید.
قیمت اصلی: 2,795,000 تومان بود.559,000 تومانقیمت فعلی: 559,000 تومان.
فرصت باقیمانده تا پایان جشنواره مدار دانش
متخصص علوم داده و فعال در صنعت بانک و بیمه. دارای مدرک کارشناسی آمار از دانشگاه شهید بهشتی و کارشناسی ارشد مدیریت فناوری از دانشگاه تهران
Teopador( دانشجوی دوره )
سلام در قسمت تحلیل احساسات پروژه بر روی یک متن فارسی صورت گرفته یا یک متن انگلیسی؟ اگر انگلیسی هست آیا به درد پردازش احساسات یک متن فارسی هم میخوره ؟
mdargah
با سلام،
میخواستم بدونم راهی وجود داره از خارج از کشور این آموزش رو تهیه کرد؟
با تشکر
fatemeh.gh
سلام لطفا باز هم تخفیف ۷۰ درصد برای دوره ها بگذارید.ممنون
شاهین فتاحیانی( دانشجوی دوره )
سلام
سورس کد ، فقط در انتهای فصل ششم در دسترس است ، ایا برای محتوای فصل های اول تا پنجم نیز کد ها در دسترسی می باشد ؟
شاهین نوری
سلام
بله دوست عزیز کلاً سورس کدهای دوره رو آخرین فایل دانلودی گذاشتیم.
niloofar_sf( دانشجوی دوره )
باسلام
من میتونم همه ی ویدیوهای دوره رو یکجا داشته باشم، و دونه دونه دانلود نکنم؟
و همچنین فایل و کدهای ذکر شده در دوره رو؟
Mahsa Eskandarzadeh( دانشجوی دوره )
سلام
استاد گرامی فایل کد طبقه بندی متن پیامک‌ها و شناسایی علل اسپم بودن آنها در فایلها نبود. امکانش هست بفرستید?
زهرا کلباسی( دانشجوی دوره )
سلام. وقتتون بخیر
من لان دارم دوره رو آموزش میبینم. من بر حسب کارم نیاز دارم با متن فارسی و کامنتهای فارسی کار کنم. در پایان دوره امکان این اقدام هست؟
pooria83( دانشجوی دوره )
سلام.
این دوره برای متون فارسی هم کاربرد داره؟
Sadeghironizy@gmail.com( دانشجوی دوره )
else :
new_words.append(word)
new_text = ” “.join(new_words)
دقیقا این کد در اموزش 5_3 (قسمت استاندارد سازی) کم هستش و مدرس اشتباه کرده و درست کار نکردن کد رو اشتباه به جای دیگه ای ربط داد و رشته هایی که در دیکشنری لوک اپ نیستند به لیست اپند نمیشن
و یه چیز دیگه یه مشکل بزرگی که هستش اینکه مدرس همش توضیحات درمورد کد هارو ایگنور کرده و توضیح نمیدهند و میگویند کد ثابت هستش .
سبحان محمدی( دانشجوی دوره )
سلام ببخشید من تازه فصل اول هستم ولی سورس کد هاش تو فایل کدها موجود نیست هیچکدومش نیست من اون فایل زیپ شده رو دانلود کردم و توش موجود نیست اگه این نباشه بقیه مطالب هم احتمالا کلی کد میس شده دارن
لطفا اگه میشه قرار بدین
NiloofarMobasseri( دانشجوی دوره )
مطالبي كه به اشتراك گذاشته شده و كدها خوبن اما متاسفانه مدرس دوره تسلط روي مطالب ندارن و بيانشون اصلا خوب نيست، صرفا از روي كدها روخواني ميكنن بدون اينكه هيچ توضيح خاصي بدن
mustafa haqqi( دانشجوی دوره )
این دوره عااالی بود
از شاهین نوری عزیز خیلی ممنونم