قیمت :

87,500 تومان

امتیاز
5.00 از 1 رأی
5.00 1 رای
87,500 تومان
ویژگی های دوره
زبان: فارسی
4 ساعت و 55 دقیقه
23 درس
755 مگابایت
روش دریافت: دانلود آنی پس از پرداخت
روش پشتیبانی: ارسال تیکت
حالت مطالعه

هدوپ Hadoop و اسپارک Spark دو تکنولوژی ذخیره سازی داده های حجیم در پایگاه های nosql هستند. این دو تفاوت های عمده ای با یکدیگر دارند که در ادامه به طور مختصر در مورد هر کدام صحبت خواهیم کرد.

هدوپ Hadoop یک فریم‌ورک مدیریت و پردازش کلان داده به صورت توزیع شده می باشد که در آن داده های بزرگ به داده های کوچک شکسته می شوند. استفاده از هدوپ راهی آسان برای گسترش داده های مورد نیاز یک شرکت را فراهم می کند و به MapReduce اجازه می دهد تا وظایف خود را بر روی مجموعه های کوچکتر داده به منظور پردازش سریع تر انجام دهد. لازم به ذکر است که هدوپ می تواند از انواع داده ها پشتیبانی کند.

اسپارک Spark یک موتور پردازشی توزیع‌ شده و درون حافظه ای است که با هدف استفاده حداکثری از مموری برای کوئری و تحلیل داده به وجود آمده است. اسپارک قابلیت بسیار بالایی در پردازش داده ها با استفاده از یادگیری ماشین دارد. برخی از فعالین این حوزه مدعی هستند که سرعت پردازش آپاچی اسپارک چیزی در حدود 100 برابر بیشتر از هدوپ است. اسپارک نیز مانند هدوپ قابلیت استفاده از ETL و یکپارچه کردن دیتا را دارد.

 

در این دوره چه مباحثی آموزش داده شده است؟

در دوره آموزشی مفاهیم بنیادی پردازش و مدیریت بیگ دیتا،  به معرفی اکوسیستم هدوپ و موتور پردازشی توزیع شده آپاچی اسپارک می پردازیم. هدف این دوره آموزشی پرداختن به مباحث پایه ای در حوزه ابزارهای اکوسیستم هدوپ جهت احراز نیازمندی های مشاغل Data Engineer و Data Scientist می باشد.

 

سرفصل های دوره آموزش مفاهیم کلیدی هدوپ Hadoop و اسپارک Spark

  • آشنایی با بیگ دیتا

    • تعریف، توصیف و بررسی ویژگی های کلیدی بیگ دیتا
    • جایگاه بیگ دیتا و پردازش بیگ دیتا
    • کاربرد بیگ دیتا و تحلیل آنها
    • منابع تولید کننده بیگ دیتا
    • چالش های مدل های سنتی ذخیره سازی در مواجهه با بیگ دیتا
    • داده های Stream، مشخصات و تولید کننده های آن ها
    • کاربرد و علت Stream Processing

  • معرفی Hadoop و شروع کار با اکو سیستم Hadoop

    • معرفی Hadoop به عنوان سکوی پردازش و ذخیره سازی بیگ دیتا
    • آشنایی با اجزا Hadoop
    • مدل پردازش توزیع شده MapReduce
    • سیستم فایل توزیع شده Hadoop HDFS
    • سیستم مدیریت منابع و وظایف YARN
    • قابلیت ها و توانمندی های Hadoop
    • نقاط قوت و ضعف Hadoop در مقایسه با سیستم های پردازشی موجود
    • معرفی مدل پردازشی MapReduce
    • مراحل انجام کار در اجرای وظایف MapReduce
    • حل مسئله شمارش کلمات در MapReduce
    • معماری و ویژگی های HDFS
    • نحوه عملکرد HDFS NameNode و DataNode و وظایف هر کدام
    • ساختار داده ها و بلاک ها در HDFS
    • معرفی YARN
    • اجزاء YARN

  • بخش Apache Spark

    • معرفی Spark و مدل پردازش در Spark
    • ویژگی ها و کاربرد های Spark
    • انواع روش های مدیریت منابع در Spark
    • بررسی معماری Apache Spark Spark Session Spark Context
    • آماده سازی محیط توسعه و نصب Spark
    • Spark Core
    • مدل داده ای
    • Operations
      • Transformations
      • Actions
    • تبدیل منابع داده ای به RDD
    • Submit Jobs
    • Jobs, Stages, and Tasks
    • مانیتورینگ Job ها
    • RDD Execution Plan

 

حاصل دوره

دانشجویان عزیز پس از گذراندن این دوره آموزشی علاوه بر شناخت کامل مفاهیم بیگ دیتا، درک کاملی از اکوسیستم هدوپ و موتور پردازشی توزیع شده آپاچی اسپارک پیدا می کنند و می توانند از ابزارهای مربوطه جهت انجام فعالیت های لازم در حوزه مهندسی، تحلیل و علم داده استفاده کنند.

فصل اول

معرفی دوره ویدئو

27:39

پیش نمایش

دانلود یکجا قسمت های 1 الی 23 ویدئو

04:55:10

خصوصی

دوره های مرتبط

آموزش جامع هوش تجاری در اکسل

آموزش هوش تجاری در اکسل

[vc_row][vc_column][vc_column_text]هوش تجاری (BI) مجموعه ای قدرتمند از ابزار و امکاناتی می باشد که به کارکنان در سطوح سازمانی کمک می کنند داده ها را برای تصمیم گیری و تصمیم سازی …
ارائه شده توسط< راضیه نوابی

24,500 تومان
پکیج جامع علم داده با پایتون

پکیج جامع علم داده با پایتون

ارائه شده توسط< شاهین نوری

99,500 تومان
آموزش متن کاوی و وب کاوی

آموزش جامع متن کاوی و وب کاوی با رپیدماینر RapidMiner

[vc_row][vc_column][vc_column_text]متن کاوی یا text mining یکی از روش های آنالیز داده های متنی است که می توان به کمک آن و از طریق تشخیص و نمایش الگوها اطلاعات مفیدی را …
ارائه شده توسط< شاهین نوری

49,500 تومان
آموزش داده کاوی با rapidminer

آموزش جامع داده کاوی با رپیدماینر RapidMiner

[vc_row][vc_column][vc_column_text]داده کاوی با رپیدماینر (ِRapidMiner) قطعا یکی از محبوبترین و پرطرفدارترین شیوه های داده کاوی است که بدون نیاز به هیچ گونه دانش برنامه نویسی می توانید از آن استفاده …
ارائه شده توسط< شاهین نوری

49,500 تومان
داده کاوی و یادگیری ماشینی با پایتون

آموزش جامع داده کاوی و یادگیری ماشینی با پایتون – کاملا پروژه محور

[vc_row][vc_column][vc_column_text]یادگیری ماشینی با پایتون (Machine learning) در حال حاضر یکی از محبوب ترین و پرطرفدارترین مهارت‌ها در دنیا به شمار می رود. در حال حاضر، در اکثر فرصت های شغلی‌ …
ارائه شده توسط< شاهین نوری

49,500 تومان

rate_reviewامتیاز دانشجویان دوره

5
5.00 1 رای
87,500 تومان
1 رأی
5 ستاره
1
4 ستاره
0
3 ستاره
0
2 ستاره
0
1 ستاره
0

chat_bubble_outlineنظرات

  • علی رشیدی

    با سلام میبخشید احتمالا سوالم ابتدایی باشه ولی برام مهمه سوالم اینکه آیا تمرین کردن و آموزش این دوره نیاز به چه سیستمی کامپیوتری از نظر سخت افزاری میخواد میشه لطفا زودتر پاسخم رو بدین که بدونم بدردم میخوره ؟

  • Joseph Hoseini( دانشجوی دوره )

    خیلی دوره خوبی بود و تبریک میگم به مدرس دوره برای تولید و انتشار این محتوای آموزشی

قوانین ثبت دیدگاه

با سلام و احترام خدمت شما کاربر محترم
  • دیدگاه های فینگلیش تایید نخواهند شد.
  • دیدگاه های نامرتبط با دوره تایید نخواهد شد.
  • از درج دیدگاه های تکراری پرهیز نمایید.
  • امتیاز دادن به دوره فقط مخصوص دانشجویان دوره می باشد.

قیمت :

87,500 تومان

افزودن به علاقه مندی
امتیاز
5.00 از 1 رأی
5.00 1 رای
87,500 تومان
زبان: فارسی
4 ساعت و 55 دقیقه
23 درس
755 مگابایت
روش دریافت: دانلود آنی پس از پرداخت
روش پشتیبانی: ارسال تیکت
محمد حیدری
محمد حیدری

کارشناس مهندسی نرم افزار و کارشناس ارشد مهندسی فناوری اطلاعات، مهندس داده در سرویس های فناوری اطلاعات همت، بنیانگذار مدرسه بیگ دیتا و در حال حاضر مطالعه، پژوهش و تمرکزم روی فیلد استفاده از تکنیک های یادگیری ماشین و یادگیری عمیق به منظور تحلیل بیگ دیتاست. از جمله دیگر علاقه مندی های من، دیتاساینس، مهندسی بیگ دیتا، تحلیل شبکه های اجتماعی، پردازش گراف های حجیم و پردازش متن می باشد.

دسته: