جستجو برای:
  • دسته بندی دوره ها
    • برنامه نویسی
      • برنامه نویسی وب
        • پایتون
          • جنگو
          • فلسک
        • PHP
          • لاراول
        • جاوا اسکریپت
          • نود جی اس
          • نکست جی اس
          • ری اکت
          • انگولار
        • Go
        • ASP.NET
        • HTML & CSS
        • جی کوئری
        • بوت استرپ
        • سی شارپ
      • برنامه نویسی موبایل
        • اندروید
        • جاوا
        • اسپرینگ
        • کاتلین
        • ری اکت نیتیو
        • زامارین
        • فلاتر
        • فون گپ
      • برنامه نویسی ویندوز
        • سی پلاس پلاس
        • سی شارپ
        • جاوا
      • توسعه بازی
        • یونیتی
        • کانستراکت
      • توسعه دیتابیس
        • Mysql
        • OpenVPN
        • Redis
        • SQL Server
        • Vesta
        • WHMCS
        • Plesk
        • DirectAdmin
        • Cpanel
      • ابزار برنامه نویسی
        • الگوریتم و فلوچارت
        • Git
        • Visual Studio Code
        • Docker
        • RESTful API
        • Web API
        • Bootstrap Studio
        • SASS
        • Redux
      • اینترنت اشیاء
      • سیستم عامل
      • وردپرس
    • کسب و کار
      • استارتاپ و کارآفرینی
      • فروش
      • مدیریت
      • حسابداری
      • استخدام
      • مدیریت فرآیند
      • مدیریت پروژه
      • سیستم سازی
      • کسب درآمد از اینستاگرام
      • مهارت های ارتباطی
      • ابزارهای کسب و کار
      • کوچینگ
      • منابع انسانی
    • بازاریابی
      • دیجیتال مارکتینگ
        • سئو
        • تولید محتوا
        • کپی رایتینگ
        • سوشیال مدیا مارکتینگ
        • هک رشد
        • ایمیل مارکتینگ
      • بازاریابی B2B
      • برندینگ
      • استراتژی مارکتینگ
    • چند رسانه ای
      • تدوین ویدئو
        • افتر افکت
        • سینمافوردی
        • پریمیر
        • کمتازیا
        • ادیوس
      • انیمیشن
      • عکاسی
      • فیلم سازی
      • موشن گرافیک
    • طراحی گرافیک
      • ایلوستریتور
      • فتوشاپ
      • کورل دراو
      • ایندیزاین
      • طراحی پست اینستاگرام
      • طراحی رابط کاربری
      • 3Ds Max
      • اتوکد
      • ماتریکس
      • بلندر
      • نقاشی
    • زبان خارجه
      • زبان انگلیسی
      • زبان آلمانی
      • زبان فرانسه
      • زبان روسی
    • بورس و ارز دیجیتال
    • هوش مصنوعی و علم داده
    • امنیت شبکه
    • توسعه فردی
    • آکادمیک و مهندسی
    • نویسندگی
    • ورزش و سلامتی
  • مجله داناپ
  • تدریس در داناپ
  • حساب کاربری
داناپ
  • دسته بندی دوره ها
    • برنامه نویسی
      • برنامه نویسی وب
        • پایتون
          • جنگو
          • فلسک
        • PHP
          • لاراول
        • جاوا اسکریپت
          • نود جی اس
          • نکست جی اس
          • ری اکت
          • انگولار
        • Go
        • ASP.NET
        • HTML & CSS
        • جی کوئری
        • بوت استرپ
      • برنامه نویسی موبایل
        • اندروید
        • کاتلین
        • جاوا
        • اسپرینگ
        • ری اکت نیتیو
        • زامارین
        • فلاتر
        • فون گپ
      • برنامه نویسی ویندوز
        • سی پلاس پلاس
        • سی شارپ
        • جاوا
      • توسعه بازی
        • یونیتی
        • کانستراکت
      • توسعه دیتابیس
        • Mysql
        • OpenVPN
        • Redis
        • SQL Server
        • Vesta
        • WHMCS
        • Plesk
        • DirectAdmin
        • Cpanel
      • ابزار برنامه نویسی
        • الگوریتم و فلوچارت
        • Git
        • Visual Studio Code
        • Docker
        • RESTful API
        • Web API
        • Bootstrap Studio
        • SASS
        • Redux
      • اینترنت اشیاء
      • سیستم عامل
      • وردپرس
    • کسب و کار
      • استارتاپ و کارآفرینی
      • فروش
      • مدیریت
      • حسابداری
      • استخدام
      • مدیریت فرآیند
      • مدیریت پروژه
      • سیستم سازی
      • کسب درآمد از اینستاگرام
      • مهارت های ارتباطی
      • ابزارهای کسب و کار
      • کوچینگ
      • منابع انسانی
    • بازاریابی
      • دیجیتال مارکتینگ
        • سئو
        • تولید محتوا
        • کپی رایتینگ
        • سوشیال مدیا مارکتینگ
        • هک رشد
        • ایمیل مارکتینگ
      • بازاریابی B2B
      • برندینگ
      • استراتژی مارکتینگ
    • چند رسانه ای
      • تدوین ویدئو
        • افتر افکت
        • سینمافوردی
        • پریمیر
        • کمتازیا
        • ادیوس
      • انیمیشن
      • عکاسی
      • فیلم سازی
      • موشن گرافیک
    • طراحی گرافیک
      • ایلوستریتور
      • فتوشاپ
      • کورل دراو
      • ایندیزاین
      • طراحی پست اینستاگرام
      • طراحی رابط کاربری
      • 3Ds Max
      • اتوکد
      • ماتریکس
      • بلندر
      • نقاشی
    • زبان خارجه
      • زبان انگلیسی
      • زبان آلمانی
      • زبان فرانسه
      • زبان روسی
    • بورس و ارز دیجیتال
    • هوش مصنوعی و علم داده
    • امنیت شبکه
    • توسعه فردی
    • آکادمیک و مهندسی
    • نویسندگی
    • ورزش و سلامتی
  • مجله داناپ
  • تدریس در داناپ
0
ورود / ثبت نام

آموزش مفاهیم کلیدی هدوپ Hadoop و اسپارک Spark

خانهدوره های آموزشیآموزش هوش مصنوعی و علم دادهآموزش مفاهیم کلیدی هدوپ Hadoop و اسپارک Spark
http://dl.danup.ir/Courses/694489/hadoop&spark/1.hadoop&spark.jd9c8j4fks1.mp4
قیمت :

1,875,000 تومان قیمت اصلی: 1,875,000 تومان بود.375,000 تومانقیمت فعلی: 375,000 تومان.

80%
تخفیف
امتیاز
5.00 از 2 رأی
5.00 2 رای
1,875,000 تومان قیمت اصلی: 1,875,000 تومان بود.375,000 تومانقیمت فعلی: 375,000 تومان.
ویژگی های دوره
زبان: فارسی
4 ساعت و 55 دقیقه
23 درس
755 مگابایت
روش دریافت: دانلود آنی پس از پرداخت
روش پشتیبانی: ارسال تیکت
حالت مطالعه

هدوپ Hadoop و اسپارک Spark دو تکنولوژی ذخیره سازی داده های حجیم در پایگاه های nosql هستند. این دو تفاوت های عمده ای با یکدیگر دارند که در ادامه به طور مختصر در مورد هر کدام صحبت خواهیم کرد.

هدوپ Hadoop یک فریم‌ورک مدیریت و پردازش کلان داده به صورت توزیع شده می باشد که در آن داده های بزرگ به داده های کوچک شکسته می شوند. استفاده از هدوپ راهی آسان برای گسترش داده های مورد نیاز یک شرکت را فراهم می کند و به MapReduce اجازه می دهد تا وظایف خود را بر روی مجموعه های کوچکتر داده به منظور پردازش سریع تر انجام دهد. لازم به ذکر است که هدوپ می تواند از انواع داده ها پشتیبانی کند.

اسپارک Spark یک موتور پردازشی توزیع‌ شده و درون حافظه ای است که با هدف استفاده حداکثری از مموری برای کوئری و تحلیل داده به وجود آمده است. اسپارک قابلیت بسیار بالایی در پردازش داده ها با استفاده از یادگیری ماشین دارد. برخی از فعالین این حوزه مدعی هستند که سرعت پردازش آپاچی اسپارک چیزی در حدود 100 برابر بیشتر از هدوپ است. اسپارک نیز مانند هدوپ قابلیت استفاده از ETL و یکپارچه کردن دیتا را دارد.

 

در این دوره چه مباحثی آموزش داده شده است؟

در دوره آموزشی مفاهیم بنیادی پردازش و مدیریت بیگ دیتا،  به معرفی اکوسیستم هدوپ و موتور پردازشی توزیع شده آپاچی اسپارک می پردازیم. هدف این دوره آموزشی پرداختن به مباحث پایه ای در حوزه ابزارهای اکوسیستم هدوپ جهت احراز نیازمندی های مشاغل Data Engineer و Data Scientist می باشد.

 

سرفصل های دوره آموزش مفاهیم کلیدی هدوپ Hadoop و اسپارک Spark

  • آشنایی با بیگ دیتا

    • تعریف، توصیف و بررسی ویژگی های کلیدی بیگ دیتا
    • جایگاه بیگ دیتا و پردازش بیگ دیتا
    • کاربرد بیگ دیتا و تحلیل آنها
    • منابع تولید کننده بیگ دیتا
    • چالش های مدل های سنتی ذخیره سازی در مواجهه با بیگ دیتا
    • داده های Stream، مشخصات و تولید کننده های آن ها
    • کاربرد و علت Stream Processing
  • معرفی Hadoop و شروع کار با اکو سیستم Hadoop

    • معرفی Hadoop به عنوان سکوی پردازش و ذخیره سازی بیگ دیتا
    • آشنایی با اجزا Hadoop
    • مدل پردازش توزیع شده MapReduce
    • سیستم فایل توزیع شده Hadoop HDFS
    • سیستم مدیریت منابع و وظایف YARN
    • قابلیت ها و توانمندی های Hadoop
    • نقاط قوت و ضعف Hadoop در مقایسه با سیستم های پردازشی موجود
    • معرفی مدل پردازشی MapReduce
    • مراحل انجام کار در اجرای وظایف MapReduce
    • حل مسئله شمارش کلمات در MapReduce
    • معماری و ویژگی های HDFS
    • نحوه عملکرد HDFS NameNode و DataNode و وظایف هر کدام
    • ساختار داده ها و بلاک ها در HDFS
    • معرفی YARN
    • اجزاء YARN
  • بخش Apache Spark

    • معرفی Spark و مدل پردازش در Spark
    • ویژگی ها و کاربرد های Spark
    • انواع روش های مدیریت منابع در Spark
    • بررسی معماری Apache Spark Spark Session Spark Context
    • آماده سازی محیط توسعه و نصب Spark
    • Spark Core
    • مدل داده ای
    • Operations
      • Transformations
      • Actions
    • تبدیل منابع داده ای به RDD
    • Submit Jobs
    • Jobs, Stages, and Tasks
    • مانیتورینگ Job ها
    • RDD Execution Plan

 

حاصل دوره

دانشجویان عزیز پس از گذراندن این دوره آموزشی علاوه بر شناخت کامل مفاهیم بیگ دیتا، درک کاملی از اکوسیستم هدوپ و موتور پردازشی توزیع شده آپاچی اسپارک پیدا می کنند و می توانند از ابزارهای مربوطه جهت انجام فعالیت های لازم در حوزه مهندسی، تحلیل و علم داده استفاده کنند.

ویدئوهای دوره

معرفی دوره ویدئو

27:39

پیش نمایش

دانلود یکجا قسمت های 1 الی 23 ویدئو

04:55:10

خصوصی
محمد حیدری
محمد حیدری
مشاهده دوره های دیگر مدرس

کارشناس مهندسی نرم افزار و کارشناس ارشد مهندسی فناوری اطلاعات، مهندس داده در سرویس های فناوری اطلاعات همت، بنیانگذار مدرسه بیگ دیتا و در حال حاضر مطالعه، پژوهش و تمرکزم روی فیلد استفاده از تکنیک های یادگیری ماشین و یادگیری عمیق به منظور تحلیل بیگ دیتاست. از جمله دیگر علاقه مندی های من، دیتاساینس، مهندسی بیگ دیتا، تحلیل شبکه های اجتماعی، پردازش گراف های حجیم و پردازش متن می باشد.

دوره های مرتبط

آشنایی با رایانش ابری (Cloud Computing)

آشنایی با رایانش ابری (Cloud Computing)

ارائه شده توسط< Linkedin Learning

آموزش پردازش زبان طبیعی NLP با GPT-4

آموزش پردازش زبان طبیعی NLP با GPT-4 + پروژه های واقعی پایتون

ارائه شده توسط< Udemy

آشنایی با ChatGPT

آشنایی با ChatGPT و نحوه عملکرد آن

ارائه شده توسط< جادی میرمیرانی

آموزش پردازش تصویر با پایتون

آموزش پردازش تصویر با پایتون – کتابخانه OpenCV

[vc_row][vc_column][vc_column_text]کتابخانه OpenCV در پایتون یک کتابخانه بسیار قدرتمند برای پردازش تصویر می باشد که نه تنها در پایتون، بلکه در بسیاری از زبان های برنامه نویسی دیگر نیز کاربرد دارد. …
ارائه شده توسط< ایمان صادقی

آموزش پردازش تصویر با پایتون - پردازش چهره

آموزش پردازش تصویر با پایتون – پردازش چهره

ارائه شده توسط< علیرضا امرالهی

rate_reviewامتیاز دانشجویان دوره

5
5.00 2 رای
1,875,000 تومان قیمت اصلی: 1,875,000 تومان بود.375,000 تومانقیمت فعلی: 375,000 تومان.
2 رأی
5 ستاره
2
4 ستاره
0
3 ستاره
0
2 ستاره
0
1 ستاره
0

chat_bubble_outlineنظرات

  • Joseph Hoseini( دانشجوی دوره )
    اسفند 20, 1399
    نمره 5 از 5
    برای پاسخ دادن وارد شوید

    خیلی دوره خوبی بود و تبریک میگم به مدرس دوره برای تولید و انتشار این محتوای آموزشی

  • helmashmsaei( دانشجوی دوره )
    اسفند 16, 1401
    نمره 5 از 5
    برای پاسخ دادن وارد شوید

    حتما پیشنهاد میدم این دوره رو از نظر محتوا و نحوه آموزش عالی بود

قوانین ثبت دیدگاه

با سلام و احترام خدمت شما کاربر محترم
  • دیدگاه های خود را فارسی بنویسید.
  • دیدگاه های نامرتبط با دوره تایید نخواهد شد.
  • از درج دیدگاه های تکراری پرهیز نمایید.
  • امتیاز دادن به دوره فقط مخصوص دانشجویان دوره می باشد.

لغو پاسخ

برای ارسال نظر باید وارد حساب کاربری خود شده باشید.

قیمت :

1,875,000 تومان قیمت اصلی: 1,875,000 تومان بود.375,000 تومانقیمت فعلی: 375,000 تومان.

80%
تخفیف

فرصت باقیمانده تا پایان جشنواره نیمکت آخر

امتیاز
5.00 از 2 رأی
5.00 2 رای
1,875,000 تومان قیمت اصلی: 1,875,000 تومان بود.375,000 تومانقیمت فعلی: 375,000 تومان.
زبان: فارسی
4 ساعت و 55 دقیقه
23 درس
755 مگابایت
روش دریافت: دانلود آنی پس از پرداخت
روش پشتیبانی: ارسال تیکت
محمد حیدری
محمد حیدری
مشاهده دوره های دیگر مدرس

کارشناس مهندسی نرم افزار و کارشناس ارشد مهندسی فناوری اطلاعات، مهندس داده در سرویس های فناوری اطلاعات همت، بنیانگذار مدرسه بیگ دیتا و در حال حاضر مطالعه، پژوهش و تمرکزم روی فیلد استفاده از تکنیک های یادگیری ماشین و یادگیری عمیق به منظور تحلیل بیگ دیتاست. از جمله دیگر علاقه مندی های من، دیتاساینس، مهندسی بیگ دیتا، تحلیل شبکه های اجتماعی، پردازش گراف های حجیم و پردازش متن می باشد.

دسته: آموزش هوش مصنوعی و علم داده

لغو پاسخ

برای ارسال نظر باید وارد حساب کاربری خود شده باشید.

پلتفرم آموزش آنلاین داناپ

لذت یادگیری با تماشای دوره های آموزش آنلاین در هر زمان و هر مکان دو چندان می شود. ماموریت ما در داناپ برقراری عدالت آموزشی در کشور و کمک به جوانان برای اشتغال بیشتر بوده است. داناپ از سال 1396 تا به امروز سهم بزرگی در حوزه آموزش در کشور داشته و رضایت دانشجویان را از ابتدا ملاک کار خود قرار داده است.

دسترسی سریع
  • مجله داناپ
  • درباره ما
  • تدریس در داناپ
  • تماس با ما
  • قوانین و مقررات
logo-Enamad logo-samandehi
تمامی حقوق برای شرکت داناپ محفوظ می باشد. 1396-1404
ورود به سیستم ×
کد تایید
لطفاً کد تأیید ارسال شده را وارد کنید:
ارسال
رمز عبور را فراموش کرده اید؟
ورود با کد یکبارمصرف
ارسال مجدد کد یکبار مصرف(00:30)
آیا حساب کاربری ندارید؟
ثبت نام
ارسال مجدد کد یکبار مصرف(00:30)
برگشت به صفحه ورود به سایت

ارسال مجدد کد یکبار مصرف (00:30)
برگشت به صفحه ورود به سایت
%80 تخفیف ویژه تمامی دوره ها - آخرین فرصت!
روز
ساعت
دقیقه
ثانیه
مشاهده دوره های آموزشی
پایان جشنواره

ورود

رمز عبور را فراموش کرده اید؟

یا

ارسال مجدد کد یکبار مصرف (00:30)

هنوز عضو نشده اید؟ عضویت در سایت