Trang chủ > Các chương trình đào tạo khác > Dữ liệu lớn (Big Data Program)

Dữ liệu lớn (Big Data Program)

 

 

Mục đích khóa học:

Dữ liệu của nhiều các doanh nghiệp hiện nay đã trở nên vô cùng lớn và gây ra nhiều khó khăn trong việc xử lý chúng như: thời gian xử lý lâu, yêu cầu cấu hình máy chủ cao, … Trước thách thức đó, các nền tảng xử lý dữ liệu lớn đã được phát triển và ngày càng được sử dụng rộng rãi. Vì vậy những kiến thức cơ bản về dữ liệu lớn cũng trở nên không thể thiếu cho các lập trình viên cũng như những CIO của các doanh nghiệp trong thời đại hiện nay.

Khóa học này cung cấp những kiến thức cơ bản về dữ liệu lớn và kỹ năng lập trình trên một số nền tảng xử lý dữ liệu lớn như Hadoop, Spark. Sau khi hoàn thành khóa học, học viên có thể:

  • Hình thành ý tưởng và lên kế hoạch khai thác các lợi ích của dữ liệu lớn cho doanh nghiệp;
  • Có khả năng đề xuất giải thuật cho một số vấn đề liên quan dữ liệu lớn và hiện thực hóa giải thuật trên nền tảng phân tán;
  • Có kỹ năng lập trình với Hadoop MapReduce và Spark.

 

Thời lượng: 40 giờ

 

Đối tượng học viên: có kiến thức vững vàng về lập trình. Học viên có kỹ năng lập trình Java sẽ dễ tiếp cận hơn.

 

Nội dung khóa học:

Phần lý thuyết

  1. Giới thiệu Dữ liệu lớn
    • Dữ liệu lớn là gì?
    • Các chữ V trong Dữ liệu lớn
    • Sự khác biệt giữa dữ liệu lớn và tính toán lớn
    • Những thách thức của Dữ liệu lớn
    • Những lợi ích của dữ liệu lớn
    • Những công cụ được sử dụng
  2. Giới thiệu Apache Hadoop
    • Lịch sử hình thành và phát triển
    • Hadoop Ecosystem
    • Kiến trúc của Apache Hadoop
    • HDFS
    • Mô hình lập trình MapReduce
  3. Giới thiệu Apache Spark
    • Lịch sử hình thành và phát triển
    • Spark Ecosystem
    • Kiến trúc của Spark
    • RDD và các thao tác trên RDD
    • Accumulators và Broadcast

Phần thực hành

  1. Hướng dẫn cài đặt và lập trình ứng dụng với Apache Hadoop
    • Hướng dẫn cài đặt và lập trình.
    • Lập trình một số ví dụ minh họa.
  2. Hướng dẫn cài đặt và lập trình ứng dụng với Apache Spark
    • Hướng dẫn cài đặt.
    • Lập trình một số ví dụ minh họa:
      • Lập trình cơ bản với RDD;
      • Lập trình với Spark GraphX;
      • Lập trình với Spark Machine Learning;
      • Và một số ví dụ khác tuỳ vào yêu cầu thực tế của KH

Địa chỉ: Lầu 6, toà nhà Thiên Sơn, 5-7-9 Nguyễn Gia Thiều, P.6, Quận 3, TP.HCM

Tel: (028) 39 333 376 - Fax: (028) 39 30 6767

Email: tuvan@smartpro.vn, sales@smartpro.vn

Chi nhánh: 8/12 Liễu Giai, Ba Đình, Hà Nội

Tel: (024) 37620196

Email: tuvan@smartpro.vn, sales@smartpro.vn

web counters