Chuẩn bị

1. Tạo 3 máy ảo (VM) ubuntu 16.04 với các hostname lần lượt là node-master, node1, node2 với cấu hình như dưới:
node-master:
  CPU: 1 core
  RAM: 1024 MB
  Network:
    Adapter 1: Host-only Adapter
    Adapter 2 (Option: for internet connection): Bridge Adapter

node1:
  CPU: 2 core
  RAM: 2048 MB
  Network:
    Adapter 1: Host-only Adapter
    Adapter 2 (Option: for internet connection): Bridge Adapter

node2:
  CPU: 2 core
  RAM: 2048 MB
  Network:
    Adapter 1: Host-only Adapter
    Adapter 2 (Option: for internet connection): Bridge Adapter

Các bước dưới đây mặc định được thực hiện trên node-master nếu không nói là node nào

2. Sử dụng user lúc cài đặt ubuntu để install packages, tạo user hadoop để chạy các hadoop services

3. Cấu hình network interfaces cho các VMs ví dụ như sau:
node-master:
  auto enp0s3
  iface enp0s3 inet static
  address 192.168.99.100
  netmask 255.255.255.0
  network 192.168.99.0

  auto enp0s8
  iface enp0s8 inet dhcp

node1:
  auto enp0s3
  iface enp0s3 inet static
  address 192.168.99.101
  netmask 255.255.255.0
  network 192.168.99.0

  auto enp0s8
  iface enp0s8 inet dhcp

node2:
  auto enp0s3
  iface enp0s3 inet static
  address 192.168.99.102
  netmask 255.255.255.0
  network 192.168.99.0

  auto enp0s8
  iface enp0s8 inet dhcp

4. Install Oracle JDK 8:
  - sudo apt-get install software-properties-common
  - sudo add-apt-repository ppa:webupd8team/java
  - sudo apt-get update
  - sudo apt-get install oracle-java8-installer

Kiến trúc Hadoop Cluster

Một master node sẽ kiểm soát và theo dõi hệ thống file phân tán (DFS - distributed file system) và lập lịch cho việc phân bổ các tài nguyên. Máy node-master sẽ đảm nhận vai trò này và chạy 2 services ngầm:

  • NameNode: quản lý DFS 
  • ResourceManager: quản lý YARN jobs và lập lịch việc thực thi các tác vụ trên các slave nodes

Các Slave nodes là nơi thực sự lưu trữ data và cung cấp sức mạnh phần cứng để chạy các jobs. Trong trường hợp này ta có máy node1 và node2 đóng vai trò slave nodes, chúng sẽ chạy 2 services ngầm:

  • DataNode: quản lý dữ liệu vật lý thực của DFS trên node
  • NodeManager: quản lý việc thực thi các tasks trên node 

 

Cấu hình hệ thống 

Cấu hình host file trên mỗi node

Các node giao tiếp với nhau qua tên của chúng, sửa file /etc/hosts (continue....)

Monday, 14 May 2018 04:28

Happy Birthday My Boss

Written by
Monday, 07 May 2018 17:23

Slides hướng dẫn lập trình Web

Written by

Slides hướng dẫn lập trình phát triển ứng dụng Web.

Monday, 07 May 2018 06:52

Yêu cầu các nhóm viết bài

Written by

 

Yêu cầu tất cả các nhóm viết ít nhất 1 bài/tháng. Tạm thời các nhóm thực hiện yêu cầu này gồm:

  1. Nhóm nghiên cứu Building-Footprint
  2. Nhóm nghiên cứu Road/Forest detection
  3. Nhóm Imagetrekk Engine
  4. Nhóm GIS/3D
  5. Nhóm Salestrekk

Các bài viết ngoài chỉ tiêu yêu cầu sẽ được bồi dưỡng 50k VNĐ/bài và cũng được tính vào đánh giá năng suất.

Monday, 07 May 2018 04:09

Chào đón đến với Blog

Written by

Chào đón các thành viên gia đình SkyMap đến với Blog này.

Viết và chia sẻ là cách để củng cố lại tri thức của mình, là cách mang lại niềm hạnh phúc cho bản thân.

Đừng ngại vì nghĩ rằng bài viết của mình tầm thường. Mọi bài viết đều có giá trị. 

Hãy viết và chia sẻ những tri thức của mình!