Nâng cấp Virtuozzo Automator

Bước 1: Nâng cấp Virtuozzo Automator Management Panel, ta ssh vào máy ảo container đang chạy Virtuozzo Automator và gõ lệnh sau: 

Code:

# yum groupupdate "VA Management Node" "VA Control Center"

Bước 2: Nâng cấp Virtuozzo Automator Agent, ta thực hiện trên từng máy chủ Hardware node

Code:

# yum groupupdate "VA Agent"

Cài đặt tính năng S3 Object storage cho Virtuozzo 6.0

Tính năng S3 Object Storage bao gồm các role sau:

- Object server: lưu trữ dữ liệu được nhận từ S3 gateway. Dữ liệu thực chất được lưu trên virtuozzo storage để bảo đảm tính HA
- Name server: lưu thông tin metada của bucket bao gồm object name, ACL, dung lượng, vị trí, người sở hữu. Dữ liệu thực chất được lưu trên virtuozzo storage để bảo đảm tính HA
- S3 gateway: đóng vai trò là proxy giữa người dùng cuối và các máy chủ object. Nó nhận và xử lý các yêu cầu bằng giao thức Amazon S3 và sử dụng nginx Web server cho các kết nối từ bên ngoài. S3 gateway quản lý việc chứng thực tài khoản user và kiểm tra phân quyền ACL checks. Bản thân nó không sinh ra dữ liệu
- Block level: là virtuozzo storage

Với bài lab này ta triển khai cài đặt 3 role Object Server, Name Server và S3 gateway trên 3 hardware node đang chạy thuộc cụm Virtuozzo 6.0 với thông tin 3 node như sau

Server name: rs00360 - Storage IP: 172.16.10.24 - WAN IP: 103.199.9.24
Server name: rs00361 - Storage IP: 172.16.10.25 - WAN IP: 103.199.9.25
Server name: rs00362 - Storage IP: 172.16.10.26 - WAN IP: 103.199.9.26

Cài đặt Object Server

Bước 1 (thực hiện trên cả 3 node): add thông tin vào file /etc/hosts để phân giải hostname ra IP storage

172.16.10.24 rs00360 rs00360.dinodata.vn
172.16.10.25 rs00361 rs00361.dinodata.vn
172.16.10.26 rs00362 rs00362.dinodata.vn

Bước 2 (thực hiện trên cả 3 node): cài đặt gói pstorage-ostor

Code:

# yum install pstorage-ostor

Bước 3 (thực hiện trên 1 node sẽ chạy role object server) : Tạo configure service mới và chỉ định số lượng máy chủ sẽ làm object server và name server

Code:

ostor-ctl create -n <hostname> -r /var/lib/ostor/configuration -c 
"pstorage://<cluster_name>/<ostor_dir> 4 5"

<hostname> là tên node đang tiến hành tạo configure service
<cluster_name> là tên cluster của virtuozzo 6.0
<ostor_dir> là thư mục chứa các tập tin của dịch vụ object storage
4 là số lượng node sẽ cài name server
5 là số lượng node sẽ cài storage object

Bước này hệ thống sẽ yêu cầu đặt mật khẩu

Trong bài này ta gõ lệnh sau:

Code:

ostor-ctl create -n rs00360 -r /var/lib/ostor/configuration -c "pstorage://minicloudt9/s3-t9 3 3"

Bước 4: khởi động configure service

Code:

# service ostor-cfgd start
# chkconfig ostor-cfgd on

Bước 5 (thực hiện trên 1 node sẽ chạy role object server): Khởi tạo kho lưu trữ object storage

Code:

ostor-ctl init-storage -n <hostname> -s <cluster_mount_point>

Thư mục <ostor_dir> đã qui định ở bước 3 sẽ được tạo tại bước này. Đồng thời bạn cần nhập mật khẩu đã đặt ở bước 3

Trong bài này ta gõ lệnh sau:

Code:

ostor-ctl init-storage -n rs00361 -s /pstorage/minicloudt9

Bước 6 (thực hiện trên các node sẽ chạy role object server): thêm các host vào cụm

Code:

# ostor-ctl add-host -r <cluster_mount_point>/<ostor_dir>

Trong bài này ta gõ lệnh sau:

Code:

ostor-ctl add-host -r /pstorage/minicloudt9/s3-t9

Bước 7 (thực hiện trên tất cả các node sẽ làm S3 gateway): 

Code:

# ostor-ctl add-s3gw -a <storage_IP>:9000

Trong bài này ta gõ ba lệnh sau trên 3 node

Code:

ostor-ctl add-s3gw -a 172.16.10.24:9000 
ostor-ctl add-s3gw -a 172.16.10.25:9000 
ostor-ctl add-s3gw -a 172.16.10.26:9000

Bước 8 (thực hiện trên tất cả các node sẽ làm S3 gateway): Khởi động agent

Code:

# service ostor-agentd start
# chkconfig ostor-agentd on

Bước 9: Kiểm tra trạng thái của hệ thống

Code:

# ostor-ctl agent-status

Bước 10 (thực hiện trên tất cả các node sẽ làm S3 gateway): Cài đặt và cấu hình Nginx

Cài đặt Nginx

Code:

#  wget http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
# rpm -ivh epel-release-6-8.noarch.rpm
# yum install nginx -y

Cấu hình Nginx: Mở file /etc/nginx/conf.d/default.conf và nhập nội dung như bên dưới

Code:

upstream s3 {
    server 172.16.10.24:9000; #S3 gateway 1 internal IP address
    server 172.16.10.25:9000; #S3 gateway 2 internal IP address
     server 172.16.10.26:9000; #S3 gateway 3 internal IP address
        # Optional load balancing parameters (see http://nginx.org/en/docs/http/load_balancing.html)
 }
server {
   listen       80;
  server_name  s3.vinacis.com;      #S3 endpoint. If you have DNS configured, replace the IP address with the corresponding hostname.
  client_max_body_size 5g;
  #charset koi8-r;
  #access_log  /var/log/nginx/log/host.access.log  main;
  location / {
  fastcgi_pass_header Connection-close;
  fastcgi_pass s3;
  fastcgi_no_cache 1;
  include fastcgi_params;
  fastcgi_request_buffering off;
  fastcgi_max_temp_file_size 0;
     }
}

Bước 11: Tạo DNS record s3.vinacis.com trỏ về 3 IP Public của 3 node đang chạy S3 gateway

Bước 12: Khởi động dịch vụ Nginx

Code:

# service nginx start 
# chkconfig nginx on

Bước 13 (thực hiện một trong những node chạy S3) : Tạo tài khoản người dùng S3

Code:

# ostor-s3-admin  create-user -e user@email.com

Ghi lại thông tin Access Key và Secret Access Key dùng để kết nối tạo Bucket

Bước 14: Khởi tạo Bucket mới

Hệ thống Virtuozo 6.0 không có công cụ để khởi tạo Bucket nên ta cần dùng công cụ của hãng thứ 3. Tải về và cài đặt công cụ CloudBerry Explorer for Amazon S3 tại địa chỉ: http://www.cloudberrylab.com/downloa...prod=cbes3free

Mở phần mềm CloudBerry Explorer for Amazon S3 --> File --> Add New Account --> S3 Compatible --> Điền các thông tin như sau

Display name: đặt tên cho kết nối. VD: vinacis
Service point: điền thông tin kết nối đến S3 Gateway. Trong trường hợp này là s3.vinacis.com:80Access key: điền access key lấy được ở bước 13
Secret key: điền Secret access key lấy được ở bước 13

Lưu ý bỏ dấu check ở hai tùy chọn "Use SSL" và "Use native multipath.."

Sau khi kết nối thì tạo Bucket mới

__________________

Cấu hình NFS server và client trên Virtuozzo Container

Hệ thống gồm 2 máy chủ

Container đóng vai trò NFS Server có IP là: 192.168.100.1 (container ID: 101) - OS: Centos 6.8 64bit
Container đóng vai trò NFS Client có IP là: 192.168.100.2 (container ID: 102) - OS: Centos 6.8 64bit
Thư mục cần chia sẻ NFS nằm trên NFS Server tên là: /data

Cài đặt NFS Server 
Bước 1: Trên máy chủ Virtuozzo hardware node chạy lệnh sau để load module nfsd 

Code:

# modprobe nfsd

Bước 2: Trên máy chủ Virtuozzo hardware node chạy lệnh sau để kích hoạt tính năng nfsd cho container 101 

Code:

# vzctl stop 101
# vzctl set 101 --features nfsd:on --save
# vzctl start 101

Bước 3: Trong container, gõ lệnh sau để cài đặt các gói NFS Server

Code:

# yum install rpcbind nfs-utils

Bước 4: Trong container gõ lệnh

Code:

# chkconfig rpcbind on
# service rpcbind start

Bước 5: Trong container, tắt các cảnh báo liên quan đến nfsd bằng cách mởi tập tin /etc/sysconfig/nfs, sau đó thêm các dòng bên dưới vào vị trị cuối file

Code:

MOUNTD_NFS_V3="yes"
RPCNFSDARGS="-N 4"
NFSD_MODULE="noload"

Bước 6: Khởi động dịch vụ NFS

Code:

# chkconfig nfs on
# service nfs start

Bước 7: Trong container, khởi tạo thư mục /data và share thư mục này cho máy client với quyền read write

Code:

# mkdir /data
# vi /etc/exports

/home           192.168.100.2(rw,sync,no_root_squash,no_subtree_check)

# export -a

Cài đặt NFS Client

Bước 1: Trên máy chủ Virtuozzo hardware node chạy lệnh sau để load module nfsd

Code:

# modprobe nfs

Bước 2: Trên máy chủ Virtuozzo hardware node chạy lệnh sau để kích hoạt tính năng nfsd cho container 102

Code:

# vzctl stop 102
# vzctl set 102 --features nfs:on --save # vzctl start 102

Bạn có thể dùng lệnh sau để kiểm tra module nfs đã được load bên trong container hay chưa

Code:

# cat /proc/filesystems

Bước 3: Trong container, cài đặt các gói NFS client như sau

Code:

# yum install nfs-utils nfs-utils-lib rpcbind

Bước 4: Khởi động các dịch vụ nfs

Code:

# chkconfig rpcbind on
# /etc/init.d/rpcbind start
# chkconfig nfs on
# /etc/init.d/nfs start

Bước 5: Tiến hành mount đến thư mục /data đang được share trên NFS Server

Tạo thư mục /data trên máy NFS client

Code:

# mkdir /data

Tiến hành mount thư mục /data của NFS Server vào thư mục /data của NFS client

Code:

mount 192.168.100.1:/data /data

Bước 6: Tạo fstab

Code:

192.168.100.1:/data       /data      nfs auto,nofail,noatime,nolock,intr,tcp,actimeo=1800 0 0