Option1: DMS Migration Lab

DMS Migration Lab

Steps

  1. Giới thiệu
  2. Tạo Subnet Group
  3. Tạo Replication Instance
  4. Tạo DMS Source Endpoint
  5. Tạo Target Endpoint
  6. Tạo 1 task để bắt đầu full copy
  7. Tạo CDC endpoint để replicate thay đổi
  8. Tạo task để replicate liên tục

Giới thiệu

Bài lab này sẽ giúp bạn hiểu rõ hơn về AWS Database Migration Service(AWS DMS). Bạn sẽ di chuyển dữ liệu từ cơ sở dữ liệu Amazon Relational Database Service (Amazon RDS) Postgres hiện có sang Amazon Simple Storage Service (Amazon S3) bucket.

DeployCF

Link GitHub của lab - https://github.com/aws-samples/data-engineering-for-aws-immersion-day

Tạo Subnet group

  1. Tại DMS console , chọn Subnet Groups và Create subnet group. DeployCF
  • Tại Name textbox: dms-lab-subnet-grp
  • Description textbox: Replication instance for production data system
  • VPC: Chọn *-dmslstudv1
  • Chọn subnets và click Add

DeployCF

  1. Chọn Create subnet group

  2. Tại DMS console, subnet group displays Complete DeployCF

Tạo Replication Instance

  1. Tại DMS console, chọn Replication instances để tạo replication instance mới. DeployCF

  • Name: DMS-Replication-Instance

  • Description: DMS Replication Instance

  • Instance class: dms.t3.medium

  • Chọn engine version mới nhất

  • High Availability: Dev or test workload (Single-AZ)

  • VPC: dmslstudv1 DeployCF

  • Chọn Advanced để mở rộng

  • Chọn security group là sgdefault DeployCF

  1. Tất cả các trường còn lại mặc định

  2. DMS console hiển thị trạng thái tạo instance DeployCF

Tạo MDS Source Endpoint

  1. Tại DMS console, chọn Endpoints để tạo source Endpoint DeployCF

  • Chọn Source Endpoint

  • Endpoint identifier: rds-source-endpoint

  • Source engine: PostgreSQL

  • Access to Endpoint database: Provide access information manually

  • Server name: RDS-Server-Name DeployCF

  • Port: 5432

  • SSL mode: none

  • User name: adminuser

  • Password: admin123

  • Database name: sportstickets

  1. Tất cả còn lại để mặc định, rồi click tạo endpoint. Khi sẵn sàng, trạng thái sẽ chuyển sang active
  2. Kiểm tra lại replication instance

DeployCF

  1. Chọn source endpoint và nhấn Test connection

DeployCF

  1. Click Run test. Nếu thành công sẽ có thông báo “Connection tested successfully” xuất hiện.

DeployCF

Tạo Target Endpoint

  1. Tại DMS console, Chọn Endpoint để tạo target Endpoint DeployCF
  • Endpoint type: Target endpoint
  • Endpoint identifier: s3-target-endpoint
  • Target engine: Amazon S3
  • Service access role ARN: Copy và Past DMSLabRoleS3 ARN
  • Bucket name: paste S3 Bucket Name
  • Bucket folder: tickets

DeployCF

  • Mở rộng phần: Endpoint settings

  • Chọn Use endpoint connection checkbox, điền addColumnName=true trong Extra connection attributes box DeployCF

  • Mở rộng Test endpoint connection (optional). chọn VPC.

  • Chọn Run test. Bước này kết nối với source database. Nếu thành công sẽ hiển thị thông báo “Connection tested successfully” DeployCF

  1. Chọn Create Endpoint. Khi đã sẵn sàng, trạng thái endpoint sẽ chuyển thành active

Tạo task initial full copy

  1. Tại DMS console, chọn Database Migration Tasks. DeployCF

  2. Chọn Create Task.

  • Task name: dms-full-dump-task
  • Chọn Replication instance
  • Chọn Source endpoint
  • Chọn Target endpoint
  • Migration type: Migrate existing data.

DeployCF

  • Mở rộng Task Settings
  • Chọn Turn on CloudWatch logs checkbox

DeployCF

  • Tại Table Mappings
  • Chọn Add new selection rule và chọn Enter a Schema tại Schema field
  • Tại Source name: dms_sample
  • Để tất cả field còn lại mặc định. DeployCF

  1. Chọn Create task. Task sẽ được tạo và tự động start

  2. Chọn task và xem chi tiết. DeployCF

DeployCF

  1. Khi hoàn thành, task console hiển thị 100% progress DeployCF

  2. Mở S3 console và xem data được copy bởi DMS DeployCF

  3. Review data bằng S3 select

DeployCF

DeployCF

DeployCF

Tạo CDC endpoint để replicate các thay đổi diễn ra

  1. Tại DMS console, chọn Endpoints DeployCF

  2. Nhấn Create endpoint

  • Endpoint type: Target

  • Endpoint identifier: rds-cdc-endpoint

  • Target engine: Amazon S3

  • Service Access Role ARN: DMSLabRoleS3

  • Bucket name: Chọn S3 Bucketname

  • Bucket folder: cdc DeployCF

  • Mở rộng phần Endpoint settings

  • Tích vào checkbox Use endpoint connection attributes và nhập addColumnName=true. Thuộc tính này bao gồm tên cột từ dữ liệu nguồn. DeployCF

  • Mở rộng phần Test endpoint connection (optional), chọn VPC name.

  • Click Run test. Nếu thành công sẽ hiển thị thông báo “Connection tested successfully”.

  1. Chọn Create endpoint DeployCF

  2. Khi sẵn sàng, endpoint status chuyển sang active.

DeployCF

Tạo task replication liên tục.

  1. Tại DMS console, chọn Database Migration Tasks DeployCF
  2. Chọn Create Task
  • Task Identifier: cdctask
  • Chọn Replication instance
  • Chọn Source endpoint
  • Chọn Target endpoint: rds-cdc-endpoint
  • Chọn Migration type: Replicate data changes only.

DeployCF

  • Trong Task Settings, Chọn Turn on CloudWatch logs checkbox

DeployCF

  • Chuyển đến Table Mappings

  • Chọn ** Add new selection rule ** và Chọn Enter a Schema tại Schema field

  • Tại Source name, chọn dms_sample. Tất cả còn lại để mặc định DeployCF

  1. Chọn Create task. Task sẽ được tạo và tự động chạy. Chúng ta có thể thấy trạng thái là Replication ongoing. DeployCF

  2. Đợi 5 đến 10 phút để CDC data ánh xạ RDS postgres database

  3. Chọn CDC task để xem chi tiết, xem phần Table statistics: DeployCF

  4. Mở S3 console và xem CDC data được copied từ DMS

DeployCF

  1. Chọn 1 file và sử dụng S3 Select

DeployCF

DeployCF

DeployCF