Import data từ Google Drive

Tài liệu hướng dẫn bạn nắm thao tác cách import một danh sách các files từ 1 tệp có trên Google Drive vào hệ thống PangoCDP.

Bước 1: Tạo một kết nối đến Google Drive

Tạo theo doc hướng dẫn

Bước 2: Tạo 1 dataset

2.1/ Tạo một Dataset trên PangoCDP theo các bước:

• Module CDP

• Data Ingestion

• Dataset

• File Form Your Cloud

• Chọn Model mà user cần đẩy data vào

• Chọn “Select a file”

• Chọn Cloud Storage Service Provider là Google Drive

• Chọn kết nối mong muốn

• Chọn file sẽ được đẩy data vào model và sync data để Pango CDP cập nhật data trên Google Drive nếu ở đó chưa có records nào

• Chọn “Select” để chọn file; Lưu ý để file được hệ thống đọc được thì phải có định dạng như: *.xlsx và *.csv

• Chọn “View Sample” để xem data mẫu có trong file nếu đã đúng chọn “Next”

• Điền những thông tin cần thiết rồi chọn “Create & Close”

• Mapping những trường data tương ứng giữa file và model bằng cách chọn icon cài đặt

2.2/ Ingest data vào Pango CDP từ Clould Folder (Google Drive)

• Chọn "Ingest data form a folder into CDP"

• Chọn folder trên Drive

• Chọn cloud storage

• Chọn kết nối

• Chọn folder chứa files

• Chọn tên file theo cấu trúc

• Cấu hình tiếp tục những mục đánh số rồi Save lại

• Đặt lịch sync Schedual (Now & Schedule)

Lưu ý: Tất cả những file cần import vào hệ thống cần tuân theo những quy luật sau:

• Hệ thống chỉ hổ trợ 2 định dạng là: *.csv và *.xlsx

• Đặt tên file trên Drive theo cấu trúc như: name_YYYYMMDD_text.xlsx Vd: như hình trên đang chọn matching file name là “hot_sale” thì tên những files ở Drive sẽ là hot_sale_20231206_01.xlsx; hot_sale_20231206_02.xlsx; hot_sale_20231207_01.xlsx;....

  >> Ngày tháng đặt ở đây là quan trọng vì sẽ ảnh hưởng đến khả năng matching của hệ thống và Drive

Các thông tin ý nghĩa

• 1/ Tên file đã có đề cập ở trên

• 2/ Số dòng tối đa hệ thống sẽ sync về model; Nếu lấy tất cả record thì chọn “-1” ở đó

• 3/ Ref ID dùng để import vào mode có thể chọn 1 trường của dataset (lưu ý trường này phải là duy nhất ở các record) hoặc chọn cho hệ thống tự tạo refID bằng cách check “Auto generate”

• 4/ Tags quản lý

• 5/ Tên nguồn data

• 6/ Mức độ ưu tiên khi có job import vào model; có 3 mức: cao, vừa và thấp, thường sẽ chọn mức giữa

• 7/ Chọn loại cập nhật, có 4 loại:

Ignore if exist: bỏ qua những records đã có refID tồn tại trong model và import những records mới

Override: cho phép ghi đè toàn bộ trường từ bảng data import vào model nếu có cùng refID

Update if New Value has Value: Chỉ cập nhật records nếu trường từ bảng data import có giá trị mới so với giá trị cũ nếu records đó có cùng refID

Update if Old Value no Value: Chỉ cập nhật records nếu trường từ bảng Model cũ (Model được import) không có giá trị nếu records đó có cùng refID

• Chọn Trigger Now: sync lần đầu tiên và ngay lập tức tại thời điểm sync

• Chọn Trigger Schedule: đặt lịch thời gian sync cố định theo yêu cầu

Chọn look back time rồi chọn “Config Schedule” để cấu hình lịch chạy

Vd: User cấu hình mỗi ngày hệ thống sẽ lấy data import vào 8:00 và 20:00 vào mỗi ngày và có look back là 13 tiếng để đảm bảo không sót file nào khi chạy

Valid Range Time là thời gian hiệu lực của timer vừa cấu hình. Nếu qua thời gian chọn thì cấu hình này không còn hiệu lực nữa.

2.3/ Kiểm tra và xem lại file dữ liệu đã sync

• Chọn View Task

• Chọn History

Lưu ý:

Những files có trong History sẽ không được hệ thống trigger nữa

Có thể xóa files trong History nếu muốn hệ thống trigger lại file đó 1 lần nữa

Chỉ có 1 chiều sync dữ liệu từ Google Drive về PangoCDP, không có chiều ngược lại từ PangoCDP lên Google Drive