Import data từ Google Drive
Tài liệu hướng dẫn bạn nắm thao tác cách import một danh sách các files từ 1 tệp có trên Google Drive vào hệ thống PangoCDP.
Bước 1: Tạo một kết nối đến Google Drive
Tạo theo doc hướng dẫn
Bước 2: Tạo 1 dataset
2.1/ Tạo một Dataset trên PangoCDP theo các bước:
Truy cập Module CDP
Chọn Data Ingestion, nhấn vào tab Dataset, chọn File Form Your Cloud
Chọn Model mà user cần đẩy data vào
Chọn “Select a file”
Chọn Cloud Storage Service Provider là Google Drive
Chọn kết nối mong muốn
Chọn file sẽ được đẩy data vào model và sync data để Pango CDP cập nhật data trên Google Drive nếu ở đó chưa có records nào
Chọn “Select” để chọn file; Lưu ý để file được hệ thống đọc được thì phải có định dạng như: *.xlsx và *.csv
Chọn “View Sample” để xem data mẫu có trong file nếu đã đúng chọn “Next”
Điền những thông tin cần thiết rồi chọn “Create & Close”
Mapping những trường data tương ứng giữa file và model bằng cách chọn icon
2.2/ Ingest data vào Pango CDP từ Clould Folder (Google Drive)
Chọn "Ingest data form a folder into CDP"
Chọn folder trên Drive
Chọn cloud storage
Chọn kết nối
Chọn folder chứa files
Chọn tên file theo cấu trúc
Cấu hình tiếp tục những mục đánh số rồi Save lại
Đặt lịch sync Schedual (Now & Schedule)
Lưu ý: Tất cả những file cần import vào hệ thống cần tuân theo những quy luật sau:
Hệ thống chỉ hổ trợ 2 định dạng là: *.csv và *.xlsx
Đặt tên file trên Drive theo cấu trúc như: name_YYYYMMDD_text.xlsx Vd: như hình trên đang chọn matching file name là “hot_sale” thì tên những files ở Drive sẽ là hot_sale_20231206_01.xlsx; hot_sale_20231206_02.xlsx; hot_sale_20231207_01.xlsx;....
>> Ngày tháng đặt ở đây là quan trọng vì sẽ ảnh hưởng đến khả năng matching của hệ thống và Drive
Matching file name
Tên file đã có đề cập ở trên
To lines - Total x lines
Số dòng tối đa hệ thống sẽ sync về model; Nếu lấy tất cả record thì chọn “-1” ở đó
Id Field
Ref ID dùng để import vào mode có thể chọn 1 trường của dataset (lưu ý trường này phải là duy nhất ở các record) hoặc chọn cho hệ thống tự tạo refID bằng cách check “Auto generate”
Tags
Tags quản lý
Data source
Tên nguồn data
Priority
Mức độ ưu tiên khi có job import vào model; có 3 mức: cao, vừa và thấp, thường sẽ chọn mức Medium
Update Strategy
Chọn loại cập nhật, có 4 loại:
Ignore if exist: bỏ qua những records đã có refID tồn tại trong model và import những records mới
Override: cho phép ghi đè toàn bộ trường từ bảng data import vào model nếu có cùng refID
Update if New Value has Value: Chỉ cập nhật records nếu trường từ bảng data import có giá trị mới so với giá trị cũ nếu records đó có cùng refID
Update if Old Value no Value: Chỉ cập nhật records nếu trường từ bảng Model cũ (Model được import) không có giá trị nếu records đó có cùng refID
2.3/ Kiểm tra và xem lại file dữ liệu đã sync
Chọn View Task
Chọn History
Lưu ý:
Những files có trong History sẽ không được hệ thống trigger nữa
Có thể xóa files trong History nếu muốn hệ thống trigger lại file đó 1 lần nữa
Chỉ có 1 chiều sync dữ liệu từ Google Drive về PangoCDP, không có chiều ngược lại từ PangoCDP lên Google Drive
Last updated
Was this helpful?