Data Ingestion

This API is used to ingest data into PangoCDP

This API is used to ingest data into PangoCDP and requires Authentication

API

https://svc.mydatalakes.com/dhub-i/api/v1.0/ingest

Method

POST

Request Parameters

initData: [true, false]: Is used to determine the data in init stage or not (default=false)

payload

{
    "objectType":"OBJECT_TYPE",
    "source":"SOURCE_NAME",
    "jeConfigId":null,
    "jeEventKey":null,
    "entries":[
        { ENTITY_OBJECT }
    ],
    "ignoredUpdateCfs":[
       "customField01", "customFieldLong03"
    ]
}

Headers

Content-type: application/json

TOKEN: token

API_KEY: api_key

Headers

Name

Type

Required

Valid value / Description

Content-type

String

Yes

application/json

TOKEN

String

Yes

The token is created by calling the Authentication API

API_KEY

string

Yes

Api Key belongs to username

Request

Name

Type

Required

Valid value / Description

Example

objectType

String

Yes

Object Type. Valid value: OBJECT_TYPE

shopping-cart

source

String

The source where your data comes from.

CRM

jeConfigId

String

Journey Event Configuration ID.

Once you provide this value, Ingestion API will generate new Event data based on your given JE Id.

jeEventKey

String

Journey Event Configuration Key.

Once you provide this value, Ingestion API will generate new Event data based on your given JE KEY.

entries

Array

Yes

List of Objects following Object Type.

Max: 100 records / 1 request
Limit: [1- 50]
List of fields of each object type: ENTITY_OBJECT

[]

ignoredUpdateCfs

Array

List of custom fields that you don’t want to update to existing records.

Only apply to existing records.

This value is applied to ENTITY_OBJECT that has the tag: “SUPPORT_IGNORED_UPDATE_CFS”

[“customField01”]

Response

Type

Code

Example

Error

400

//ObjectType, Entity is missing
{
    "success": false,
    "errorCode": "MISSING_INFO",
    "message": "Invalid value of: objectType"
}
//Entity is empty
{
    "success": false,
    "requestId": "{REQUEST_ID}",
    "initData": false,
    "validRecords": 1,
    "invalidItems": 2,
    "errorCode": "MISSING_INFO",
    "invalidIds": [“Input_Id", “Input_Id2"],
    "message": "Invalid value of: entities, entity size [1-50]"
}
//Entity data is invalid
{
    "entity0": "Invalid value of: orderId",
    "entity1": "Invalid value of: orderStatus",
    "success": false,
    "errorCode": "MISSING_INFO",
    "message": "Some entities are invalid."
}

Error

401

{
    "success": false,
    "errorCode": "UNAUTHENTICATED",
    "message": null
}

Success

200

{
    "success": true
}

Payload Parameters:

Name

Type

Required

Valid value / Description

Example

objectType

String

Yes

Object Type value to determine Entity Object.

OBJECT_TYPE below

order

source

String

Yes

Source name that owns your data.

POS, Ecommerce,...

entries

List

Yes

This is a List of Entities.

Not null
Size: 1-50 entities

Entity Objects will be parsed based on objectType.

Please Refer to ENTITY_OBJECT tables

[ .. ]

Example

Payload Sample

{
    "objectType":"order",
    "source":"VTA",
    "entries":[
        {
            "orderId":"CDP_TEST_000002",
            "orderStatus":"Created",
            "customerId":"CU_000001",
            "customerName":"Nguyen Van A",
            "customerEmail":"vannguyen@gmail.com",
            "customerPhone":"0123456789",
            "createdBy":"user1",
            "createdAt":1584407426000,
            "updatedBy":null,
            "updatedAt":0,
            "recordStatus":"Active",
            "items":[
                {
                    "productSku":"SKU_0001",
                    "productName":"Product 1",
                    "price":150000,
                    "imageLink":"https://dma.mydatalakes.com/static/media/LogoCDP.24bbda4b.png",
                    "quantity":3
                }
            ],
            "customFieldTexts":{
                "customField01":"Value 1",
                "customField12":"Value 12"
            },
            "customFieldLongs":{
                "customFieldLong01":12,
                "customFieldLong12":3
            },
            "customFieldBooleans":{
                "customFieldBoolean01":true,
                "customFieldBoolean12":false
            },
            "customFieldDoubles":{
                "customFieldDouble01":12,
                "customFieldDouble12":3.6
            },
            "customFieldTimestamps":{
                "customFieldTimestamp01":12122121212121,
                "customFieldTimestamp12":12122121212121
            },
            "customFieldListTexts":{
                "customFieldList01":[
                    "V1",
                    "V2"
                ],
                "customFieldList12":[
                    "V3"
                ]
            }
        }
    ]
}

Response

{
    "success": true
}

Hướng dẫn tạo jeConfigId và jeEventKey trên hệ thống PangoCDP

Bước 1: Truy cập vào Module Console, chọn Custom Model nhận Data Ingestion
Bước 2: Chọn tính năng Data Manipulation, chọn thẻ User Event
Bước 3: Sử dụng tính năng + Add và nhập đầy đủ thông tin (tuỳ theo nhu cầu sử dụng) để tạo một Event trên User Event.

Trường nhập

Ý nghĩa

Trigger when

Tạo một User Event khi có một Data trong Model được tạo ra hoặc thay đổi thông tin

Event Key

Tham số định danh duy nhất của Event. Hệ thống tự tạo, không nhập, không thay đổi

Event Name

Tên Event được tạo trên User Event Ví dụ: create_order, delivery_order

Event Time

Thời gian của Event được sinh ra khi: + Dữ liệu được tạo ra/cập nhật vào Model + Theo trường thời gian tạo ra/cập nhật được Ingest vào Model

Channel

Kênh ghi nhận dữ liệu: thông tin + None + Online + Offline