Data warehouse: hệ thống lưu trữ dữ liệu kinh doanh 4.0

Tối ưu dữ liệu

Data warehouse: hệ thống lưu trữ dữ liệu kinh doanh 4.0

12/08/2021

Các nhà quản lý thường muốn có thật nhiều góc nhìn khác nhau về một vấn đề nào đó trước khi đưa ra quyết định, các góc nhìn này cần số liệu từ nhiều nguồn khác nhau. Data warehouse tổng hợp dữ liệu từ nhiều nguồn khác nhau tập trung về một nơi, giúp cho data luôn luôn sẵn sàng cho nhà quản trị với chất lượng cao nhất, thời gian tìm kiếm thấp nhất, và đầy đủ nhất.

Nội dung

Data warehouse là gì?

Data Warehouse hay kho dữ liệu doanh nghiệp là một hệ thống được sử dụng để báo cáo và phân tích dữ liệu, được coi là một thành phần cốt lõi của trí tuệ doanh nghiệp, thu thập dữ liệu tích hợp từ nhiều nguồn khác nhau. Các dữ liệu được lưu trữ đôi khi phải trải qua quá trình trích xuất, chuyển đổi và xử lý qua quy trình ETL (quy trình trích xuất) trước khi nhập vào kho lưu trữ.

Sự khác biệt giữa Data Warehouse và Data Lake?

su-khac-biet-giua-data-warehouse-va-data-lake

Data warehouse biến đổi và phân loại dữ liệu từ các nguồn khác nhau của doanh nghiệp, dữ liệu này sẵn sàng phục vụ cho mục đích báo cáo và phân tích.

Data lake lưu trữ dữ liệu chưa qua phân tích và ở dạng thô, cần được xử lý thêm khi có nhu cầu sử dụng.

Mỗi công nghệ đều có phương pháp xử lý dữ liệu riêng và cung cấp kết quả khác nhau:

1. Các loại dữ liệu

Data warehouse gồm các dữ liệu được trích từ hệ thống giao dịch và các số liệu định lượng để hỗ trợ quá trình phân tích hiệu suất và tình trạng kinh doanh. Data warehouse cần một mô hình dữ liệu có cấu trúc rõ ràng giúp xác định các dữ liệu được lưu vào cũng như loại bỏ các dữ liệu không cần thiết.

Trong Data lake, tất cả các loại dữ liệu từ các nguồn của hệ thống đều được lưu trữ. Bao gồm các nguồn dữ liệu có thể bị từ chối lưu trữ trong Data warehouse, chẳng hạn như nhật ký web server, dữ liệu cảm biến, hoạt động trên mạng xã hội, văn bản và hình ảnh,… Data lake thậm chí có thể lưu trữ các dữ liệu hiện không được sử dụng nhưng lại có thể cần thiết trong tương lai.

2. Hình thức Schema

Data warehouse áp dụng phương pháp “Schema on Write”, nghĩa là mô hình được thiết kế cho mục đích chính là cung cấp báo cáo. Quá trình này đòi hỏi đầu tư thời gian đáng kể để phân tích các nguồn dữ liệu, thấu hiểu các quy trình nghiệp vụ, phân loại dữ liệu, và hình thành một hệ thống xác định để lưu trữ dữ liệu.

Data lake giữ dữ liệu ở trạng thái nguyên bản; khi có nhu cầu sử dụng dữ liệu để giải quyết các vấn đề kinh doanh, chỉ có những dữ liệu liên quan được chọn lọc và phân tích để đưa ra đáp án. Cách tiếp cận này được gọi là “Schema on Read”, giúp tiết kiệm thời gian và chi phí cho doanh nghiệp.

3. Tính linh hoạt

Vì một Data warehouse là một kho dữ liệu có cấu trúc chặt chẽ nên việc thay đổi cấu trúc theo nhu cầu của công ty rất tốn kém. Quá trình thay đổi đòi hỏi nhiều quy trình phức tạp, mất thời gian và tốn kém.

Mặt khác, Data lake lại tận dụng tính linh hoạt của dữ liệu, bởi vì dữ liệu được lưu trữ ở dạng thô và luôn dễ dàng để truy cập, cho phép tái cấu trúc mà không có trở ngại nào.

4. Người dùng

Data Warehouse vốn quen thuộc với các doanh nghiệp và người dùng, dễ dàng đáp ứng nhu cầu như lập báo cáo hiệu suất, số liệu, cũng như các thống kê dữ liệu. Với cấu trúc chặt chẽ, dễ sử dụng và chủ yếu dùng để trả lời các truy vấn của người dùng, Data warehouse đáp ứng tốt nhu cầu trong quá trình hoạt động của doanh nghiệp.

Data lake phù hợp hơn với những người dùng thực hiện phân tích chuyên sâu như các data scientists. Với nhiều loại dữ liệu đa dạng trong Data Lake, họ có khả năng kết hợp nhiều loại dữ liệu khác nhau và đưa ra các câu hỏi hoàn toàn mới cần được giải đáp.

Data warehouse dường như là sự lựa chọn tốt hơn cho các doanh nghiệp muốn tận dụng dữ liệu.

Trong khi đó, Data Lake cho phép người dùng khai thác tối đa các khả năng mà dữ liệu có thể mang lại, tuy nhiên, đây có thể là một nhiệm vụ khó khăn cho các người dùng thông thường với kỹ năng không đủ chuyên sâu.

Lợi ích chính của Data Warehouse trong Marketing và phân tích

Loi-ich-cua-data-warehouse

Tạo ra nguồn dữ liệu tập trung

DWH có tác dụng giảm bớt khó khăn trong quá trình lấy thông tin bằng cách tập hợp thành nguồn dữ liệu duy nhất. Giúp nhà tiếp thị xử lý các đo lường quan trọng như CAC, ROI, ROAS.

Dễ sử dụng dữ liệu

Chỉ bằng vài cú nhấp chuột, bạn có thể có được thông tin cần thiết từ DWH.

Khả năng phân tích

Hệ thống DWH có thể xử lý yêu cầu phức tạp chỉ trong vài giây rồi đưa ra dữ liệu cần thiết cho báo cáo của bạn theo thời gian thực mà không cần cấu hình thêm.

Toàn quyền sở hữu lịch sử Data

Thay vì lệ thuộc vào các nền tảng khác, DWH cho phép bảo mật thông tin từ các kênh ở một nơi duy nhất.

Khả năng toàn quyền truy cập và lịch sử kho dữ liệu marketing, giúp nhà tiếp thị lấy được chính xác những thông tin cần thiết phục vụ cho chiến dịch trong tương lai.

Không mất nhiều chi phí bảo trì mà vẫn đảm bảo độ linh hoạt thông tin

Với hệ thống kho lưu trữ dữ liệu đám mây, thì chi phí lưu trữ là khá rẻ, và hoàn toàn có đủ khả năng lưu trữ lớn.

Kho dữ liệu lưu trữ đám mây cung không yêu cầu nhiều chi phí bảo trì, vì nhà cung cấp sẽ đảm nhận việc bảo trì đó, bạn chỉ cần trả cho tài nguyên sử dụng.

Những bất lợi có thể với Data Warehouse trong Marketing và phân tích?

Bất lợi với team marketing

Dù khá dễ dàng đồng bộ dữ liệu vào DWH, nhưng không phải marketer nào cũng biết vết truy vấn dữ liệu trong SQL để có được thông tin cần thiết để phục vụ cho báo cáo, phân tích, trực quan hóa dữ liệu,… nên sẽ phải phụ thuộc vào đội phân tích để có thông tin cần thiết.

Bất lợi với team phân tích

Việc team marketing cần phụ thuộc vào đội phân tích để lấy dữ liệu sẽ làm giảm hiệu suất của đội phân tích.

Ví dụ, khi nhà tiếp thị sử dụng công cụ phân tích như bảng tính, hoặc nền tảng trực quan hóa dữ liệu, nhưng lại không thể tự kết nối dữ liệu, khi đó, đội phân tích trở thành mấu chốt quan trọng trong việc đưa ra quyết định.

Khi nào nên bắt đầu chuyển từ dữ liệu Marketing vào một Warehouse?

1. Khi doanh nghiệp đang tăng quy mô hoặc phức tạp trong vận hành

Khi những nền tảng cũ không còn phù hợp, bởi mô hình kinh doanh mới vượt quá khả năng lưu trữ dữ liệu theo cách hiện tại, thì việc chuyển sang Data warehouse sẽ giúp giảm bớt khó khăn trong việc:

Tải chậm, gặp sự cố, không đủ công cụ phân tích
Thay đổi về mô hình kinh doanh (ví dụ: từ bán giao dịch sang kinh doanh theo hình thức đăng ký)
Nhiều bên cần truy cập vào kho dữ liệu
Ngân sách quảng cáo ngày càng tăng, đòi hỏi hiểu rõ hơn về lợi nhuận sinh ra từ quảng cáo (ROAS)
Tăng trưởng trong kinh doanh kéo theo mở rộng lượng data vì vậy cần chăm sóc khách hàng chuyên nghiệp hơn.

2. Cần hiểu rõ hơn về ROI, ROAS và tiếp thị phân bổ

Một trong những lý do phổ biến khác để bắt đầu DWH là để đánh giá hiệu quả của các chiến dịch marketing, khi có sự thay đổi như:

Thay đổi trong đường lối lãnh đạo doanh nghiệp (kỹ năng quản trị nhân sự)
Tăng kỳ vọng từ giám đốc hoặc chủ đầu tư
Suy thoái kinh tế, hay thay đổi trong thị trường

Ví dụ, tác động của Covid 19 vào đầu năm 2020, khiến các doanh nghiệp SMB đặt ra vấn đề thắt chặt ngân sách trước diễn biến khôn lường của đại dịch toàn cầu, không phải là cắt giảm toàn bộ hoạt động marketing, mà là phân bổ nguồn lực để mang lại lợi nhuận cao nhất. Từ đó, đặt ra bài toán để xử lý các vấn đề về:

Cần cắt giảm chi
Cần hiểu rõ hơn về ROI

Làm thế nào để lựa chọn một data warehouse phù hợp với doanh nghiệp của bạn?

Một số giải pháp data warehouse phổ biến cho tiếp thị bao gồm:

Google BigQuery: với tích hợp các nền tảng của Google như Google Analytics, Google Ads, BigQuery có lẽ là giải pháp data warehouse phổ biến nhất cho mục đích tiếp thị
Amazon Redshift: chạy trên AWS, cực kỳ phổ biến cho các nhà tiếp thị nhờ tích hợp thuận tiện với công cụ BI như Tableau, Yellowfin, Power BI
Snowflake: cung cấp kho dữ liệu trực quan và có độ phủ rộng. Với cấu hình đơn giản, không cần bảo trì thêm, có thể chạy trên nền tảng đám mây hiện có.

Làm thế nào để bắt đầu với marketing data warehousing?

Cach-bat-dau-voi-data-warehouse

1. Xây dựng kho dữ liệu tiếp thị

Bước 1: Xác định nguồn dữ liệu muốn lấy thông tin: nền tảng quảng cáo số (Facebook, Google, Linkedin, Tik tok,…), công cụ phân tích web (Adobe Analytics, Google Analytics…), hệ thống CRM (Salesforce, Hubspot), dữ liệu khách hàng (Segment, Expona), nền tảng tự động hóa tiếp thị (Hubspot, Mailchimp, Klaviyo), nền tảng thương mại điện tử và thanh toán (Shopify, Stripe, Paypal), nền tảng mạng xã hội (Instagram, Twitter, Linkedin, Facebook)
Bước 2: Chọn giải pháp Data warehouse phù hợp
Bước 3: Chọn lớp phân tích và báo cáo

2. Mô hình hóa dữ liệu và thiết lập đường truyền dữ liệu

Cần xác định rõ bạn muốn tự tạo hệ thống data riêng, hay thuê nhà cung cấp bên ngoài xây dựng nó, hay dùng hệ thống dữ liệu được quản lý hoàn toàn.

Sau đó, cần mô hình hóa dữ liệu, bằng việc xác định data bạn muốn chuyển sang DWH và lược đồ tương ứng. Ngoài ra cần có khung thời gian cho quá trình chuyển đổi, đảm bảo thông tin trong DWH sẽ sạch, nhất quán, dễ sử dụng nhất có thể. Tiếp đến, dù bạn tự xây dựng hay thuê ngoài kết nối API, có thể mất vài tháng tuỳ vào điều kiện thực tế.

3. Phân tích và báo cáo

Khi đã có kho dữ liệu trong Data Warehouse, cần tạo dashboard, và báo cáo để kết nối data với team marketing, để nâng cao hiệu suất của team phân tích.

Có thể thấy Data Warehouse đóng vai trò then chốt trong việc tập hợp và xử lý dữ liệu thô trong doanh nghiệp, giúp hỗ trợ đắc lực trong việc đưa ra quyết định tiếp thị hiệu quả.

Cập nhật các bài viết kiến thức về marketing và dữ liệu khách hàng tại đây