Team analytics | Mind Map

Analytics

web analytics(tudv, cuongnm)

bổ sung thêm các mertrics

video analytics(longnc, hieuvm)

bổ sung thêm các mertrics

d

app analytics(tudv, longnc)

log bị lặp, thiếu, và tự bị bỏ đi sau mỗi lần upcode

đo kiểm giữa 2 hệ thống logging và backend service không đồng nhất(kinghub event)

cms api(tudv, kiennk)

sử dụng api không đúng mục đích => cấp api phù hợp vs nhu cầu mỗi bên

pr api(kiennk)

item optimize api( thangtm)

report for sale

pre analytics theo tổng quan, để phục vụ khi có yêu cầu nhanh nhất

Problem

user report

tìm hiểu giải pháp và database phù hợp bài toán

data phân mảnh phục vụ riêng từng service

gom nhóm theo chức năng để tổ chức theo các khối dữ liệu realtime và batchđể các service query

multi dimension

hbase không phù hợp => chuyển lên DRUID

storage trên cloud => chập chờn

setup hdfs, hbase, druid trên 2 DC, 1 vật lý và 1 cloud backup cho nhau

realtime dashboard

hiện tại trên aerospike, chưa ha được vs 2 DC, metrics khó mở rộng và k dùng được nhiều mục dích khác => chuyển sang druid

streaming data

lưu tmp data trên aerospike và tính toán trên các server khác=> using flink để tối ưu

update batch(Spark)

Kiểm soát việc update batch với mỗi version data, để tránh việc update dữ liệu không đồng nhất giữa các report => sai lệch số liệu giữa các report

job nhiều, đang quản lý bằng file docs => dựng tool quản lý crontab trên cụm, để có thể tiến hành bật tắt và thêm HA

Tính tiền

Sub Topic

Kinghub

user info

token

gen token

transfer token

AI

inventory forecasting(thieunv)

dữ liệu thiếu ổn định, phụ thuộc sự kiện

=> điều chỉnh dữ liệu dự báo theo ngày

model vẫn có thể tối ưu, thay thế

=> tìm hiểu và thử nghiệm các model mới

video content id(daipt)

tình trạng nhận nhầm video

=> nghiên cứu chống nhận nhầm bằng thống kê

cần tối ưu độ lớn index

=> benchmark hiệu năng, thử nghiệm index với các độ lớn khác nhau

thiếu tài nguyên(server) để triển khai

=> xin thêm khi cần

ocr(ducnt)

detect word

không có dữ liệu huấn luyện tiếng Việt

=> dùng dữ liệu tiếng Anh thay thế

recognition

không có dữ liệu đánh giá

=> tự sinh

nsfw image classifier(ducnt)

không có dữ liệu đánh giá

=> crawl và đánh nhãn