阿里云maxcopute+dataworks+datav 实践

阿里云 大数据

离线仓库架构
本例架构图

电商网站搭建

ECS 镜像:
Magento 开源电子商务系统(含演示数据)｜LNMP （Centos8)
公网IP
RDS 白名单加上ECS，
创建数据库magento utf8、创建用户dbusr，给读写权限
启动后访问 公网IP进行Magento搭建 输入db信息 管理员的信息 其他都下一步就行，安装完毕之后 注册个普通用户登陆上去

#原装的有点问题 需要执行下面的命令搞定下
chown nginx: -R /var/lib/php/
systemctl disable dnf-automatic.timer
systemctl stop dnf-automatic.timer

qiut登陆ok

Dataworks Maxcompute

工作空间

dataworks 中创建工作空间 选择引擎的时候跳到maccompute 按量服务购买

选择引擎 引擎详情

数据集成 创建数据源

dataworks 控制台 进入数据集成

将如下 ip加道rds白名单中 dataworks 需要直接访问库

ip加道rds白名单

在数据源中新增一个数据源（该数据源为电商业务数据库）

填写数据源信息并测试联通性通过再完成
将dataworks所在地域的ip列表 加到RDS白名单

数据开发

数据同步

进入数据开发
右键业务流程 -新建业务流程
拖入离线同步节点 然后 双击该节点
配置业务库为源 ODPS默认库位去向(需要点击以减生成目标表 来生成新表)
修改表名
点击运行
点击确定
验证数据是否同步过来

数据处理

新建表ADS-增加最终需要的字段并保存
添加中文名并提交到生产
拖入ODPSsql 修改名称 并关联第一个node，双击进入

填入如下sql

truncate table sales_datav2;
insert into sales_datav2
select  sum(total_qty_ordered) AS total_quantity,
 sum(grand_total) AS total_sales
from ods_sales_order2
where ds=${bizdate};

设置参数
保存-运行-查看数据

数据服务 Lightning数据源API开发

进入数据服务
新增数据源 新增postgreql
odps.max_xxt 为空间名
jdbc:postgresql://lightning.cn-beijing.maxcompute.aliyun-inc.com/odps.max_qst
JDBCURL 不同地域的endpoint 参见
https://help.aliyun.com/document_detail/89754.html
新增业务流程
创建业务流程-如果没有API分组去API网关创建 创建API分组
绑定域名 生成API
API元数据
API内容对应哪个表的哪个字段
返回分页 保存并测试
测试成功
点击发布
发布后可在公网测试访问

curl -i --get --include 'http://abc.aaa.com/abctest?pageNum=1&pageSize=10' -H 'Authorization:APPCODE 12'
abc.aaa.com 为之前绑定的域名 abctest为之前的APIPath
12 为下图中获取的AppCode

APPcode、key、secret 获取
从具体API中的自定义示例代码中获取

datav 大屏展示

datav新增数据源
修改大屏展示
配置数据源-过滤器-自动更新请求-value
设置数据源具体内容
过滤器 api返回及过滤后的结果
预览和发布 发布

由于我测试api使用的是http ，datav在调用api的时候 是从前台嗲用 如果 datav本身是https 调http的api是调不通的 所以 把datav改成http访问才能调通http的api

购买测试

原来销售量为6 随便添加一个商品到购物车
点击购物车及结账
下一步&下单
数据开发中运行 业务员流程 对号显示执行ok
变成了7

自动同步处理

节点1自动调度配置
节点2自动调度配置
业务流程提交