一、Apache Flink 的定义、架构及原理
Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。
在过去的一年中 Apache Flink 社区官方微信公众号为小伙伴们推送了大数据及 Flink 相关活动资讯 46 篇;Apache Flink 的系列基础教程 19 篇、企业级应用实践 20+、实操系列以及实时数仓、风控、CEP 等典型应用场景及技术干货 50+。
netcat是网络工具中的瑞士军刀,它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向,你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。
数据集
- 日期 卡口ID 摄像头编号 车牌号 拍摄时间
- date monitor_id camera_id car action_time
车速 道路ID 区域ID
speed road_id area_id
服务端主要接收探针每三秒发送一次的数据,于接收端搭建Tomcat纵向集群,有效处理1300台以上的并发请求,将数据保存到数据分析平台待用,文件系统使用HDFS分布式文件系统。数据分析平台搭建于Linux系统,采用Spark&Habse的分布式搭建模式,后台数据分析程序在3秒之内分析完实时数据,传至前台可视化,实现实时数据的展示。
作品较好的完成包括客流量、入店量、入店率、来访周期、新老顾客、顾客活跃度、驻店时长、来访周期、跳出率、深访率在内的九大基础指标的分析。并于前端页面上注重直观展示数据的变化趋势,数据分析所涉及的范围根据店铺具体情况支持自定义阕值。
对于探针功能的拓展:探针绑定短信模块,后台实现短信接口,从而对探针实现远程控制与状态监控。针对不同店铺大小推出小店铺探针,中性店铺三探针,大型店铺多探针模式,中型以上店铺支持定位,从而进一步分析呈现区域热点。
此外作品特色的添加了分析预测的功能,并基于分析预测功能结合历史数据智能的为商家提供商业决策支持,其中包括营销方案的推送,店铺排名波动的提醒功能。