The Future

Stay hungry,stay foolish.


  • 首页

  • 归档125

  • 分类15

  • 标签63

  • 干货

  • 关于

  • 搜索

Apache Flink 零基础入门(一):基础概念解析

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

一、Apache Flink 的定义、架构及原理

Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。

阅读全文 »

图数据库洞察数据间的关联价值

发表于 2021-01-19 | 分类于 图数据库 | 评论数: | 阅读次数:

大家好,我是吴敏。今天分享一个叫图数据库的技术产品。

01、 什么是图和图数据库

阅读全文 »

Flink知识图谱

发表于 2021-01-18 | 分类于 大数据 | 评论数: | 阅读次数:

社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

阅读全文 »

2019_Flink社区年度文章合集

发表于 2021-01-18 | 分类于 大数据 | 评论数: | 阅读次数:

在过去的一年中 Apache Flink 社区官方微信公众号为小伙伴们推送了大数据及 Flink 相关活动资讯 46 篇;Apache Flink 的系列基础教程 19 篇、企业级应用实践 20+、实操系列以及实时数仓、风控、CEP 等典型应用场景及技术干货 50+。

阅读全文 »

正则表达式学习

发表于 2021-01-18 | 分类于 Java | 评论数: | 阅读次数:

img

阅读全文 »

linux netcat 命令——网络工具中的瑞士军刀

发表于 2021-01-18 | 分类于 Linux | 评论数: | 阅读次数:

netcat是网络工具中的瑞士军刀,它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向,你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。

阅读全文 »

应对Hadoop集群数据疯长,这里祭出了4个治理对策!

发表于 2021-01-15 | 分类于 大数据 | 评论数: | 阅读次数:

一、背景

在目前规模比较大的互联网公司中,总数据量能达到10PB甚至几十PB数据量的公司,我认为中国已经有超过了20家了。而在这些公司中,也有很多家公司的日数据增长达到100TB+了。

阅读全文 »

Spark-聚类分析-出租车案例

发表于 2021-01-14 | 更新于 2021-01-15 | 分类于 大数据 | 评论数: | 阅读次数:

通过分析出租车数据,然后使用KMeans对经纬度进行聚类,然后按照(类别,时间)进行分类,再统计每个类别每个时段的次数。

阅读全文 »

Spark项目智慧城市车流量分析项目之固定卡口下车辆的行车轨迹

发表于 2021-01-14 | 更新于 2021-01-15 | 分类于 大数据 | 评论数: | 阅读次数:

数据集

  • 日期 卡口ID 摄像头编号 车牌号 拍摄时间
  • date monitor_id camera_id car action_time
    车速 道路ID 区域ID
    speed road_id area_id
阅读全文 »

基于WIFI探针的商业大数据分析系统(hadoop+spark+hbase+bootstrap+echarts)

发表于 2021-01-12 | 更新于 2021-01-15 | 分类于 大数据 | 评论数: | 阅读次数:

简介

服务端主要接收探针每三秒发送一次的数据,于接收端搭建Tomcat纵向集群,有效处理1300台以上的并发请求,将数据保存到数据分析平台待用,文件系统使用HDFS分布式文件系统。数据分析平台搭建于Linux系统,采用Spark&Habse的分布式搭建模式,后台数据分析程序在3秒之内分析完实时数据,传至前台可视化,实现实时数据的展示。
作品较好的完成包括客流量、入店量、入店率、来访周期、新老顾客、顾客活跃度、驻店时长、来访周期、跳出率、深访率在内的九大基础指标的分析。并于前端页面上注重直观展示数据的变化趋势,数据分析所涉及的范围根据店铺具体情况支持自定义阕值。
对于探针功能的拓展:探针绑定短信模块,后台实现短信接口,从而对探针实现远程控制与状态监控。针对不同店铺大小推出小店铺探针,中性店铺三探针,大型店铺多探针模式,中型以上店铺支持定位,从而进一步分析呈现区域热点。
此外作品特色的添加了分析预测的功能,并基于分析预测功能结合历史数据智能的为商家提供商业决策支持,其中包括营销方案的推送,店铺排名波动的提醒功能。

阅读全文 »
1234…13
Daniel X

Daniel X

專注于大数据技術,分享干货
125 日志
15 分类
63 标签
GitHub E-mail Weibo QQ
粤ICP备18110871号 © 2017 – 2021 dudefu
0%