业务内容

数据分析

大数据的统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于 MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。

在做数据分析处理时,一个作业往往不能实现我们业务目的,执行过程中通常会涉及多个作业任务,这些作业被按照逻辑连接起来,存在着相互依赖关系。比如某数仓的构建过程可能涉及以下几项内容:

  1. 1)首先要将原始数据读到HDFS
  2. 2)然后进行数据清洗
  3. 3)接着将数据存入Inceptor分区表
  4. 4)执行SQL语句进行分析,其中可能涉及多表间的关联,过滤等操作
  5. 5)最终将分析结果导入业务系统,以供之后调用查看

全面的数据分析能力:运维分析、趋势分析、行为预测分析、威胁分析、合规分析、关联分析、机器学习、OLAP分析等。

常用分析工具

工具 说明
Google Chart API 提供了一种非常完美的方式来可视化数据,提供了大量现成的图标类型,从简单的线图表到复杂的
分层树地图等。它还内置了动画和用户交互控制。
Processing 数据可视化的招牌工具。Processing可以在几乎所有平台上运行。
Leaflet Leaflet是一个开源的JavaScript库,用来开发移动友好地交互地图
Openlayers 虽然文档注释并不完善。且学习曲线非常陡峭,但是对于特定的任务来说,
Openlayers能够提供一些其他地图库都没有的特殊工具。
PolyMaps PolyMaps是一个地图库,主要面向数据可视化用户。PolyMaps在地图风格化方面有独到之处,
类似CSS样式表的选择器。
Modest Maps Modest Maps是一个轻量级、可扩展的、可定制的和免费的地图显示类库
Gantti Gantti是一个开源的PHP类,帮助用户即时生成Gantti图表。使用Gantti创建图表无需使用JavaScript,
纯HTML-CSS3实现。图表默认输出非常漂亮,但用户可以自定义样式进行输出(SASS样式表)。

联系我们

  • 总公司 86-411-3989-5558
  • 東京分公司 050-5539-8972