博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据技术的表现形式有哪些
阅读量:3750 次
发布时间:2019-05-22

本文共 985 字,大约阅读时间需要 3 分钟。

  大数据技术,简而言之,就是提取大数据价值的技术,是根据特定目标,经过数据收集与存储、数据筛选、算法分析与预测、数据分析结果展示等,为做出正确决策提供依据,其数据级别通常在PB以上,今天我们就来了解一下,大数据技术在企业应用中都有哪些表现形式。

 

  1、数据分析及挖掘

 

  数据统计及分析主要是基于存储的海量数据进行普通的分析和分类汇总,以满足大多数常见的分析需求。数据挖掘一般没有预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测的效果,实现高级别的数据分析的需求,丰富的历史数据是数据挖掘的先决条件。比较典型的算法有回归、分类、聚类、关联分析。机器学习正是如此,分为监督式学习算法、无监督式学习算法、半监督式学习算法。

 

  2、机器学习

 

  监督式学习算法是从带标签(标注)的训练样本中建立的训练样本中建立模式,并依此推测新的数据标签的算法。比如回归、神经网络、决策树、支持向量机、贝叶斯、随机森林。无监督式学习算法是在学习时并不知道其分类结果,目的是去对原始资料进行分类,以便了解资料内部结构的算法。比如聚类、主成分分析、线性判别分析降维。半监督式学习算法是利用少量标注样本和大量未标注样本进行机器学习,利用数据分布上的模型假设,建立学习器对未标签样本进行标签。

 

  3、数据仓库

 

  从企业角度来说,无论是数据库、数据仓库还是大数据都是解决不同需求、处理不同级别数据量的技术,它们之间并无冲突。针对不同需求和现状进行技术选择,各种技术相互补充、相互协作。目前阶段对于大部分企业来说,想要开展一个全新的大数据项目似乎无从下手。从现有数据仓库建设理论和经验入手,引入部分大数据技术,特别是实现非结构化数据的收集、存储和处理是一种比较可行的方法。

 

  4、数据安全

 

  大数据蕴藏着价值信息,但数据安全面临着严峻挑战。一方面,大数据本身的安全防护存在漏洞。虽然云计算对大数据提供了便利,但对大数据的安全控制力度不够,API访问权限控制以及密钥生产,存储和管理方面的不足都可能造成数据泄露。另一方面,在用数据挖掘和数据分析等大数据技术获取价值信息的同时,攻击者也在利用这些大数据技术进行攻击。

 

  大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。

转载地址:http://qrnsn.baihongyu.com/

你可能感兴趣的文章
sql函数之cast()
查看>>
hql中substr函数截取字符串匹配
查看>>
mysql之指定ip、用户、数据库权限
查看>>
zookeeper的读和写数据流程(有图欧)
查看>>
bin/schematool -dbType mysql -initSchema HiveMetaException: Failed to get schema version.
查看>>
flink知识总结
查看>>
flink之检查点(checkpoint)和保存点(savepoint)的区别
查看>>
Linux系统编程---进程I/O
查看>>
spring学习知识补充
查看>>
杂文之生成随机字符串
查看>>
springBoot基础(一)
查看>>
springBoot基础(二)
查看>>
在springBoot中使用Mapper类问题
查看>>
filebeat___log -input
查看>>
GitHub使用
查看>>
关于学习Java的一点点心得。附Dos命令的基操
查看>>
SpringCloud详细教程3-Eureka服务注册中心
查看>>
SpringMVC中常用的几个注解@RequestBody
查看>>
SpringCloud详细教程6-Zookeeper
查看>>
Freemarker使用mht制作导出word模板
查看>>