“死磕”底层数据技术

什么是大数据？《大数据时代》的作者舍恩伯格认为，大数据并不能定义—个确切的概念。大数据是人们获得新的认知，创造新的价值的源泉，大数据是改变市场、组织机构，以及政府和公民关系的方法。

这是更具有人文色彩和社会意义的诠释。显然，也更加清楚地指明了大数据带来的思维变革、商业变革和管理变革。

换句话说，数据给我们带来了两个重要的改变：更多信息、更少成本。

大数据带来变革的同时，也对数据处理的底层技术有着更高的要求。只有找到如何管控越来越多数据的方法，才能实现数据价值最大化。

虽然，目前各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段。这尤其体现在对于数据治理没有统一的定义。

例如，IBM对于数据治理的定义是:“数据治理是一种质量控制规程，用于在管理、使用、改进和保护组织信息的过程中添加新的严谨性和纪律性。”DGI 则认为数据治理是指在企业数据管理中分配决策权和相关职责。

抛开宏观定义不谈，如果大数据技术能够探索清楚，那么从微观反推宏观，显然也使定义更加清晰。

在大数据时代，一切数据都是有意义的。因为通过数据采集、数据存储、数据管理、数据分析与挖掘、数据展现等，我们可以发现很多有用的或有意思的规律和结论。

比如，上海交通刷卡信息，分析这些刷卡记录，可以清晰了解上海市民的出行规律，来有效改善城市交通。

但这些出行数据，不是想用就能用的，需要通过“存储”“计算”“智能”来对数据进行加工和支撑，从而实现数据的增值。

而在这其中，最关键的问题不仅在数据技术本身，也在于是否实现两个标准：第一，数据记录，是否足够多，足够有价值；第二，是否找到适合的数据技术的业务应用。

大数据处理技术大致可以分为五个部分：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。

（编辑：菏泽站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!