目前大量企业的数据仓库仍以结构化数据为主,但随着物联网的发展,未来数据仓库中必然会出现大量的非结构化数据和半结构化数据。在这种情况下,数据仓库必须进行相应的调整,数据库类型将从Sql数据库更改为NoSql数据库。以后会出现Sql数据库和NoSql数据库并行的局面。
大数据时代,如何构建企业数据仓库?
大数据是我的主要研究方向之一,目前也在带相关方向的研究生,所以我来回答一下这个问题。首先,数据仓库对于企业来说是比较传统的数据管理方案,具有一定规模的企业通过建立数据仓库能够解决一定的数据孤岛问题,从而能够让企业的数据有一个更加合理的利用,同时也能够让多个系统通过数据仓库完成互联互通。但是在大数据时代,企业的数据仓库无论从规模数据类型响应速度还是部署架构上来看,都将面临较大的调整,这些调整主要体现在以下几个方面第一数据仓库将以云计算为基础进行构建。
云计算的出现从某种程度上来说改变了整个IT行业对于技术资源和存储资源使用的理解,云计算弹性的服务模式和廉价的使用策略让更多的企业愿意采用云计算服务,同时云计算也能够提供一站式解决方案,为企业进行信息化升级降低了门槛。把数据仓库搭建在云计算平台上,是目前云计算能够解决的一个重要问题之一。第二数据仓库的存储结构由Sql向NoSql转换。
虽然目前大量企业的数据仓库依然以结构化数据为主,但是随着物联网的发展,未来数据仓库中必然会出现大量的非结构化数据和半结构化数据,在这种情况下,数据仓库必然要跟着进行调整,数据库类型必将从Sql型数据库向NoSql型数据库转换,未来将出现Sql数据库和NoSql数据库并行的情况。第三数据仓库管理智能化。
在云计算平台的支撑下,未来企业数据仓库的管理必然向智能化方向发展,基于PaaS将更容易构建出智能化的管理方案,从而提升数据仓库的价值。最后,这一系列的改变自然离不开人才结构的升级。我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。
大数据是什么?
采集记录足够多的数据,使工作更加针对化和精准化,这是大数据吗?这不是大数据而只是数据化。什么是大数据呢?例如洛杉矶警方曾对以往的刑事案件做了统计,通过算法得出了第二天的高概率犯罪地点,然后有针对性的派警察去该处巡逻,从而使得当地的犯罪现象下降20%。这是大数据。再比如,经济学家都认为股票无法预测,而一位剑桥大学毕业的博士搞了个公司,对有史以来几乎所有的证券交易的数据进行记录,然后通过算法进行分析。
他对什么国家政策公司业绩行业走向等等一眼都不看,100%地排除主观意志的,只根据计算结果来进行投资,最后赚了大钱。这是大数据。大数据的精髓并不在于数据的精准和数量,而在于对内在规律的挖掘和对未来趋势的预测。其思路是一个结果是有很多原因的,原因作用的强度可能是随机的,我们对其中作用的机理并不清楚。
我们难以找出规律性,但知道规律性就蕴含在结果数据之中,如果我们能建设合适的模型,写出好的算法,就有可能把这个规律性提炼出来,从而能科学地发现真相和预测未来。今天上午在贵州省大数据中心看到了大数据应用的事例。金润建设和鹏润达这两家企业分别投标200多次,一次也没中过,依然积极地投。投标是要成本的,这两家公司那里来的动力?通过大数据的知识挖掘技术,发现了它们总是陪着固定的一家公司一同招标,最后总是那家公司中标。
服装行业如何利用大数据?
服装行业具有流行周期短、季节性强、产销链条不畅、市场机会丧失、生产库存不可预测、市场信息不畅等特点。而利用大数据智能数据可视化分析,正好可以弥补这些缺陷,化被动为主动。比如奥维软件针对鞋服行业的BI方案,主要是通过爬虫对接和上报的方式,从各个系统的零售ERP中采集数据,对零售数据进行全面的可视化分析。它以成熟的零售数据分析模型推动系统的分析和挖掘,以这些数据信息为支撑,优化生产结构、销售和库存计划,从而及时把握市场趋势,提高销售额,降低市场风险和不必要的成本投入。