大数据的三个思维变换

大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。

维克托·尔耶·舍恩伯格在《大数据时代:生活、工作与思维的大变革》中最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。

知名IT研究机构Gartner以它对专业IT市场的“魔力象限图”发布作为一种评价方式,在其二维矩阵里,横轴是前瞻的完整性,纵轴是执行力,如果用此分析方法来评价《大数据时代》这本书,它大概位于右下角靠近纵轴中间点的位置。

2012年,笔者看过的3本有关大数据的中文书,它们分别是《证析》、《大数据》和维克托·迈尔·舍恩伯格的《大数据时代》。与其他两本相比,舍恩伯格这本书的特点重在“Impact Analysis”的前瞻分析,在大数据时代的思维变迁方面有启发价值。也说是说,此书对于企业高管和CIO的价值更大,它基本没有太多讨论技术,而偏重于观念转移(Paradigm Shift)。

简单说来,这本书的价值可以用两个“三”、一个“一”来概括:第1个“三”是3个关于大数据的思维变换,重在大数据变革时代的价值与观念变化;第2个“三”是关于大数据影响商业变革的3个要素:即数据、技术与创新思维之间的互动;一个“一”是关于大数据泛化下的治理与隐私。

关于大数据本身的价值已无需赘述,此处重点讨论关于大数据的3个思维变化:1.不是随机样本,而是全体数据;2.不是精确性,而是混杂性,尤其是大数据的简单算法比小数据的复杂算法有效;3.不是因果关系,而是相互关系。

《大数据时代》一书提醒读者,大数据是全数据,至少维度要全,这带来了观察和分析事物的角度变化,尤其相对于传统IT系统数据,大数据强调了数据的外部性和实时性,这两个特性也使得“证析”提到的基于事实(Evidence)的分析成为可能,不过此书忽略了外部数据与企业内部数据结合的分析价值。比如,对于政府来说,分析大范围的公共卫生事件、传染病可以更快地利用大数据(比如微博)发现目前的情况,但具体要调度资源,还是需要结合“小数据”的精确决策。

第2点的核心观念关于大数据的简单算法来自谷歌的洞见,也来自于Hadoop(一个分布式系统基础架构,由Apache基金会开发)这类算法的核心理念。大数据的简单算法是一种统计学的逻辑,这个如同热力学的分析模式,热力学并不关心具体的分子运动,而是关心温度、体积、压强之间的宏观联系,关于这种理念的内在理解,建议读者从吴军的《数学之美》一书中获得,只有真正理解了大数据基于统计学的思维方式,才能理解它的独特优势和局限。这种方式可以解决以往技术无法解决的大范围、实时性和并行处理等问题,并带来新的洞见,它用概率说话,并不是和人就细节较真。这个来自互联网公司的观念是,希望先解决80%的趋势问题,然后慢慢精细化。

第3点,大数据关注“是什么”,而不是“为什么”,经常网购的人会更容易体会。很多电商网站的推荐引擎具备这种能力,它能够在顾客买书的时候,推荐顾客刚好喜欢的其他书籍,顾客可能不知道“为什么”,其实网站也不在乎“为什么”,(“为什么”可以由学术专家慢慢分析)。但是网站根据成千上万甚至上亿人的统计学分析,就可以发现“关联物”,或者说大数据更擅长通过统计分析人类所不能感知的关联,并建议人采取行动。这个革命式的思维非同小可,以前“啤酒+尿布”的数据仓库故事需要数据整理、清洗转换和专家建模挖掘,其采购行为的关联性可能被Hadoop等算法轻易的发现。上述方式由于分析门槛低,已经成为一种常见的工具,并衍生大数据的云服务的商业模式,成为企业可以购买的“分析即服务”(Analytics as a Services),国内阿里系正致力于这种模式的建立。

第2部分关于大数据商业模式方面,最有价值的是关于大数据商业生态的分析,除了大家熟知的数据、技术,作者认为还有第3种基于思维的大数据公司,包括数据中间商等等,这对于国内过于关注技术本身的趋势是个很好的提醒。一个有趣的话题是,作者认为基于统计的数据科学家会逐步取代行业专家,因为大数据发现的新的真实联系,可能会颠覆传统行业专家,这个话题学术界可能很感兴趣。一个耐人寻味的例子是,基于大数据统计分析的自然语言翻译几年前就胜过了基于语义理解的语言学家派别,书中提到的一个从事语言翻译的算法小组甚至开玩笑地说,“每次我们组走了一个语言专家,我们的翻译精确度就提高一些”。

第3部分是关于大数据成为乔治·奥威尔《一九八四》里的“老大哥”,即通过技术手段实现了无处不在的监控以后,隐私和滥用的问题最为让人担心。笔者认为这个话题过于公共,而且已有很多文章在讨论,并不是本书的特质,况且大数据的兴起是一个渐进的过程,各个行业的实用案例尚在兴起,行业内部应专注于行业创新,关于公共的话题的讨论还是留给学者、政府和未来。

西方作者有一类是理念的鼓吹者,最著名是《失控》的作者KK(凯文·凯利),此类被读者推崇为传教士的作者,喜欢推广颠覆式的观念,产生一种前世今生(Before/After)比较的震撼力。本书作者也是如此,如此颠覆,强力的大数据时代似乎正在到来,然而,此类作者也会被人指责为“管杀不管埋”——提出理念,不对具体的可行性负责。回到前文提到的Gartner的“魔力象限图”,渐进的执行力才是大数据这种趋势逐步在各个行业开花的关键。

《大数据时代》作者: [美] 维克托·迈尔·舍恩伯格 出版社: 浙江人民出版社 策划:湛庐文化

本文系作者 刘 松 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
  • 大数据越大越宏观,趋势性更强。知道大趋势,必然要分析力量所指,判断其影响力。利益分析法重要的不在于方法本身,而在于境界,在趋势面前个人实在太渺小了,更多的专家会颠覆。超越利益本身,人的智慧才能更多摆脱被捆绑和束缚。

    回复 2013.03.05 · via pc
  • 为什么和是什么有矛盾吗

    回复 2013.03.19 · via pc
  • 感谢分享

    回复 2013.03.19 · via pc
  • 大数据时代

    回复 2013.03.17 · via pc
  • 大数据时代

    回复 2013.03.17 · via pc
  • 为什么还是要问,只不过提问的人身份是研究人员或者说学者;只需要了解“是什么或代表什么”的人是使用者。正如我们在饭店吃饭,知道好吃难吃足矣,至于每道菜如何烹饪、为什么要放那些调料,除非有兴趣的食客或美食家,一般的顾客不需要搞得那么清楚明白。

    回复 2013.03.07 · via pc
  • 兑换了书的还请发表点意见,给大家做个参考

    回复 2013.03.05 · via pc
  • 这是在为这书打广告密?

    回复 2013.03.05 · via pc
  • 大数据的发展潜力

    回复 2014.03.02 · via pc
  • 感觉现在奉之为那么神圣的大数据,只是生产力发展的结果,并没有什么需要歌功颂德的

    回复 2013.12.21 · via pc
更多评论

快报

更多

2024-12-25 23:00

大商所、郑商所夜盘收盘,PTA跌超1%

2024-12-25 22:51

国家电投集团年发电量创历史最好水平,超7000亿千瓦时

2024-12-25 22:46

涪陵榨菜谈调价:今年主力产品价格未有调整,榨菜酱产品降价

2024-12-25 22:35

刘建超会见日本外相岩屋毅

2024-12-25 22:29

提示:美股今日休市

2024-12-25 22:27

中房协发起“迎新年购房安家活动”倡议

2024-12-25 22:21

北大医药:公司实际控制人变更为徐晰人

2024-12-25 22:21

农业农村部举办人工智能专题报告会

2024-12-25 22:11

近30家企业参与,储能行业将召开防止内卷式竞争闭门研讨会

2024-12-25 22:10

北京市大兴区挂牌两宗地块,起始价23.2亿元

2024-12-25 21:56

深圳个人养老金定存利率:大型商业银行在2%左右,养老保险产品综合收益可到3.9%

2024-12-25 21:47

全国首个“低空+高铁”跨城联运场景在杭州投运

2024-12-25 21:28

通义千问发布业界首个开源多模态推理模型QVQ-72B-Preview

2024-12-25 21:25

《中华人民共和国增值税法》全文公布:销售不动产税率为百分之九

2024-12-25 21:19

*ST卓朗:收到上交所拟终止公司股票上市事先告知书

2024-12-25 21:18

理想汽车会做人形机器人吗?李想:100%会做,但不是现在

2024-12-25 21:07

万安科技:实控人拟减持不超3%股份

2024-12-25 21:06

专家解读专项债券管理新政:可减少在途时间,避免“资金等项目”

2024-12-25 21:05

岭南股份:可转债偿付方案正加快制定,并尽量调动多方资源推进催收工作

2024-12-25 21:02

韩国加密资产市场迅猛发展,日均交易额逼近股市

27

扫描下载App