DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

棱镜秘笈——大数据篇

它几乎无所不能,全天候监视所有人的行踪,聪明地预测出谁是危险分子,谁会遭遇不测……美国政府用它攻击恐怖分子,开发者则用它拯救普通人,这是美剧《疑犯追踪》里的“神器”。这真的只是一部科幻剧吗?

美国国家安全局(NSA )在现实中运作的“棱镜系统”,时时刻刻监听和分析本土及海外的数据,其曝光则更像是一部好莱坞电影:29岁雇员斯诺登,电脑怪才,模样俊俏,为中情局服务过,在夏威夷有火辣女友陪伴,却突然人间蒸发,之后爆料引发全球哗然。

从技术角度看,棱镜是正宗的大数据武器。虽然还不如《疑犯追踪》里的机器万能,但足以让大家担心个体隐私不保。人们更害怕政府拥有大数据后,权力和能力膨胀,必然滋生腐败。但纽约时报的评论也指斯诺登缺少组织纪律,是原子化的行为,破坏了社会组织的契约精神和正常运转。

孰是孰非,何去何从?

大数据武器 数据如万川归海途经美国,山姆大叔便可架网捞鱼。它靠强大的数据通路和丰富的数据源收集大数据

曝光的资料显示,有多个项目与棱镜数据收集有关:比如从互联网骨干枢纽收集数据的布拉尼(BLARNEY)计划,从光纤网收集数据的上游(UP-STREAM )计划等。考虑到软件系统通常都是对接后集成使用,我们将其当做整体来讨论。

棱镜项目得益于这样的现实:大量数据舍弃物理意义上最直接的路线,取道美国。

美国有全球电信最骨干的网络。棱镜项目资料显示,北美跟欧洲、亚太、拉美之间的带宽远超过其他洲际带宽。相比从亚太地区直接发送数据到欧洲,经由美国中转可能更快捷实惠。

这在现实中不难找到类比:办公室同事交换电子文件时,不一定靠传递U盘这种物理距离最近的方式,可能会通过Q Q之类的即时通讯,而不会去计较这些文件绕经QQ服务器是否会被长期扫描监测。

通过扩大数据传输带宽,美国甚至可以诱导更多数据流经本国。今年5月美国租借中国卫星引起国会哗然,但他们解释目的就在于提高非洲跟美国之间的带宽。租借中国卫星可能有局部风险,但放在“棱镜”大战略下,越多数据流经美国,它能做的分析监测就更全面,其得益远超过风险。

设想数据如万川归海途经美国,山姆大叔便可架网捞鱼,坐收渔利。棱镜数据监测的原理也是如此。就像三棱镜把自然光细分成红橙黄绿蓝靛紫七色,在光纤上接入“棱镜”,可以让光纤传输的信号一览无遗,通过大数据系统进行分析挖掘。这种在光纤上窥探数据的设备,早期叫做NarusST-6400,最新版的Narus设备已经空前强大。

巧合的是,Narus官网的宣传材料里便直接使用三棱镜作为图示,表示有能力对大体量(Volume)、高速度(Velocity)、多类型(Variety)的光纤数据基于机器学习,进行网络层、语义层和用户层的数据分析。

棱镜秘笈——大数据篇

除了尽可能地操控数据通路,棱镜项目还从其他数据源激进地获得数据。其中有电信运营商数据源。《卫报》曝光联邦海外情报监听法庭(Fisa)要求美国电信运营商(Verizon)“持续每日”向N SA提交电话记录数据,包括双方号码、通话长度等,但不包括通话内容,这也就是官方所说的元数据。

未经允许不得转载:DOIT » 棱镜秘笈——大数据篇