阅读更多

美国“棱镜”监控计划曝光者爱德华·斯诺登近日再度爆出猛料,曝光了美国国家安全局的情报收集系统X-Keyscore的相关技术细节。

根据资料显示,美国情报机构分析人员可以通过X-Keyscore对个人的互联网活动进行实时监控。据悉,2012年X-Keyscore在1个月内存储的各类监控数据记录高达410亿条。

斯诺登曝光了NSA(美国国家安全局)内部关于X-Keyscore的培训幻灯片,从中你可以看出这个系统有多么强大。幻灯片内容编译如下:

什么是X-Keyscore 

  • DNI(国家情报局)采集系统/分析框架
  • 可针对邮件、内容等执行强大的查询操作
  • 提供实时的目标活动信息
  • 所有未过滤的数据可在X-Keyscore缓冲区存放3天(通过X-Keyscore,可存储所监控网站的完整数据,并为元数据建立索引,并可以为通用数据类型提供一系列视图)

这是一个联合查询系统——执行1次查询将会扫描所有网站,并通过挖掘元数据,来找到你之前闻所未闻的目标事件。

系统相关细节 

  • 大规模分布式Linux集群
  • 超过700台服务器分布在世界各地
  • 系统可以线性扩展——只需添加新的服务器即可
  • 服务器群集
  • 联合查询机制

 X-Keyscore查询层级



 

X-Keyscore部署在哪?

X-Keyscore部署在150多个地点,拥有超过700个服务器。(注意地图上中国境内的红点)



 

X-Keyscore的独特功能

你可以执行浅显分析,作用是: 

  • 你可以看更多数据
  • 如果数据率过高, X-Keyscore也能被配置为浅显分析

 也可以执行深入分析,理由和作用是: 

  • Strong Selection本身只提供了一个非常有限的能力
  • 人们在网上执行的大部分活动基本上都是匿名的
  • 可以使用这个通信量及时发现异常情况,然后指导我们去做情报工作,或针对传统任务执行strong selectors 

 

X-Keyscore可以在收集到的会话上做什么?

X-Keyscore可以通过插件来提取信息,并索引元数据到表中。  


 

X-Keyscore中包含了如下插件: 

  • E-mail地址插件:通过用户名和域名来索引会话中的所有E-mail地址
  • 提取文件插件:通过文件名和扩展来索引会话中的任何文件
  • 完整日志插件:索引收集到的每个DNI会话。通过标准的N-tupple(IP、端口、Casenotation)来索引数据
  • HTTP解析器插件:索引客户端HTTP流量(然后跟踪)
  • 电话号码插件:索引会话中的每个电话号码(例如电话本或签名处的号码)
  • 用户活动信息插件:索引Webmail和聊天内容,包括用户名、在线好友、特定cookies等

 X-Keyscore可以存储哪些信息?

可以存储所有你希望提取的内容,你只需选择你的元数据,进行存储设置后,交给HTTP解析器即可。



 

可以使用X-Keyscore来做什么?

1.  找到目标

如何通过strong-selectors来找到一个已知目标?如何找到一个strong-selectors中没有相关信息的恐怖分子?

你可以通过查找异常事件和人,比如: 

  • 那些所使用的语言不是所在地区的人
  • 使用加密技术的人
  • 搜索网络中可疑东西的人

 2.  查找加密信息

比如: 

  • 显示来自伊朗的所有加密的word文档
  • 显示伊朗的所有加密软件使用情况

这些查询数据量可能太大,也不可能返回所有信息,无法使用strong-selector,这种情况可以执行追溯查询,然后从相应的网站上找到你感兴趣的内容。

3.  技术侦查

比如显示X国家中的所有VPN启动数据,并显示出能够找到用户的一些信息。

这些事件在X-Keyscore中很容易浏览到。X-Keyscore可以提取并存储许多主要文档类型的作者信息,然后执行追溯调查,来跟踪文档起源,这种元数据通常可保存30天。

4.  收集个人会话

方法如下: 

  • 传统上可通过strong-selector事件触发,但这不是唯一途径
  • 反向PSC——将异常事件返回到strong selector。当数据首次被强力查询时,你不能执行这种分析
  • 配合Marina——允许在事件发生后执行PSC收集

5.  语言跟踪

比如:如何找到在巴基斯坦讲德语的人?

你可以通过X-Keyscore的HTTP活动插件提取和存储所有能够被搜索的HTML语言标签,然后进行分析。

6.  Web搜索事件跟踪

比如:我追踪的人使用了Google Maps服务来查找位置,我能通过这个信息找到他的邮件地址吗?或者能否从他的Web搜索信息中找到可疑信息?

X-Keyscore可以提取和存储所有基于Web的搜索事件,你可以使用回顾性查询来找到感兴趣的内容

7.  文档跟踪

比如:我发现了一个关于“圣战”的文档,但已经经过无数人之手,如何找出这是谁写的,他们在哪里?具体的方法在幻灯片中已经删除,因为这涉及国家安全局的特定操作。

8.  发现感兴趣的文档

比如:能否显示所有包含来自伊拉克的MAC地址的微软Excel电子表格,以便我可以执行网络映射?

X-Keyscore中新的提取器允许在文档/电子邮件的正文中执行不同的字典,这些复杂的字典可以生成并存储这些信息,针对特定的数据类型有多个字典

9.  分析指纹信息

可以从 TAO中加载指纹信息到 X-Keyscore的应用/指纹引擎中进行分析。这种操作需要复杂的布尔运算和正则表达式。

10.  发现新的Web服务目标

每天都会有新的Web服务,X-Keyscore可以根据用户ID来扫描服务而不是执行strong selection,这意味着你可以检测之前所不知道的应用程序相关活动信息。

11.  实体提取

X-Keyscore拥有针对英语、阿拉伯语和中文的技术,允许你查询: 

  • 显示所有涉及IAEO(伊朗原子能组织)的word文档
  • 显示所有涉及奥萨马·本·拉登的文档
  • 还可以查询显示“类似于xxx的xxx”

X-Keyscore的成功案例

通过X-Keyscore生成的情报,成功捕获了300多名恐怖分子。

X-Keyscore的创新点: 

  • 高速查询
  • 工具栏
  • 集成Marina
  • 集成GPRS、WLAN
  • SSO CRDB
  • 工作流
  • 多级别字典 

X-Keyscore的未来计划 

  • 再次提速(算法和单元处理器)
  • 更好地呈现
  • 实体提取
  • VoIP(网络语音电话业务)
  • 更多的网络协议
  • 更多类型的元数据(Google-Earth、EXIF标记、CES-AppProcs等)
  • 更易于安装、维护和升级

这个幻灯片是2008年NSA内部的培训资料,从上面显示的内容可知,该系统无孔不入,基本上只要你在网上有相关的活动,相关信息即有可能被监控。

斯诺登称,他受雇于NSA时,曾有机会使用X-Keyscore,他形容,只要有相应的电子邮件地址,他可以对任何人进行监控,下至平民百姓,上至法官总统。

外界对如此大规模的监控计划普遍感到担忧。 

资料来源:NSA X-Keyscore Program Full Presentation

  • 大小: 41.5 KB
  • 大小: 104.2 KB
  • 大小: 32.9 KB
  • 大小: 45.4 KB
  • 大小: 35.3 KB
18
0
评论 共 31 条 请登录后发表评论
31 楼 flashing 2013-09-15 17:56
dt_flys 写道
net_hare 写道
长城防火墙就是个山寨版

长城防火墙可能是为了应对美国的监控设立的

美国还用监控吗,那么多移民的那啥随便恐吓一下你不交代不给绿卡或者封你银行帐号,啥都招了,还用监控这么费事。
30 楼 MrLee23 2013-09-10 09:27
淘宝技术和这个比起来,简直是弱爆了。。。
29 楼 irfen 2013-09-06 18:15
天朝就没有吗?这个还是很简单的。
28 楼 dt_flys 2013-08-06 10:48
net_hare 写道
长城防火墙就是个山寨版

长城防火墙可能是为了应对美国的监控设立的
27 楼 damoqiongqiu 2013-08-05 14:18
看起来很流弊的样子
26 楼 delphixp 2013-08-05 12:01
另外还有一种说法就是:

棱镜计划 一方面为 情报机关提供 情报。。另一方面,就是将数据卖给 数据公司(副总统手下就是 数据公司)。。而这些数据公司 再卖给 各行各业的 数据挖掘公司。。

例如 沃而玛 用这些数据来 掌握客户的需求。。医疗保险公司用这些数据来为“客户”定制“保险”(如有不良爱好或私隐的客户,保险高理赔少等等)。。

情报 机关只是使用小部分的数据。。。真正的需求才是幕后的那些数据公司。!
25 楼 net_hare 2013-08-05 10:24
长城防火墙就是个山寨版
24 楼 gandilong 2013-08-05 09:34
我勒个亲娘!
23 楼 sdlddr 2013-08-05 09:12
但是跟天朝的封锁监控体制比,还是弱爆了
22 楼 amonlei 2013-08-05 05:38
doudou586 写道
使用SSL,SSH等加密方式传数据他也能截取?

截取没问题,问题就是解密速度如何
21 楼 doudou586 2013-08-04 11:28
使用SSL,SSH等加密方式传数据他也能截取?
20 楼 沙舟狼客 2013-08-03 09:47
darkblue086 写道
从哪里能获取到这些数据呢?搞定了ISP?中国怎么也有红点?

重庆,云特区,当时XX来建的
19 楼 summer85 2013-08-02 16:51
这技术!!
18 楼 zhangjidong2005 2013-08-02 15:19
逆天技术 怎么实现,算法是什么样的
17 楼 zhangjidong2005 2013-08-02 15:17
看图片,服务器好像 在武汉
16 楼 zhangjidong2005 2013-08-02 15:16
在中国都有服务器,快出来查查啊,中国怎么没有人知道
15 楼 corelengine 2013-08-02 14:00
中国需要建设这样的系统来监视日本,朝鲜!
14 楼 求求你帮帮我 2013-08-02 13:59
既然知道有服务器部署在中国,在地图上都标出来了,中国ZF为什么不把服务器给拆了,砸了啊?COOKIES很危险。
13 楼 Saro 2013-08-02 12:43
http://www.theatlanticwire.com/national/2013/08/government-knocking-doors-because-google-searches/67864/

生活在纽约长岛的自由撰稿人Michele Catalano 正在试着做一个好的家庭主妇,上google查询怎么使用高压锅做菜的信息。与此同时,她那喜欢旅游的老公又在上网看看哪款背包在打折。于是,第二天,6个荷枪实弹的警察蜀黍敲开了他们家的大门……
=================================================
从这个新闻来看,这个系统监控很厉害,但是准确率好像不咋样。
12 楼 WenChao_Liu 2013-08-02 10:54

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Kylix3 linux下的delphi

    Kylix3。BLAND早期 linux下的 delphi,现在的linux也不一定支持了,怕误删除找不到了,所以放在这里。怀旧情节的人可下载了解一下。

  • Ubuntu 5.1下安装Kylix3

    首先要安装好Ubuntu——废话。然后,就是装Kylix3。为了保险起见,我是在root用户下安装的,可能用sudo方式也可以。另,据说需要在英文方式下安装,所以我切换到英文状态下装的——即使是装成中文的Ubuntu也可以在登录前选择语言——没试过在中文方式下安装行不行。 据我的经验是,在ubuntu 5.1下直接安装Kylix3会报错:libgtk版本不对。解决办法当然就是装一个对的版本

  • kylix开发工具铺平Linux应用之路

    Linux开发工具的发展必将带动Linux软件的企业级应用。   【互联网周刊消息】LinuxWorld China 2001大会的主题在Linux开发、服务及管理运作方面向企业级应用迈进了一步,同时也凸显出Linux开发工具渐成今后Linux发展的重矢之的。   Borland 软件公司中国区销售总经理林锋先生表示:“Linux的发展需要软件的带动,而

  • kylix 数据库应用简介 (转)

    kylix 数据库应用简介 (转)[@more@]kylix 数据库应用简介(施晓军 2001年06月20日 10:56) Kylix是业界著名的美国软件公司Borland正式发布的第一款专门为Linux操作系统推出的快速开发...

  • 关于RedHat Linux 9.0下Kylix 3会出现的四个问题的完满解决办法

      在RedHat   Linux   9.0下安装Kylix3,或者原本在RedHat   Linux   8.0或RedHat   Linux   7.x下已经安装了Kylix3,而将RedHat   Linux升级到了9.0,都会遇到麻烦多多,一般有如下四个问题:  一、在RedHat   Linux   9.0中,某些电脑里使用nVidia显卡的用户,在启动Kylix   3的IDE时,会

  • Linus采访对Linux对git和对代码品味的理解

    Linus大师说他11岁就开始编程,他说他是一个喜欢安静和不合群的人。 图中是他和他的弟弟,看来少儿编程还是很重要的,大师21岁写出linux0.0.1最初的内核。 图中是他的家,也是Linux的总部,非常简单的办公环境,只有显示器,大师喜欢安静,所以不想听到电脑主机风扇声音,墙壁是绿色的,他觉得可以让他宁静。 Linus说他认识很多在谷歌工作的人在家里都有小型数据...

  • [Borland.Kylix™.3.企业版含破解].Borland.Kylix.3.Enterprise.Linux.-.crack.zip

    [Borland.Kylix™.3.企业版含破解].Borland.Kylix.3.Enterprise.Linux.-.crack.zip

  • 基于Linux的快速开发工具Kylix

    介绍了 基于Linux的快速开发工具kylix的优缺点

  • TStack and TQueue

    注意:同样引用 Contnrs -------------------------- procedure TForm1.Button3Click(Sender: TObject); var a:TQueue; s1,s2:string; p:^string; begin a:=TQueue.Create; s1:='Hello'; s2:='Word'; a.Push(@s1); a.Push(@s2); p:=a.Peek

  • Delphi容器类之---TOrderedList、TStack、TQueue、TObjectStack、TObjectQueue

    TOrderedList、TStack、TQueue           Contnrs单元还定义了其他三个类:TOrderedList、TStack、TQueue TOrderedList TOrderedList = class(TObject) private FList: TList; protected procedure PushItem(AItem:...

Global site tag (gtag.js) - Google Analytics