为什么要建立一个面向应用的拓扑结构层（继续）

为什么要建立一个面向应用的拓扑结构层

 

所谓面向应用的拓扑结构层，实际上是一种由SNS平台为特定APP开发的数据结构。这个数据结构维持了数据挖掘之后的结果。

 

一、观察

 

观察当前国内外的开放性的SNS平台/网站（以后简称为SNS网站），可以发现：

1、对于个人来说，SNS网站目前提供两种网络：一个是与好友形成的网络，一个是加入的群组。（本文把群组与好友形成的网络都简称为网络，除非特别说明）

2、个人用户还有两个隐性的网络：一个所在学校、公司、地区；一个是与其它安装同一个APP的用户。

3、个人用户也可以发起一个活动（Events），因而创建了一个网络。

4、这些信息都可以通过API获取（有些部分的）。

 

二、问题

 

那么，现在就有一个问题，APP开发者如何利用信息？目前可以调用的API：

1、friends.get，friends.getFriends，得到用户的好友列表。在整个好友网络中，是第一跳的（采用IP路由的术语）。

2、groups.getMembers，得到一个群组的成员列表。显然，这个群组是完全图。

3、users.getInfo，得到用户所在学校、公司、地区。

4、friends.getAppUsers，得到一个用户的指定APP的好友ID列表。

5、events.getMembers，得到一个活动的成员列表。

 

目前国内SNS网站只提供了三个API，分别是1、3、4。即使是facebook，也还在不断的改进中，例如，networks页不再提供，与中国文化不同。（对于中国的SNS网站，group相当于BBS的版块，而在中国，group有几个极需解决的问题，一个是水化，一个是潜水，一个是枪手）。（friends、group、app都是一个图，这三者属于重复定义，用户群交叉，容易使app开发者和用户感到困惑。事实上，目前SNS网站的大部分群组都极不活跃，目前的app的交互能力非常弱，关于这些问题的解决，有必要在数据结构与逻辑上重新定义，以后有时间再专门分析。）

 

我在5G上写过一个极其简单的脱离SNS平台的挖掘用户数据的方法：

1、数据准备，构建一个稀疏矩阵

2、进行连通性分析，将用户划分为子图。

3、补足，取得每个用户的好友信息，例如用户A的好友A1认识用户B的好友B1，则人为添加一个链路（方法1）。

如果用户A与用户B或者他们的好友同属于一个网络（目前SNS网站的叫法）或者群组，则作为一个连接（方法2）。

4、计算介数，并通过介数发现社区与社区中心。

5、为每一条边赋值（以相互浏览的和为权），构造一个无向图。

6、计算最大流/最小割，分析传播阻尼。

 

但是，这种方法对于用户数量较少的APP还可以。如果用户数量很大，这种方法就非常的不经济。虽然APP开发者自己可以缓存数据，由于用户关系等数据经常变动，如果还需要对用户日志等数据作进一步分析，那么就无法保证结果的精确性与有效性。因而对于用户数量巨大的APP，这种方法事实上不可行。偏偏这种APP的商业价值可能非常大。

 

三、分层的重要性

 

因此，只有由SNS网站进行数据分析和提供分析结果（姑且不论所用到的数据分析方法）：

 

1、建立一个数据结构

 

SNS网站如何向APP开发者提供分析处理之后的数据？单纯地提供几条API能够反映所得到的数据吗？对于一个APP而言，它的用户本身就构成了一个网络（图）。在进行用户分析后，所得到的数据的组织形式应该更进一步地体现网络（图）这种特性，并满足传播、交互、查询、用户加入、可扩展等相关的需求。

 

可以看到，APP用户是SNS网站全部用户的子集。当把这两个用户集合分别抽象为两个图时，为特定的APP建立的数据结构实际上就叠加在SNS层上。这也符合目前的三层架构。（本文暂且不讨论这个数据结构的具体细节）

 

2、这种数据结构的优势

 

相对于群组与好友网络，面向应用的拓扑结构具有这样一些优势。如果某个APP具有很强的粘性，可以说明这个APP的用户有很强的指向性。SNS之所以被广泛地关注，在于它形成一个泛化的全局好友网络，从而有可能用于消息传播与网络营销。哈佛大学的社会心理学家Stanley Milgram所设计的连锁信件实验常常被用来说明SNS的传播能力。但是，这是一种盲目搜索方法，开销大，代价高，过程不可控，用户需要花大量时间处理消息。与此相反，如果APP具有很强的粘性，并且在为APP建立数据结构时就考虑到这些情况，那么就可以实现有信息搜索。

 

3、视图的一致性

 

之所以单独列出这一条，是发现，当前的SNS网站有5种网络定义。虽然这5种网络定义，提供了更多的选择，但是，也造成一定的混乱。有的正在消失，例如，facebook不再提供network pages。据说国外BBS并不是太流行。并且在国内某些SNS网站上，绝大部分群组极度不活跃。目前，好友网络的活跃程度最高，压制了其它类型的网络。但是，由于好友网络的传播过程的不可控，直接商用难度很高。甚至有隐私之患（facebook因而取消了一个广告项目）。这里，并不是反对好友网络，相反，这正是SNS的来源。对于APP开发者来说，足以造成不必要的混乱。所以有必要提供视图的一致性。作为个人观点，不赞成APP主要地直接地依赖好友网络。

 

这一点还没有完全想好，应该与业务逻辑、代码复用有关，先放在这里吧（以后找机会再讨论）。

 

四、小结

 

本文主要讨论了在应用层与当前的SNS层之前建立一个面向应用的拓扑结构层的必要性。这个拓扑结构层实际上是一个数据结构。目前的SNS网络提供了5种网络，其中以好友网络最为活跃。但是，好友网络的传播过程的不可控，使得直接商用比较困难。而围绕粘性强的APP建立传播网络，可以利用APP的方向性。在建立这个数据结构时就考虑传播、交互、查询等要求。本文没有涉及到这种数据结构的具体细节，也没有包括建立这种数据结构所需的数据挖掘算法，有待以后进一步讨论。

评论

5 楼 xiongxuhui 2008-08-07  

推荐一本书：《Data Mining with SQL Server 2005》

理论与实践结合的很好。

4 楼 xiongxuhui 2008-08-07  

引用

但从商业的角度来说，我并不很关心你这个人的经过几个好友关系链，就能够和刘翔发生关系

这句话我同意。

但是，并不是只对连接进行分析。事实上：

引用

你从事什么职业的，收入情况如何，你会对哪方面的消费感兴趣

这些已经被研究得很透了。

如果你感兴趣，可以看看这个《基于聚类算法的多属性复杂大群体决策方法研究》

3 楼 robbin 2008-08-07  

APP开发者要你提供的这个数据，干啥用呢？

因为我看你分析的数据都是用户之间的关系链，但从商业的角度来说，我并不很关心你这个人的经过几个好友关系链，就能够和刘翔发生关系，我关心的是你个人的profile，你从事什么职业的，收入情况如何，你会对哪方面的消费感兴趣，这些东西从你的分析数据里面看不到。

2 楼 xiongxuhui 2008-08-07  

这样说吧：
SNS平台要不要进行数据挖掘？
如果要，SNS平台进行数据挖掘得到结果后，要不要提供给APP开发者？
如果要提供给APP开发者，怎么提供给APP开发者？

1 楼 robbin 2008-08-07  

不知道你分析这个有什么用处呢？