一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法

本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。

 

最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：

    1、注册多个账号（一般10个以上）。

    2、从多个账号中选择一个账号，发表1-2篇博文。

    3、用剩下的账号顶2中发表的文章，这样这些文章在发表后的一天内几乎始终位于博客主页顶部。

    4、12-24小时后，删除2中发表的博文，重复2-4步骤。

 

我们如何应对这样的商业广告呢？基本思路如下：

    1、当管理员发现一篇博文为黑博文时，人工确认。

    2、将人工确认的黑博文保存到黑博文数据库。

    3、当有新博文发表时，和黑博文数据库进行相似度计算，如果相似度超过预设的阈值，则拒绝发表博文。

下面我们对最近在ITEYE上面很猖獗的一个商业广告进行分析，这个博主发表了2篇博文，http://baidu-27233181.iteye.com/blog/2200707和http://baidu-27233181.iteye.com/blog/2200706。这两篇博文仅仅是标题不同，这刚好便于本文的描述，我们假设管理员已经确认其中一篇博文为黑博文并保存到了黑博文数据库，然后当另一篇博文提交发表的时候，后台进入了黑博文判断程序，发现待发表的博文和黑博文数据库中的某篇黑博文的相似度超过阈值，然后拒绝发表。程序代码来自本人的rank项目：https://github.com/ysc/rank/blob/master/src/main/java/org/seo/rank/impl/ITEYEBlogSimilarChecker.java

 

下面是黑博文判断程序的详细判断过程，先上最终结果：

 

判定相似性的方式一：简单共有词

阈值=Math.min(339, 340)*0.8=271.2

待发表博文和黑博文共有的词数：339

因为待发表博文和黑博文共有的词数339大于阈值：271.2

所以判断为相似，拒绝发表！

 

判定相似性的方式二：余弦相似度

待发表博文和黑博文的余弦夹角值：0.9977658868305056

因为待发表博文和黑博文的余弦夹角值0.9977658868305056大于或等于阈值：0.8

所以判断为相似，拒绝发表！

下面是分析过程：

待发表博文URL：

http://baidu-27233181.iteye.com/blog/2200707

待发表博文标题：

java权限框架 SpringMVC_mybatis or hibernate+ ehcache二级缓存 hibernate springmvc mybatis bootstrap shiro 

待发表博文内容：

A 代码生成器(开发利器);  B 阿里数据库连接池druid; C 安全权限框架shiro ; D ehcache 自定义二级缓存  （后续会加入Activiti5 工作流 ） 系统为主流的 springmvc+mybaits 3.2 版本 ,提供maven的pom.xml文件,另免费赠送hibernate版本一套(垮数据库)  1. 有 oracle 、msyql、spring3.0、spring4.0  一共 4 套版本全部提供没有打jar没有加密的源代码(最下面截图2.1版本)  2. 支持APP手机应用(android和ios)接口(restcontroller,  @ResponseBody) ,传输验证可用 shiro 的 MD5、SHA 等加密  3. 全新高大尚HTML5+css3.0+bootstrap响应式开发界面UI，美观漂亮时尚、前沿.  spring restful 风格  4. 框架搭建完善，在此基础上做过很多项目，身经百战，支持大并发，程序运行稳定。  5. 基础功能已经完善，此为框架平台，需要程序员二次开发做具体的项目  6. 集成代码生成器，将大大提高开发效率，从此不再当码农，不再写搬砖代码，生成的模块直接可以运行  7. 增删改查的处理类，service层，mybatis的xml，SQL( mysql   和oracle)脚本,   jsp页面 将瞬间生成  8. 数据库连接池  阿里的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势  9. 加入安全框架 shiro ，更安全，更可靠  10.加入tab标签页面功能，标签自由切换，不重复操作数据库  11.在此基础上可开发各种系统软件(OA、ERP、医疗管理、金融、网站后台、APP后台等等 劳动所得 不喜勿喷：获取【下载地址】  -------------------------------------------------------------------------------------------------------------------------  系统模块  1. 组织管理：角色管理，分角色组和成员，有组权限和成员权限。    2. 系统用户：对各个基本的组会员增删改查，单发、群发邮件短信，导入导出excel表格，批量删除    3. 会员管理：对前台用户管理，分配会员级别，到期时间，状态，联系信息等资料    4. 菜单管理：增删改查菜单 ztree（自定义菜单）业务菜单和系统菜单分离    5. 数据字典：无限级别，支持多级别无限分类。内设编号，排序等    6. 系统设置：修改系统名称，邮件服务器配置，短信账号设置，分页条数配置    7. 代码生成：打开代码生成器模块    8. 图库管理：对批量上传的图片统一管理    9. 性能监控：监控整个系统的性能，SQL监控，SQL防火墙，URL监控，SPRING监控，SESSION监控等   10. 接口测试：POST or GET 方式检测系统接口，参数加密，json返回结果，计算服务器响应时间   11. 发送邮件：单发，群发邮件  ------------------------------------------------------------------------------------------------------------------------- 菜单权限：分配给每个角色不同的菜单权限, 每个角色看到的菜单不同 按钮权限：独立分配不同的角色不同的功能权限，增删改查权限分配具体到不同的菜单 支持多用户分权限管理后台,  权限具体到按钮  ------------------------------------------------------------------------------------------------------------------------- 信息模块(赠送) 新闻管理：新闻的维护、发布、权重排序等 采用百度ueditor富文本框 公告管理：公告的维护、发布 广告管理：广告的维护、发布，状态维护，上传广告图片 友情链接：友情链接的维护、状态维护 特别推荐：特别推荐、状态维护 ------------------------------------------------------------------------------------------------------------------------- 技术点 1. 导出 导入 excel 文件 2  导出word文件 3. IO 流上传下载文件 4. 群发邮件，可以发html、纯文本格式，可以发给任意邮箱(实现批量发送广告邮件) 5. 群发or单独 发送短信，支持两种第三方短信商接口 6. spring   aop  事物处理 7. 代码生成器 (freemarker)， 代码 zip 压缩打包 8. MD5加密 SHA加密（登录密码用此加密） 9. 数据库连接池  阿里的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势,支持并发 10.加入安全框架 shiro (登录授权)(session管理) 11.根据汉字 解析汉字的全拼(拼音)和首字母(导入excel到用户表，根据用户的汉字姓名生成拼音的用户名) 12.app接口（支持与其它语言数据交互） 12.极光推送 (推送给APP及时消息，APP不启动也能收到) 14.微信接口(微信接口验证，文本回复，图文回复等) 15.java定时器 （定时执行某程序，精确到秒，可设置周期） 16.Base64传输图片 17.图片加水印(图片水印，文字水印 18.生成 or  解析 二维码 19.HTML5 + JAVAEE  WebSocket 通信技术 20.批量异步上传图片，可预览，有进度条，支持拖拽上传(百度webuploader )。列表动态滑动放大展示。 21.ehcache 自定义二级缓存 ，选择缓存存放目录，处理并发，增加系统性能  -------------------------------------------------------------------------------------------------------------------------   qq：313596790  978336446，  群1：3007673**(已满)  群2: 212972924  群3：42984076(公开) 劳动所得 不喜勿喷：获取【下载地址】 ------------------------------------------------------------------------------------------------------------------------- 实物截图如下  登录界面背景用HTML5特效自动切换(百叶窗，幕布等多种切换方式)       代码生成器 【送此框架小项目代码】        

待发表博文长度：2971

待发表博文分词结果：

[java, 权限, 框架, springmvc, mybatis, hibernate, ehcache, 二级缓存, hibernate, springmvc, mybatis, bootstrap, shiro, 代码, 生成器, 开发, 利器, 阿里, 数据库, 连接池, druid, 权限, 框架, shiro, ehcache, 自定义, 二级缓存, 后续, activiti5, 工作流, 系统, 主流, springmvc, mybaits, 3.2, 版本, 提供, maven, pom, xml, 文件, 免费, 赠送, hibernate, 版本, 一套, 垮, 数据库, 1, oracle, msyql, 3.0, 4.0, 一共, 4, 套版, 提供, jar, 加密, 源代码, 最下面, 截图, 2.1, 版本, 2, 支持, app, 手机, android, ios, 接口, restcontroller, responsebody, 传输, 验证, 可用, shiro, md5, sha, 加密, 3, 全新, 高大, 尚, html5, 3.0, bootstrap, 响应, 式, 开发, 界面, ui, 美观, 漂亮, 时尚, 前沿, spring, restful, 风格, 4, 框架, 搭建, 完善, 在此, 基础上, 做过, 很多, 身经百战, 支持, 并发, 程序运行, 稳定, 5, 基础, 功能, 完善, 此为, 框架, 平台, 程序员, 二次, 开发, 6, 集成, 代码, 生成器, 大大提高, 开发, 效率, 从此, 不再, 码, 农, 再写, 搬, 砖, 代码, 生成, 模块, 运行, 7, 增, 删改, 查, 类, service, 层, mybatis, xml, sql, mysql, oracle, 脚本, jsp, 页面, 瞬间, 生成, 8, 数据库, 连接池, 阿里, druid, druid, 监控, 可扩展性, 稳定性, 性能, 都有, 优势, 9, 框架, shiro, 可靠, 10, tab, 标签, 页面, 功能, 标签, 自由, 切换, 重复, 操作, 数据库, 11, 在此, 基础上, 开发, 系统软件, oa, erp, 医疗, 金融, 网站, 后台, app, 后台, 劳动所得, 不喜, 勿, 喷, 获取, 下载, 地址, 系统, 模块, 1, 角色, 分, 角色, 组, 成员, 组, 权限, 成员, 权限, 2, 系统, 用户, 组, 会员, 增, 删改, 查, 单发, 群发, 邮件, 短信, 导入, 导出, excel, 表格, 批量, 删除, 3, 会员, 前台, 用户, 分配, 会员, 级别, 到期, 状态, 信息, 资料, 4, 菜单, 增, 删改, 查, 菜单, ztree, 自定义, 菜单, 业务, 菜单, 系统, 菜单, 分离, 5, 数据字典, 无限, 级别, 支持, 级别, 无限, 分类, 内设, 编号, 排序, 6, 系统, 设置, 修改, 系统, 名称, 邮件, 服务器, 配置, 短信, 账号, 设置, 分页, 条数, 配置, 7, 代码生成, 打开, 代码, 生成器, 模块, 8, 图库, 批量, 上传, 图片, 统一, 9, 性能, 监控, 监控, 系统, 性能, sql, 监控, sql, 防火墙, url, 监控, spring, 监控, session, 监控, 10, 接口, 测试, post, 方式, 检测, 系统, 接口, 参数, 加密, json, 返回, 计算, 服务器, 响应时间, 11, 发送, 邮件, 单发, 群发, 邮件, 菜单, 权限, 分配给, 角色, 菜单, 权限, 角色, 菜单, 按钮, 权限, 独立, 分配, 角色, 功能, 权限, 增, 删改, 查, 权限, 分配, 菜单, 支持, 多用户, 分, 权限, 后台, 权限, 按钮, 信息, 模块, 赠送, 新闻, 新闻, 维护, 发布, 权重, 排序, 采用, 百度, ueditor, 富, 文本框, 公告, 公告, 维护, 发布, 广告, 广告, 维护, 发布, 状态, 维护, 上传, 广告, 图片, 友情链接, 友情链接, 维护, 状态, 维护, 特别, 推荐, 特别, 推荐, 状态, 维护, 1, 导出, 导入, excel, 文件, 2, 导出, word, 文件, 3, io, 流, 上传下载, 文件, 4, 群发, 邮件, 发, html, 纯, 文本格式, 发给, 任意, 邮箱, 批量, 发送, 广告, 邮件, 5, 群发, 单独, 发送, 短信, 支持, 两种, 第三, 方, 短信, 商, 接口, 6, spring, aop, 事物, 7, 代码, 生成器, freemarker, 代码, zip, 压缩, 打包, 8, md5, 加密, sha, 加密, 登录, 密码, 用此, 加密, 9, 数据库, 连接池, 阿里, druid, druid, 监控, 可扩展性, 稳定性, 性能, 都有, 优势, 支持, 并发, 10, 框架, shiro, 登录, 授权, session, 11, 汉字, 解析, 汉字, 全拼, 拼音, 首字母, 导入, excel, 用户表, 用户, 汉字, 姓名, 生成, 拼音, 用户名, 12, app, 接口, 支持, 语言, 数据, 交互, 12, 极光, 推送, 推, 送给, app, 消息, app, 启动, 也能, 收到, 14, 微信, 接口, 微信, 接口, 验证, 文本, 回复, 图文, 回复, 15, java, 定时器, 定时, 执行, 程序, 精确, 秒, 设置, 周期, 16, base64, 传输, 图片, 17, 图片, 加, 水印, 图片, 水印, 文字, 水印, 18, 生成, 解析, 二维码, 19, html5, javaee, websocket, 通信, 20, 批量, 异步, 上传, 图片, 预览, 进度条, 支持, 拖拽, 上传, 百度, webuploader, 列表, 动态, 滑动, 放大, 展示, 21, ehcache, 自定义, 二级缓存, 选择, 缓存, 存放, 目录, 并发, 增加, 系统, 性能, qq, 313596790, 978336446, 群, 1, 3007673, 已满, 群, 2, 212972924, 群, 3, 42984076, 公开, 劳动所得, 不喜, 勿, 喷, 获取, 下载, 地址, 实物, 截图, 登录, 界面, 背景, html5, 特效, 自动, 切换, 百叶窗, 幕布, 多种, 切换, 方式, 代码, 生成器, 送, 框架, 小项目, 代码]

待发表博文词频统计：

1、权限=11

2、菜单=9

3、系统=9

4、监控=8

5、代码=8

6、支持=8

7、框架=7

8、维护=7

9、接口=7

10、邮件=6

11、图片=6

12、加密=6

13、app=5

14、生成器=5

15、druid=5

16、开发=5

17、角色=5

18、shiro=5

19、性能=5

20、数据库=5

21、状态=4

22、1=4

23、2=4

24、3=4

25、4=4

26、文件=4

27、上传=4

28、批量=4

29、增=4

30、群发=4

31、生成=4

32、删改=4

33、模块=4

34、短信=4

35、广告=4

36、查=4

37、用户=3

38、html5=3

39、分配=3

40、并发=3

41、二级缓存=3

42、10=3

43、11=3

44、汉字=3

45、切换=3

46、功能=3

47、登录=3

48、5=3

49、6=3

50、7=3

51、8=3

52、9=3

53、hibernate=3

54、发布=3

55、发送=3

56、级别=3

57、会员=3

58、spring=3

59、自定义=3

60、组=3

61、导入=3

62、ehcache=3

63、设置=3

64、excel=3

65、导出=3

66、阿里=3

67、连接池=3

68、springmvc=3

69、群=3

70、后台=3

71、水印=3

72、mybatis=3

73、sql=3

74、版本=3

75、分=2

76、java=2

77、xml=2

78、截图=2

79、地址=2

80、解析=2

81、基础上=2

82、12=2

83、服务器=2

84、成员=2

85、新闻=2

86、公告=2

87、标签=2

88、传输=2

89、方式=2

90、拼音=2

91、无限=2

92、稳定性=2

93、oracle=2

94、信息=2

95、推荐=2

96、验证=2

97、sha=2

98、优势=2

99、赠送=2

100、劳动所得=2

101、session=2

102、按钮=2

103、下载=2

104、特别=2

105、获取=2

106、勿=2

107、单发=2

108、不喜=2

109、排序=2

110、3.0=2

111、在此=2

112、bootstrap=2

113、完善=2

114、md5=2

115、界面=2

116、页面=2

117、喷=2

118、都有=2

119、提供=2

120、配置=2

121、友情链接=2

122、回复=2

123、百度=2

124、可扩展性=2

125、微信=2

126、码=1

127、送=1

128、aop=1

129、计算=1

130、大大提高=1

131、ios=1

132、选择=1

133、砖=1

134、前沿=1

135、集成=1

136、jar=1

137、尚=1

138、用户名=1

139、二次=1

140、两种=1

141、qq=1

142、操作=1

143、条数=1

144、14=1

145、15=1

146、16=1

147、17=1

148、18=1

149、19=1

150、目录=1

151、搬=1

152、javaee=1

153、文本格式=1

154、二维码=1

155、最下面=1

156、单独=1

157、20=1

158、21=1

159、层=1

160、手机=1

161、restful=1

162、图文=1

163、幕布=1

164、jsp=1

165、删除=1

166、pom=1

167、第三=1

168、采用=1

169、freemarker=1

170、启动=1

171、动态=1

172、从此=1

173、搭建=1

174、交互=1

175、运行=1

176、主流=1

177、也能=1

178、类=1

179、分离=1

180、实物=1

181、检测=1

182、小项目=1

183、文本=1

184、姓名=1

185、restcontroller=1

186、ui=1

187、post=1

188、后续=1

189、自由=1

190、很多=1

191、mysql=1

192、全拼=1

193、加=1

194、做过=1

195、异步=1

196、缓存=1

197、212972924=1

198、responsebody=1

199、纯=1

200、进度条=1

201、授权=1

202、文字=1

203、表格=1

204、资料=1

205、android=1

206、执行=1

207、邮箱=1

208、内设=1

209、msyql=1

210、json=1

211、42984076=1

212、数据字典=1

213、到期=1

214、权重=1

215、时尚=1

216、送给=1

217、拖拽=1

218、存放=1

219、密码=1

220、重复=1

221、压缩=1

222、4.0=1

223、service=1

224、分配给=1

225、修改=1

226、打开=1

227、防火墙=1

228、上传下载=1

229、统一=1

230、式=1

231、可用=1

232、系统软件=1

233、通信=1

234、身经百战=1

235、打包=1

236、公开=1

237、zip=1

238、首字母=1

239、程序员=1

240、发给=1

241、activiti5=1

242、已满=1

243、分页=1

244、io=1

245、定时器=1

246、不再=1

247、背景=1

248、用此=1

249、效率=1

250、3.2=1

251、事物=1

252、列表=1

253、风格=1

254、word=1

255、分类=1

256、流=1

257、全新=1

258、脚本=1

259、商=1

260、前台=1

261、独立=1

262、利器=1

263、推送=1

264、313596790=1

265、此为=1

266、可靠=1

267、高大=1

268、一套=1

269、图库=1

270、工作流=1

271、erp=1

272、代码生成=1

273、ueditor=1

274、3007673=1

275、响应=1

276、url=1

277、webuploader=1

278、2.1=1

279、一共=1

280、任意=1

281、精确=1

282、账号=1

283、免费=1

284、base64=1

285、名称=1

286、基础=1

287、展示=1

288、程序运行=1

289、978336446=1

290、tab=1

291、websocket=1

292、定时=1

293、百叶窗=1

294、响应时间=1

295、html=1

296、返回=1

297、农=1

298、语言=1

299、放大=1

300、maven=1

301、再写=1

302、源代码=1

303、网站=1

304、推=1

305、垮=1

306、编号=1

307、医疗=1

308、收到=1

309、方=1

310、周期=1

311、瞬间=1

312、稳定=1

313、mybaits=1

314、增加=1

315、富=1

316、金融=1

317、业务=1

318、发=1

319、oa=1

320、秒=1

321、平台=1

322、预览=1

323、套版=1

324、漂亮=1

325、特效=1

326、参数=1

327、极光=1

328、测试=1

329、消息=1

330、文本框=1

331、程序=1

332、自动=1

333、数据=1

334、多用户=1

335、ztree=1

336、多种=1

337、滑动=1

338、美观=1

339、用户表=1

黑博文URL：

http://baidu-27233181.iteye.com/blog/2200706

黑博文标题：

tab标签_集成代码生成器_java企业框架 SpringMVC_mybatis or hibernate+ehcache二级缓存+shiro+druid+bo hibernate springmvc mybatis bootstrap shiro 

黑博文内容：

A 代码生成器(开发利器);  B 阿里数据库连接池druid; C 安全权限框架shiro ; D ehcache 自定义二级缓存  （后续会加入Activiti5 工作流 ） 系统为主流的 springmvc+mybaits 3.2 版本 ,提供maven的pom.xml文件,另免费赠送hibernate版本一套(垮数据库)  1. 有 oracle 、msyql、spring3.0、spring4.0  一共 4 套版本全部提供没有打jar没有加密的源代码(最下面截图2.1版本)  2. 支持APP手机应用(android和ios)接口(restcontroller,  @ResponseBody) ,传输验证可用 shiro 的 MD5、SHA 等加密  3. 全新高大尚HTML5+css3.0+bootstrap响应式开发界面UI，美观漂亮时尚、前沿.  spring restful 风格  4. 框架搭建完善，在此基础上做过很多项目，身经百战，支持大并发，程序运行稳定。  5. 基础功能已经完善，此为框架平台，需要程序员二次开发做具体的项目  6. 集成代码生成器，将大大提高开发效率，从此不再当码农，不再写搬砖代码，生成的模块直接可以运行  7. 增删改查的处理类，service层，mybatis的xml，SQL( mysql   和oracle)脚本,   jsp页面 将瞬间生成  8. 数据库连接池  阿里的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势  9. 加入安全框架 shiro ，更安全，更可靠  10.加入tab标签页面功能，标签自由切换，不重复操作数据库  11.在此基础上可开发各种系统软件(OA、ERP、医疗管理、金融、网站后台、APP后台等等 劳动所得 不喜勿喷：获取【下载地址】  -------------------------------------------------------------------------------------------------------------------------  系统模块  1. 组织管理：角色管理，分角色组和成员，有组权限和成员权限。    2. 系统用户：对各个基本的组会员增删改查，单发、群发邮件短信，导入导出excel表格，批量删除    3. 会员管理：对前台用户管理，分配会员级别，到期时间，状态，联系信息等资料    4. 菜单管理：增删改查菜单 ztree（自定义菜单）业务菜单和系统菜单分离    5. 数据字典：无限级别，支持多级别无限分类。内设编号，排序等    6. 系统设置：修改系统名称，邮件服务器配置，短信账号设置，分页条数配置    7. 代码生成：打开代码生成器模块    8. 图库管理：对批量上传的图片统一管理    9. 性能监控：监控整个系统的性能，SQL监控，SQL防火墙，URL监控，SPRING监控，SESSION监控等   10. 接口测试：POST or GET 方式检测系统接口，参数加密，json返回结果，计算服务器响应时间   11. 发送邮件：单发，群发邮件  ------------------------------------------------------------------------------------------------------------------------- 菜单权限：分配给每个角色不同的菜单权限, 每个角色看到的菜单不同 按钮权限：独立分配不同的角色不同的功能权限，增删改查权限分配具体到不同的菜单 支持多用户分权限管理后台,  权限具体到按钮  ------------------------------------------------------------------------------------------------------------------------- 信息模块(赠送) 新闻管理：新闻的维护、发布、权重排序等 采用百度ueditor富文本框 公告管理：公告的维护、发布 广告管理：广告的维护、发布，状态维护，上传广告图片 友情链接：友情链接的维护、状态维护 特别推荐：特别推荐、状态维护 ------------------------------------------------------------------------------------------------------------------------- 技术点 1. 导出 导入 excel 文件 2  导出word文件 3. IO 流上传下载文件 4. 群发邮件，可以发html、纯文本格式，可以发给任意邮箱(实现批量发送广告邮件) 5. 群发or单独 发送短信，支持两种第三方短信商接口 6. spring   aop  事物处理 7. 代码生成器 (freemarker)， 代码 zip 压缩打包 8. MD5加密 SHA加密（登录密码用此加密） 9. 数据库连接池  阿里的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势,支持并发 10.加入安全框架 shiro (登录授权)(session管理) 11.根据汉字 解析汉字的全拼(拼音)和首字母(导入excel到用户表，根据用户的汉字姓名生成拼音的用户名) 12.app接口（支持与其它语言数据交互） 12.极光推送 (推送给APP及时消息，APP不启动也能收到) 14.微信接口(微信接口验证，文本回复，图文回复等) 15.java定时器 （定时执行某程序，精确到秒，可设置周期） 16.Base64传输图片 17.图片加水印(图片水印，文字水印 18.生成 or  解析 二维码 19.HTML5 + JAVAEE  WebSocket 通信技术 20.批量异步上传图片，可预览，有进度条，支持拖拽上传(百度webuploader )。列表动态滑动放大展示。 21.ehcache 自定义二级缓存 ，选择缓存存放目录，处理并发，增加系统性能  -------------------------------------------------------------------------------------------------------------------------   qq：313596790  978336446，  群1：3007673**(已满)  群2: 212972924  群3：42984076(公开) 劳动所得 不喜勿喷：获取【下载地址】 ------------------------------------------------------------------------------------------------------------------------- 实物截图如下  登录界面背景用HTML5特效自动切换(百叶窗，幕布等多种切换方式)       代码生成器 【送此框架小项目代码】        

黑博文长度：2971

黑博文分词结果：

[tab, 标签, 集成, 代码, 生成器, java, 框架, springmvc, mybatis, hibernate, ehcache, 二级缓存, shiro, druid, bo, hibernate, springmvc, mybatis, bootstrap, shiro, 代码, 生成器, 开发, 利器, 阿里, 数据库, 连接池, druid, 权限, 框架, shiro, ehcache, 自定义, 二级缓存, 后续, activiti5, 工作流, 系统, 主流, springmvc, mybaits, 3.2, 版本, 提供, maven, pom, xml, 文件, 免费, 赠送, hibernate, 版本, 一套, 垮, 数据库, 1, oracle, msyql, 3.0, 4.0, 一共, 4, 套版, 提供, jar, 加密, 源代码, 最下面, 截图, 2.1, 版本, 2, 支持, app, 手机, android, ios, 接口, restcontroller, responsebody, 传输, 验证, 可用, shiro, md5, sha, 加密, 3, 全新, 高大, 尚, html5, 3.0, bootstrap, 响应, 式, 开发, 界面, ui, 美观, 漂亮, 时尚, 前沿, spring, restful, 风格, 4, 框架, 搭建, 完善, 在此, 基础上, 做过, 很多, 身经百战, 支持, 并发, 程序运行, 稳定, 5, 基础, 功能, 完善, 此为, 框架, 平台, 程序员, 二次, 开发, 6, 集成, 代码, 生成器, 大大提高, 开发, 效率, 从此, 不再, 码, 农, 再写, 搬, 砖, 代码, 生成, 模块, 运行, 7, 增, 删改, 查, 类, service, 层, mybatis, xml, sql, mysql, oracle, 脚本, jsp, 页面, 瞬间, 生成, 8, 数据库, 连接池, 阿里, druid, druid, 监控, 可扩展性, 稳定性, 性能, 都有, 优势, 9, 框架, shiro, 可靠, 10, tab, 标签, 页面, 功能, 标签, 自由, 切换, 重复, 操作, 数据库, 11, 在此, 基础上, 开发, 系统软件, oa, erp, 医疗, 金融, 网站, 后台, app, 后台, 劳动所得, 不喜, 勿, 喷, 获取, 下载, 地址, 系统, 模块, 1, 角色, 分, 角色, 组, 成员, 组, 权限, 成员, 权限, 2, 系统, 用户, 组, 会员, 增, 删改, 查, 单发, 群发, 邮件, 短信, 导入, 导出, excel, 表格, 批量, 删除, 3, 会员, 前台, 用户, 分配, 会员, 级别, 到期, 状态, 信息, 资料, 4, 菜单, 增, 删改, 查, 菜单, ztree, 自定义, 菜单, 业务, 菜单, 系统, 菜单, 分离, 5, 数据字典, 无限, 级别, 支持, 级别, 无限, 分类, 内设, 编号, 排序, 6, 系统, 设置, 修改, 系统, 名称, 邮件, 服务器, 配置, 短信, 账号, 设置, 分页, 条数, 配置, 7, 代码生成, 打开, 代码, 生成器, 模块, 8, 图库, 批量, 上传, 图片, 统一, 9, 性能, 监控, 监控, 系统, 性能, sql, 监控, sql, 防火墙, url, 监控, spring, 监控, session, 监控, 10, 接口, 测试, post, 方式, 检测, 系统, 接口, 参数, 加密, json, 返回, 计算, 服务器, 响应时间, 11, 发送, 邮件, 单发, 群发, 邮件, 菜单, 权限, 分配给, 角色, 菜单, 权限, 角色, 菜单, 按钮, 权限, 独立, 分配, 角色, 功能, 权限, 增, 删改, 查, 权限, 分配, 菜单, 支持, 多用户, 分, 权限, 后台, 权限, 按钮, 信息, 模块, 赠送, 新闻, 新闻, 维护, 发布, 权重, 排序, 采用, 百度, ueditor, 富, 文本框, 公告, 公告, 维护, 发布, 广告, 广告, 维护, 发布, 状态, 维护, 上传, 广告, 图片, 友情链接, 友情链接, 维护, 状态, 维护, 特别, 推荐, 特别, 推荐, 状态, 维护, 1, 导出, 导入, excel, 文件, 2, 导出, word, 文件, 3, io, 流, 上传下载, 文件, 4, 群发, 邮件, 发, html, 纯, 文本格式, 发给, 任意, 邮箱, 批量, 发送, 广告, 邮件, 5, 群发, 单独, 发送, 短信, 支持, 两种, 第三, 方, 短信, 商, 接口, 6, spring, aop, 事物, 7, 代码, 生成器, freemarker, 代码, zip, 压缩, 打包, 8, md5, 加密, sha, 加密, 登录, 密码, 用此, 加密, 9, 数据库, 连接池, 阿里, druid, druid, 监控, 可扩展性, 稳定性, 性能, 都有, 优势, 支持, 并发, 10, 框架, shiro, 登录, 授权, session, 11, 汉字, 解析, 汉字, 全拼, 拼音, 首字母, 导入, excel, 用户表, 用户, 汉字, 姓名, 生成, 拼音, 用户名, 12, app, 接口, 支持, 语言, 数据, 交互, 12, 极光, 推送, 推, 送给, app, 消息, app, 启动, 也能, 收到, 14, 微信, 接口, 微信, 接口, 验证, 文本, 回复, 图文, 回复, 15, java, 定时器, 定时, 执行, 程序, 精确, 秒, 设置, 周期, 16, base64, 传输, 图片, 17, 图片, 加, 水印, 图片, 水印, 文字, 水印, 18, 生成, 解析, 二维码, 19, html5, javaee, websocket, 通信, 20, 批量, 异步, 上传, 图片, 预览, 进度条, 支持, 拖拽, 上传, 百度, webuploader, 列表, 动态, 滑动, 放大, 展示, 21, ehcache, 自定义, 二级缓存, 选择, 缓存, 存放, 目录, 并发, 增加, 系统, 性能, qq, 313596790, 978336446, 群, 1, 3007673, 已满, 群, 2, 212972924, 群, 3, 42984076, 公开, 劳动所得, 不喜, 勿, 喷, 获取, 下载, 地址, 实物, 截图, 登录, 界面, 背景, html5, 特效, 自动, 切换, 百叶窗, 幕布, 多种, 切换, 方式, 代码, 生成器, 送, 框架, 小项目, 代码]

黑博文词频统计：

1、权限=10

2、菜单=9

3、系统=9

4、代码=9

5、监控=8

6、支持=8

7、框架=7

8、维护=7

9、接口=7

10、邮件=6

11、生成器=6

12、druid=6

13、图片=6

14、加密=6

15、shiro=6

16、app=5

17、开发=5

18、角色=5

19、性能=5

20、数据库=5

21、状态=4

22、1=4

23、2=4

24、3=4

25、4=4

26、文件=4

27、上传=4

28、批量=4

29、增=4

30、群发=4

31、生成=4

32、删改=4

33、模块=4

34、短信=4

35、广告=4

36、查=4

37、用户=3

38、html5=3

39、分配=3

40、并发=3

41、二级缓存=3

42、10=3

43、11=3

44、汉字=3

45、切换=3

46、功能=3

47、登录=3

48、5=3

49、6=3

50、7=3

51、8=3

52、9=3

53、hibernate=3

54、发布=3

55、标签=3

56、发送=3

57、级别=3

58、会员=3

59、spring=3

60、自定义=3

61、组=3

62、导入=3

63、ehcache=3

64、设置=3

65、excel=3

66、导出=3

67、阿里=3

68、连接池=3

69、springmvc=3

70、群=3

71、后台=3

72、水印=3

73、mybatis=3

74、sql=3

75、版本=3

76、分=2

77、java=2

78、xml=2

79、集成=2

80、截图=2

81、地址=2

82、解析=2

83、基础上=2

84、12=2

85、服务器=2

86、成员=2

87、新闻=2

88、公告=2

89、传输=2

90、方式=2

91、拼音=2

92、无限=2

93、稳定性=2

94、oracle=2

95、信息=2

96、推荐=2

97、验证=2

98、sha=2

99、优势=2

100、赠送=2

101、劳动所得=2

102、session=2

103、按钮=2

104、下载=2

105、特别=2

106、获取=2

107、勿=2

108、单发=2

109、不喜=2

110、排序=2

111、3.0=2

112、在此=2

113、bootstrap=2

114、完善=2

115、md5=2

116、tab=2

117、界面=2

118、页面=2

119、喷=2

120、都有=2

121、提供=2

122、配置=2

123、友情链接=2

124、回复=2

125、百度=2

126、可扩展性=2

127、微信=2

128、码=1

129、送=1

130、aop=1

131、计算=1

132、大大提高=1

133、ios=1

134、选择=1

135、砖=1

136、前沿=1

137、jar=1

138、尚=1

139、用户名=1

140、二次=1

141、两种=1

142、qq=1

143、操作=1

144、条数=1

145、14=1

146、15=1

147、16=1

148、17=1

149、18=1

150、19=1

151、目录=1

152、搬=1

153、javaee=1

154、文本格式=1

155、二维码=1

156、最下面=1

157、单独=1

158、20=1

159、21=1

160、层=1

161、手机=1

162、restful=1

163、图文=1

164、幕布=1

165、jsp=1

166、bo=1

167、删除=1

168、pom=1

169、第三=1

170、采用=1

171、freemarker=1

172、启动=1

173、动态=1

174、从此=1

175、搭建=1

176、交互=1

177、运行=1

178、主流=1

179、也能=1

180、类=1

181、分离=1

182、实物=1

183、检测=1

184、小项目=1

185、文本=1

186、姓名=1

187、restcontroller=1

188、ui=1

189、post=1

190、后续=1

191、自由=1

192、很多=1

193、mysql=1

194、全拼=1

195、加=1

196、做过=1

197、异步=1

198、缓存=1

199、212972924=1

200、responsebody=1

201、纯=1

202、进度条=1

203、授权=1

204、文字=1

205、表格=1

206、资料=1

207、android=1

208、执行=1

209、邮箱=1

210、内设=1

211、msyql=1

212、json=1

213、42984076=1

214、数据字典=1

215、到期=1

216、权重=1

217、时尚=1

218、送给=1

219、拖拽=1

220、存放=1

221、密码=1

222、重复=1

223、压缩=1

224、4.0=1

225、service=1

226、分配给=1

227、修改=1

228、打开=1

229、防火墙=1

230、上传下载=1

231、统一=1

232、式=1

233、可用=1

234、系统软件=1

235、通信=1

236、身经百战=1

237、打包=1

238、公开=1

239、zip=1

240、首字母=1

241、程序员=1

242、发给=1

243、activiti5=1

244、已满=1

245、分页=1

246、io=1

247、定时器=1

248、不再=1

249、背景=1

250、用此=1

251、效率=1

252、3.2=1

253、事物=1

254、列表=1

255、风格=1

256、word=1

257、分类=1

258、流=1

259、全新=1

260、脚本=1

261、商=1

262、前台=1

263、独立=1

264、利器=1

265、推送=1

266、313596790=1

267、此为=1

268、可靠=1

269、高大=1

270、一套=1

271、图库=1

272、工作流=1

273、erp=1

274、代码生成=1

275、ueditor=1

276、3007673=1

277、响应=1

278、url=1

279、webuploader=1

280、2.1=1

281、一共=1

282、任意=1

283、精确=1

284、账号=1

285、免费=1

286、base64=1

287、名称=1

288、基础=1

289、展示=1

290、程序运行=1

291、978336446=1

292、websocket=1

293、定时=1

294、百叶窗=1

295、响应时间=1

296、html=1

297、返回=1

298、农=1

299、语言=1

300、放大=1

301、maven=1

302、再写=1

303、源代码=1

304、网站=1

305、推=1

306、垮=1

307、编号=1

308、医疗=1

309、收到=1

310、方=1

311、周期=1

312、瞬间=1

313、稳定=1

314、mybaits=1

315、增加=1

316、富=1

317、金融=1

318、业务=1

319、发=1

320、oa=1

321、秒=1

322、平台=1

323、预览=1

324、套版=1

325、漂亮=1

326、特效=1

327、参数=1

328、极光=1

329、测试=1

330、消息=1

331、文本框=1

332、程序=1

333、自动=1

334、数据=1

335、多用户=1

336、ztree=1

337、多种=1

338、滑动=1

339、美观=1

340、用户表=1 

 

 

 

 

 

 

 

 

 

 

 

评论

4 楼 yangshangchuan 2015-08-02  

2952318966 写道

请问下  org.seo.rank.SimilarChecker 这个JAR 包在那下载？
能否提供下，谢谢了

https://github.com/ysc/rank

3 楼 2952318966 2015-07-29  

请问下  org.seo.rank.SimilarChecker 这个JAR 包在那下载？
能否提供下，谢谢了

2 楼 endual 2015-05-07  

楼座这家伙真心耐心，点赞。

1 楼 yangsong158 2015-05-06  

这样科学严谨的分析，十分令人敬佩。
关于文本相似度算法。在我的项目中，有这么一个应用场景。
在作业系统中，某些操作步骤，需要用户上传几十个附件。对每种不同的业务场景，需要的附件是不一样的。因此，需要在系统中维护这么一个附件清单。
文件太多了，一个一个的上传十分累人，因此要求打包后上传，上传到服务器后，自动解包，然后根据文件中文名称+服务器中维护的参考清单。把解包后的附件匹配到相应的清单上。如果匹配有问题，可手工调整。

当初，我到网上找了一个俄罗斯人写的算法。通过简单测试，大体没问题后，直接应用到系统中去了。
看上去，使用你的rank项目是可以非常漂亮的解决这个问题的。