弄google 热榜,重复问题实在是太严重了。。。
比如:http://www.google.cn/rebang/clip?bid=12000000&length=8&num=15
写了一段代码,用于去重:
'''
输入字符串数组,return 去重后的数组
implement in 1 hour..
'''
def duplicate_detection(list):
dict = []
for str in list:
for char in str:
if char not in dict:
dict.append(char)
def exist(str ,char):
if str.find(char) != -1:
return 1
return 0
vec_cache = {}
'''把str转换为向量'''
def str2vec(str):
if str not in vec_cache:
vec_cache[str] = [exist(str, char) for char in dict]
#print str, '->', vec_cache[str]
return vec_cache[str]
def cos(str1, str2):
v1 = str2vec(str1)
v2 = str2vec(str2)
rst = 0
for i in range(0, len(v1)):
rst += v1[i] * v2[i]
return rst#相同字符的个数
threshold = 3
rst = []
for str in list :
if all(cos(str,tmp)< threshold for tmp in rst):
rst.append(str)
return rst
def main():
print duplicate_detection([
'abc',
'abcd',
'def'
])
list = u'''
邓丽欣6分钟视频
邓丽欣视频下载
邓丽欣6分钟
邓丽欣六分钟
都市猎人
林秀琴 失业
林秀琴失业
邓丽欣图片
邓丽欣
邓丽欣下载
邓丽欣 下载
一后三王
'''.split('\n')
for rst in duplicate_detection(list):
print rst
if __name__ == "__main__":
main()
输出:
邓丽欣6分钟视频
都市猎人
林秀琴 失业
一后三王
效果不错噢
google 为啥自己不做去重呢。。。。。
分享到:
相关推荐
二是句型转换,改变原句的结构,如将主动句改为被动句,或将长句拆分为短句;三是添加引述和引用,对于必要的引用内容,正确格式化引用可以避免被误判为抄袭。"PP文章伪原创降重助手2.0"会根据这些策略给出具体的...
【标题】中的“中文首拼代码输入法 C++中文输入法 自由中文输入法 多行短句输入法”指的是一个编程实现的中文输入法系统,它基于C++语言开发,具备首拼音编码功能,同时支持五笔码和拼音的混合输入。这种输入法旨在...
【标签】:"999常用短句" 表明这是一份包含999个常用英语短句的集合,覆盖了日常生活的各种情境,从问候、道别、表达感受、提出请求到谈论天气、购物、旅行等各种话题。 【部分内容】中的短句展示了英语口语中常见的...
《看幽默漫画学日语短句(01-30)》是一本独特而有趣的日语学习资源,它结合了幽默漫画与实用的日语短句,旨在帮助学习者在轻松愉快的氛围中掌握日语基础知识。这个压缩包包含了一个名为“看幽默漫画学日语短句(01-...
3. `Application.CommandBars("Standard").Controls(2).BeginGroup = True`: 这行代码将常用工具栏的第二个按钮前插入一个分隔符,以便组织工具栏上的按钮。 4. `.WrapText` 属性:用来控制单元格内容是否自动换行...
这份文件名《外国人嘴边的短句精选.pdf》旨在为英语学习者提供实用的、高频出现的英语口语短句,并强调了这些短句的实用性,帮助英语初学者练习和提高口语能力。文档内容包括各种日常生活、社交互动、情感表达、评论...
这段文字汇集了多种鼓励祝福的短句,主要面向即将参加考试的人群,特别是高考考生。在这些短句中,我们可以提炼出以下几点关于考试、学习态度和人生态度的重要知识点: 1. 勤奋与努力:多条短句强调了努力的重要性...
【西班牙语常用短句】 学习西班牙语,掌握一些基本的短句是非常重要的,这不仅可以帮助你在日常交流中表达自己的需求,还能增进与讲西班牙语人士的沟通。以下是一些常用的西班牙语短句及其应用场景: 1. 问候: -...
基于matlab实现卷积神经网络的汉语短句语音识别项目源码(高分项目),含有代码注释,新手也可看懂,个人手打98分项目,导师非常认可的高分项目,毕业设计、期末大作业和课程设计高分必看,下载下来,简单部署,就...
【标题】和【描述】提及的是一个英文口语学习资源,主要涵盖了日常生活和工作中最常用的英文口语短句。这些短句简单实用,适用于各种情境,帮助提高日常交流能力。 【标签】"常用英文口语短句"强调了这个资源的实用...
在现代文学创作中,短句独立成段的作文训练已经成为一种独特的艺术表达方式。它通过简短而有力的句子独立成段,使得文章节奏鲜明,情感表达更加直接,能够迅速吸引读者的注意力,加强文章的艺术效果。本文将通过分析...
总结而言,《一年级上册短句词语PPT学习教案》通过科学合理的编排,为学生提供了一个全面的学习平台,不仅有助于学生掌握必需的词汇和句型,还能够帮助他们理解语言背后的文化和思维逻辑。这样的教学安排,无疑有助...
【英语短句100句精华】是一篇针对英语学习者的资源,特别适合正在准备考研的人群。这些短句涵盖了日常对话、商务交流以及情感表达等多个方面,旨在帮助学习者提高英语口语和实际应用能力。 从提供的部分句子中,...
【木小禾素材】100句人生格言短句
《看幽默漫画学日语短句》是一款独特的学习资源,旨在通过轻松幽默的漫画形式,帮助学习者掌握日常的日语短句。这种教学方法既有趣又实用,将语言学习与娱乐相结合,使得学习过程不再枯燥乏味。漫画中的场景贴近生活...
1. `[A65536].End(xlUp).Row`: 这段代码用于找到A列中最后一个非空单元格的行号,即A列的末行。`xlUp`参数表示向上查找。 2. `[A1].End(xlDown).Row`: 这个短句找出A列第一个非空单元格的行号,从A1开始向下查找。 ...
每一句英语短句都配有一个准确的中文翻译,这样的设计使得学习者可以快速理解并记忆句子的用法。通过背诵这些短句,学习者不仅能够积累词汇,还能够学会如何在适当的情境中使用这些词汇,从而在实际对话中展现出更加...
~~~~~日语流行口语极短句888个~~~~~~~~~~~~
上述提供的VBA短句是一些常见的实用技巧,用于处理Excel工作簿中的数据、操作界面元素以及设置工作表属性。以下是对这些短句的详细解释: 1. `[A65536].End(xlUp).Row`:找到A列从底部向上第一个有值的行号。这是...