判断不同文本文件中是否有相同的行？

0 0

判断不同文本文件中是否有相同的行？3

3,5,7,10,6,             23,2
4,7,45,2,1,             3,8,9
23,2                    67,90
45,7,8,           与     3,5,7,10,6
23,6,90                 23,89,90

上面是2个文本文件
请问分别读入一个或两个或者n个txt文件，全组合，分别判断每两个文件中是否有相同的行，如果有，则删去
？
谢谢

问题补充：
比方说就上面的那两个txt文件吧
除去包含的相同的行，最后输出

4,7,45,2,1,             3,8,9
45,7,8,           与     67,90
23,6,90                 23,89,90
问题补充：
能有详细代码可以具体实现吗

设计模式

2009年1月06日 17:01

sn8201
0
0 0 0

6个答案按时间排序按投票排序

0 0

将这些文本文件中的每一行读到map中，用key来区分不同的文件，map.put('f11',第一个文件中的第一行),map.put('f22',第二个文件中的第二行),然后对这个map做一些处理，删除值重复的key-value对，最后根据key读入不同的文件，其中有一个问题，如f11仍然存在，f12被删，这时f13应该是第一个文件中的第二行，所以往文件读数据的时候要稍微做一些处理,如先确定是f1，再按后面数字由小到大读入文件中。

2009年1月08日 10:55

liumy601
166
0 0 0

添加评论

0 0

按照bohemia (资深程序员)的做法, 我写了个程序:
a.txt内容为:
a
b
c
f
g

b.txt内容为:
a
e
b
d
c

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.util.HashSet;
import java.util.Set;

/**
 * 两个文件a.txt和b.txt, 去掉相同的行, 即交集
 * 
 * @author zhanjia
 *
 */
public class TestSet {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		String file1 = "D:/a.txt";
		String file2 = "D:/b.txt";
		Set set1 = new HashSet();
		Set set11 = new HashSet();
		Set set2 = new HashSet();
		
		BufferedReader br1 = null;
		BufferedReader br2 = null;
		
		try {
			br1 = new BufferedReader(new InputStreamReader(new FileInputStream(file1)));
			br2 = new BufferedReader(new InputStreamReader(new FileInputStream(file2)));
			String line1 = null;
			String line2 = null;
			while ((line1 = br1.readLine()) != null) {
				set1.add(line1);
				set11.add(line1);
			}
			while ((line2 = br2.readLine()) != null) {
				set2.add(line2);
			}
			
			set11.retainAll(set2);
			System.out.println("交集: " + set11);
			
			set1.removeAll(set11);
			System.out.println("set1去掉交集: " + set1);
			set2.removeAll(set11);
			System.out.println("set2去掉交集: " + set2);
		} catch (Exception e) {
			try {
				br1.close();
				br2.close();
			} catch (Exception ce) {
			}
		}
		
	}

}

结果为:
交集: [a, c, b]
set1去掉交集: [f, g]
set2去掉交集: [d, e]

2009年1月07日 11:20

zhanjia
514
0 0 0

添加评论

0 0

我说下，以上这个问题在搜索算法中用的很多，在小索引合并的时候。

2009年1月06日 21:36

sdh5724
874
0 0 1

添加评论

0 0

如果Java
类似的操作:
1.读取2个文件到2个独立的Set;
2.Set求交集;(找到公共出现的行);
3.Set求差集;(过滤重复行);
end.

回答的不错，我们继续强化下这个问题，把这个问题，扩展到 100W个小文件。哈哈。想个算法。我目前能想到的是排序竞赛树。复杂度是 O（nlgn + n)，排序是nlgn, n 是竞赛树的复杂度。

2009年1月06日 21:35

sdh5724
874
0 0 1

添加评论

0 0

如果是py:

file1;
file2;
s1 = set(file1.readlines());
s2 = set(file2.readlines());

print s1-(s1&s2);

如果Java
类似的操作:
1.读取2个文件到2个独立的Set;
2.Set求交集;(找到公共出现的行);
3.Set求差集;(过滤重复行);
end.

2009年1月06日 20:42

bohemia
2361
0 0 0

添加评论

0 0

先直接组合，再排序，再遍历一次，

2009年1月06日 17:08

魔兽精神
146
0 0 0

添加评论

已解决问题

未解决问题

排行榜

查看全部排名>>