图像搜索(SIFT算法)组件 -

一般大小的图片可以计算出 10^2 ~ 10^3 数量级的特征值, 每个特征值是一个 float[128], 即一个 128 维浮点向量, 而图像搜索就是计算向量的欧氏距离, 找距离最小的样本向量, 这无疑是海量的计算. 一个比较好的做法是利用向量的空间信息构建k-d树, 即k维向量树, 这里 k=128, 查找的时候利用空间信息优先查找可能性大的分支, 搜索时间 T(n) = θ(log(n)).

我尝试用GPU加速来加快搜索, 用到 aparapi, 无奈它只支持基本类型的运算, 无法处理 Java 对象, 就是说k-d树没法用了, 只能用数组组织特征值, GPU处理欧氏距离的计算, 由于计算粒度小, 数据交互量大, 用这种方式反而可能比用CPU还慢.

这个组件比较适合样本图像差距较大的情况, 由于每个特征值的匹配查找只找出最接近的那个, 如果样本库里有多个与目标图像接近的图像, 那么最接近的那个会被找到, 而不那么接近的其他图像将会被它 "掩盖". 如果有这样的情况, 那么需要修改搜索代码.

下面贴一段示例代码演示一下它的用法.

public class SiftHelperTest {
	private static final Logger log = LoggerFactory.getLogger(SiftHelperTest.class);

	private static String[] dirs = new String[]{
					"E:\\project\\texture\\picsRep\\sample"
	};

	private static File resultDir = new File("l:/result");

	public static void main(String[] args) throws IOException, InterruptedException {
		SiftHelper.FeaMgrType feaMgrType = SiftHelper.FeaMgrType.KDTree;
		final SiftHelper<String> analyzer = new SiftHelper<>(String.class, feaMgrType);

		// 准备预处理器
		ImgPreProc samplePreProc = genImgPreProc(180);
		ImgPreProc testPreProc = genImgPreProc(150);

		analyzer.setImgPreProc(samplePreProc);
		analyzer.setMinMatchCount(2);

		// 准备样本库
		final ExecutorService exec = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors());
		for (String dir : dirs)
			FileUtil.recurDir(new File(dir), null, new FileUtil.FileTask() {
				@Override
				public void handle(final File f) {
					exec.submit(() -> {
						try {
							analyzer.bindImage(f.getName(), ImageIO.read(f));
						} catch (Exception e) {
							e.printStackTrace();
						}
					});
				}
			});
		exec.shutdown();
		exec.awaitTermination(1, TimeUnit.DAYS);

		// 设置搜索超时, 即给定一个特征值的搜索超时, 设置一个合适的值可以获得很好的 搜索效果/搜索耗时 比.
		analyzer.getFeatureManager().setEachFeatureTimeout(3000);

		System.out.println("ready to search.");
		BufferedReader s = new BufferedReader(new InputStreamReader(System.in));
		String file;
		while ((file = s.readLine()) != null) {
			if ((file = file.trim()).length() < 1) continue;
			// 执行搜索
			searchImg(analyzer, file, testPreProc, dirs[0], resultDir);
		}
	}


	static void searchImg(SiftHelper<String> analyzer, String file, ImgPreProc preProc, String sampleDir,
	                      File resultDir) {
		try {
			List<ImageFeature> features = preProc.process(ImageIO.read(new File(file)));

			List<ImageAnalyzerResult<String>> res = analyzer.findImage(features);

			System.out.println(file + " Results: " + res.size());
			int i = 1;

			if (resultDir.exists())
				for (File child : resultDir.listFiles())
					if (child.isFile()) child.delete();

			for (ImageAnalyzerResult<String> result : res) {
				System.out.println(result);

				if (resultDir.exists()) {
					String dir = sampleDir + "/" + result.getUserObj();
					Files.copy(Paths.get(dir), Paths.get(resultDir.getPath() + "/" + (i++) + " " + result.getUserObj()));
				}
			}
			System.out.println();
		} catch (Exception e) {
			log.error("searchImg failed: " + file, e);
		}

		System.gc();
	}


	static ImgPreProc genImgPreProc(int scaleLimit) {
		GrayScaleLimit preProc = new GrayScaleLimit();
		ImageFeatureExtractor sift = new JavaSIFT();
		preProc.setFe(sift);
		preProc.setScaleLimit(scaleLimit);
		return preProc;
	}
}

分享到：