用openvc 控制鼠标 来移动和打开文件

这一阵做了冷板凳。蛋有淡淡的忧伤。开始吓唬闹ing....................

 

需求:

有时候坐在离鼠标比较远的地方（比如推到沙发上）看网页，看电影要用鼠标去控制，还得蹭过去。写个用握拳挥动来控制鼠标移动，用掌来打开文件的程序。

打算到时候可以移到自家android电视上去。

 

困难:

之前也没有写过c 语言程序（还读书的时候考级用过），开始看opencv 更是雾水，还好 “凡是不决问狗狗”。顺便蛋伤下:狗狗提供的不只是口粮，还有思想。 

 

 

 

 

，另外，我想写一个基于图片中实物分类的程序，作用是可以从网上自动down 图片，然后按照要的分类 比如 鲜花 或者 狗狗  来自动保存和分类。  爬虫  存储 ，分类和展示 用 jsoup  ,mongo gridfs,  spring mvc  和 js 已完成。准备训练大量的不同事务的分级文件。有兴趣多交流。

 

下面是代码    

大概步骤

0、在系统查看的方法是 cat /proc/bus/input/devices 就可以看到每个eventX是什么设备的事件了

1、抓视频，帧  处理

2、看有没有 手掌 （双击） 和拳头移动（鼠标移动），有的化就处理。

 

 

 

#include "opencv2/objdetect/objdetect.hpp"

#include "opencv2/highgui/highgui.hpp"

#include "opencv2/imgproc/imgproc.hpp"

#include <string.h>

#include <stdio.h>

#include <sys/types.h>

#include <sys/stat.h>

#include <fcntl.h>

#include <linux/input.h>

#include <linux/uinput.h>

#include <stdio.h>

#include <sys/time.h>

#include <sys/types.h>

#include <unistd.h>

#include <iostream>

#include <stdlib.h>

#include <pthread.h>

 

using namespace std;

using namespace cv;

 

 

void mousemove(int fd, int x, int y);

void mousedoubleclick(int fd);

 

void fist(Mat frame);

void palm(Mat frame);

 

void *thread1(void *);

 

struct mypoint {

int x1;

int y1;

 

};

 

mypoint p;

 

int fd_mouse;

 

//  这两个链接分类的文件我是从 qq 手势 里扣出来的，正准备自己训练几个不同手势的文件

String palmfile = "data/mycascade/palm.dat";

String fistfile = "data/mycascade/fist.dat";

 

int xarray = 0;

int yarray = 0;

 

int movex = 0;

int movey = 0;

 

int palmcount = 0;

int fistcount = 0;

 

bool waitfist = false;

bool waitpalm = false;

 

bool isfirst = true;

 

pthread_t pid1;

 

float lv = 1;

 

CascadeClassifier palm_cascade;

CascadeClassifier fist_cascade;

 

//string window_name = "Capture - Face detection";

 

int objectDetectionxx(int argc, char** argv)

 

{

 

CvCapture* capture;

Mat frame;

 

 

 

if (!palm_cascade.load(palmfile)) {

printf("--(!)Error loading\n");

return -1;

};

if (!fist_cascade.load(fistfile)) {

printf("--(!)Error loading\n");

return -1;

};

 

 

    //打开鼠标文件  不同机器可能不一样 我的

fd_mouse = open("/dev/input/event3", O_RDWR);

 

if (fd_mouse <= 0) {

printf("error open mouse/n  please chmod +wr /dev/input/e*");

 

}

 

capture = cvCaptureFromCAM(-1);

Mat frame_gray;

 

if (capture) {

 

while (true) {

 

frame = cvQueryFrame(capture);

if (!frame.empty()) {

 

cvtColor(frame, frame_gray, CV_BGR2GRAY);

 

equalizeHist(frame_gray, frame_gray);

 

 

                //再 双击有有各线程设置waitfist这个值， 这个线程主要是睡  防止双击频繁

if (!waitfist) {

 

palm(frame_gray);

}

 

if (!waitpalm) {

fist(frame_gray);

 

}

 

// imshow(window_name, frame_gray);

 

} else {

printf(" --(!) No captured frame -- Break!");

break;

}

 

waitKey(10);

// int c = waitKey(50);

// if ((char) c == 'c') {

// break;

// }

}

}

return 0;

}

 

 

 

//测试视频中是否有 手掌出现， 手掌一出现 鼠标停止移动，双击

void palm(Mat frame) {

 

std::vector<Rect> palmrect;

 

palm_cascade.detectMultiScale(frame, palmrect, 1.1, 2,

0 | CV_HAAR_SCALE_IMAGE, Size(70, 70));

 

if (palmrect.size() > 0) {

 

fistcount++;

 

if (fistcount == 3) {

 

if (pthread_create(&pid1, NULL, thread1, NULL) != 0) {

printf("create thread1 failed/n");

}

 

mousedoubleclick(fd_mouse);

 

}

 

} else {

 

fistcount = 0;

}

 

}

 

//检测是否有拳头出现  出想的坐标

void fist(Mat frame) {

 

 

 

std::vector<Rect> fistrect;

 

//-- Detect faces

fist_cascade.detectMultiScale(frame, fistrect, 1.1, 2,

0 | CV_HAAR_SCALE_IMAGE, Size(80, 80));

 

if (fistrect.size() > 0) {

 

palmcount = 0;

 

p.x1 = fistrect[0].x + fistrect[0].width * 0.5;

p.y1 = fistrect[0].y + fistrect[0].width * 0.5;

 

// Point center(fistrect[0].x + fistrect[0].width * 0.5,

// fistrect[0].y + fistrect[0].height * 0.5);

// ellipse(frame, center,

// Size(fistrect[0].width * 0.5, fistrect[0].height * 0.5), 0, 0,

// 360, Scalar(255, 0, 0), 2, 8, 0);

 

if ((xarray - p.x1) * (xarray - p.x1) > 25

&& (p.y1 - yarray) * (p.y1 - yarray) > 25) {

 

if (xarray != 0) {

 

mousemove(fd_mouse, lv * (xarray - p.x1), lv * (p.y1 - yarray));

 

cout << "palm:" << "movex:=" << lv * (xarray - p.x1) << "nx:="

<< p.x1 << "ox:=" << xarray << endl;

cout << "palm:" << "movey:=" << lv * (p.y1 - yarray) << "ny:="

<< p.y1 << "oy:=" << yarray << endl;

xarray = p.x1;

yarray = p.y1;

} else {

xarray = p.x1;

yarray = p.y1;

}

}

 

} else {

 

palmcount++;

 

if (palmcount > 5) {

palmcount = 0;

xarray = 0;

yarray = 0;

}

}

 

}

 

 

//鼠标移动

void mousemove(int fd, int x, int y) {

struct input_event event;

 

memset(&event, 0, sizeof(event));

gettimeofday(&event.time, NULL);

event.type = EV_REL;

event.code = REL_X;

event.value = x;

write(fd, &event, sizeof(event));

 

event.type = EV_REL;

event.code = REL_Y;

event.value = y;

write(fd, &event, sizeof(event));

 

event.type = EV_SYN;

event.code = SYN_REPORT;

event.value = 0;

write(fd, &event, sizeof(event));

 

}

 

 

//鼠标左键双击

void mousedoubleclick(int fd) {

struct input_event event;

memset(&event, 0, sizeof(event));

gettimeofday(&event.time, NULL);

 

event.type = EV_KEY;

event.code = BTN_LEFT;

event.value = 1;

write(fd, &event, sizeof(event));

 

event.type = EV_KEY;

event.code = BTN_LEFT;

event.value = 0;

write(fd, &event, sizeof(event));

 

event.type = EV_KEY;

event.code = BTN_LEFT;

event.value = 1;

write(fd, &event, sizeof(event));

 

event.type = EV_KEY;

event.code = BTN_LEFT;

event.value = 0;

write(fd, &event, sizeof(event));

 

event.type = EV_SYN;

event.code = SYN_REPORT;

event.value = 0;

write(fd, &event, sizeof(event));

 

}

 

 

//当鼠标双击后会触发这个线程 ，这个线程的左右是 防止重复的双击

void *thread1(void *) {

 

cout << "fist:" << "waitfist begin!  double click" << endl;

waitfist = true;

waitpalm = true;

usleep(100 * 1000);

waitpalm = false;

usleep(200 * 1000);

 

cout << "fist:waitfist end!" << endl;

waitfist = false;

 

}