xianbin
- 浏览: 214853 次
- 来自: ...
-
最新评论
-
nbh219：
插件只有这几行代码吗jQuery.fn.dataTableEx ...
在Datatables中加入错误提示功能 -
radio123：
好用，谢了！就是有一点问题，如果DataGird 有分页栏，会 ...
JQuery Easy UI —— 如何让DataGrid自适应页面宽度 -
loafer：
这种方式是将工程发布为war还是ear？因为以前也这样写过，但 ...
Weblogic 10.3.6 解决Jar包冲突，hibernate等。 -
springdata：
spring data jpa相关代码demo下载:http: ...
Spring Data JPA 使用感受 -
coolboy09：
楼主，能否给个完整的例子？在下在用jqplot绘图时，在添加了 ...
jqPlot 实现动态显示数据，防止内存溢出的实现。
文章列表
2017年下半年有一段时间因为工作涉及AI人工智能，曾经短时间研究过，本文只是初步的研究成果，纯粹是抛砖引玉。
之前文章介绍了网络爬虫，实际上，也会AI有密切关系，因为AI在进行智能分析的之前，需要对数据进行建模，因此通过爬虫技术，在网络上获取建模数据可以提升AI处理的效率和准确性。
下面先对业务需求进行描述：假设需要对用户提问的疾病问题进行自动分类，比如呼吸科、心内科、消化内科等，自动归集起来。
处理步骤为：
1、先爬取部分医药网站的归类问题
2、使用AI对这些问题进行训练
3、通过输入某类疾病问题，验证识别效果
一、数据爬取
本示例使用的是“问医生”（https://www.jian ...
最近三年很少写博客，虽然一直从事IT行业，但更多的是管理工作，想想真有些惭愧。
最近半年，时不时业务上需要爬虫，将网页内容爬取分析，有用于AI人工智能分析，有用于大数据分析，种种应用，发现爬虫作用不小
这篇文章不是一篇教学文章，更多的是分享在爬取网页中可能会遇到的一些技术问题以及常见问题，并提供解决方案。因此更适合有一定爬虫开发经验人员阅读。
虽然本文使用Java，但这些常见问题，与所使用的开发语言无关，可更多借鉴。
常见问题一：网页的获取方式
1、直接获取静态页面方式
何为“静态页面”，指页面内容通过HTTP获取的时候，已经是完整页面内容，没有使用Ajax异步调用生成页面内容的网页，即 ...
最近在研究AI的东西，需要跑一段老版本的源码，参考：https://github.com/llSourcell/AI_Artist。
源码基于Python2.7以及TensorFlow运行，Kares使用了1.x的版本，为了搭建运行环境吃了不少苦头，写下希望给后人借鉴。
操作系统：CentOS 7
系统默认的Pytho 2.7
依赖包安装过程：
sudo yum -y install epel-release
# 需要先安装编译器，否则会影现象后续依赖库的安装
sudo yum -y install gcc gcc-c++ python-pip python-devel atla ...
亲测速度非常理想，并且不会像阿里的镜像很多包下载不下来。在自己空间收藏。
<mirror>
<id>ui</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://uk.maven.org/maven2/</url>
</mirror>
<mirror>
<id&g ...
有时候我们希望控制用户在点击URL超链接的时候，只允许点击一次，下面这个方法可以解决这个问题：
<script type="text/javascript">
disableDoubleClick = function() {
if (typeof(_linkEnabled)=="undefined") _linkEnabled = true;
setTimeout("blockClick()", 100);
return _linkEnabled;
} ...
方式一：
WHERE bk_date >= TO_DATE('2012-03-18', 'YYYY-MM-DD')
AND bk_date < TO_DATE('2012-03-19', 'YYYY-MM-DD')
方式二：
WHERE TRUNC(bk_date) = TO_DATE('2012-03-18', 'YYYY-MM-DD')
TRUNC()函数将把日期中的时间去掉。
方式三：
SELECT *
FROM BOOKING_SESSION
WHERE TO_CHAR(T_SESSION_DATETIME, 'DD-MM-YYYY') ='20-0 ...
经常用到，自己Mark一下，顺带给需要的人参考。
1、配置文件修改
$ vi /etc/sysconfig/network-scripts/ifcfg-eth0
内容：
DEVICE="eth0"
HWADDR="08:00:27:7C:D1:95"
NM_CONTROLLED="yes"
ONBOOT="yes"
IPADDR="192.168.56.5"
GATEWAY="192.168.56.1"
BOOTPROTO="STATIC" ...
示例一：
日志格式：
wechat_Log:[2014-09-17 09:09:22] WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22] WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22] WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22] WARN JSONObje ...
使用Image读取文件时，如果是非图像文件，则会返回null。
参考代码：
try {
Image=ImageIO.read(new File(name));
if (image == null) {
valid = false;
System.out.println("The file"+name+"could not be opened , it is not an image");
}
} catch(IOException ex) {
valid=false;
...
Weblogic的jar包冲突困扰了我一段时间，一般使用的是如下方式解决：
<?xml version="1.0" encoding="UTF-8"?>
<weblogic-web-app
xmlns="http://xmlns.oracle.com/weblogic/weblogic-web-app"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocat ...
1、下载Apache的源码包httpd-2.2.27.tar.gz；
2、Ubuntu Server没有带gcc和make，需要自己安装：
root@ubuntu:#sudo apt-get install make
root@ubuntu:#sudo apt-get install gcc
提示：请确保可以上网
3、root@ubuntu:#./configure；
4、root@ubuntu:#make；
5、root@ubuntu:#make install。
6、启动
//将当前目录改为Apache的默认安装路径
#cd /usr/local/apache/bin
//启动 ...
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; chars ...
JQuery EasyUI是一个很不错的Javascript开发框架，组件丰富、入门快，属性、方法、事件都比较丰富。
为了让更多的人了解EasyUI，特写此文。
这篇文章是针对有过EasyUI使用经验的开发者，如果您尚未使用过EasyUI，推荐访问其主业了解一些基础知识：http://www.jeasyui.com/
1、JQuery EasyUI的初始化
JQuery EasyUI的初始化分为两种，一种是直接在HTML元素中指定初始化属性，另外一种是在Javascript中初始化，两种各有优缺点：
（1）在HTML元素中配置初始化属性
<div id="p" ...
1、第一种方式，通过JSON转换。
function clone (src) {
return JSON.parse(JSON.stringify(src));
}
注意，需要引入JSON库：
https://github.com/douglascrockford/JSON-js
2、第二种方式，通过编写JavaScript方法：
function clone(src) {
function mixin(dest, source, copyFunc) {
var name, s, i, empty = {};
for(name in sour ...
最近查看了网上很多关于路径问题资料大概总结了一下：
Java路径中的空格问题
1、 URLTest.class.getResource("/").getPath();
URLTest.class.getResource("/").getFile();
URLTest.class.getClassLoader().getResource("").getPath();
Thread.currentThread().getContextClassLoader().getResource("").g ...