- 浏览: 1524568 次
- 性别:
- 来自: 厦门
文章分类
- 全部博客 (516)
- Java (49)
- Java/Struts 2.0 (25)
- Java/Spring、Spring MVC (11)
- Java/Quartz (3)
- Java/Lucene (6)
- Java/Hibernate (19)
- Java/openJPA (7)
- Java/DWR (7)
- Java/Security、Spring Security/OAuth2 (6)
- Java/Threading (9)
- Java/XML (22)
- java/design pattern (4)
- Android (2)
- JavaScript (46)
- jquery (3)
- DB/MySQL (23)
- DB/Oracle (16)
- PHP (25)
- CSS (20)
- Linux (38)
- C/C++、DLL、Makefile、VC++ (31)
- 正则 (9)
- Eclipse (4)
- 安全、网络等概念 (25)
- 集群 (7)
- 网页 (5)
- 视频\音频 (1)
- HTML (6)
- 计算机数学/算法 (3)
- Virtualbox (1)
- LDAP (2)
- 数据挖掘 (6)
- 工具破解 (1)
- 其他 (13)
- Mail (1)
- 药材 (3)
- 游戏 (2)
- hadoop (13)
- 压力测试 (3)
- 设计模式 (3)
- java/Swing (2)
- 缓存/Memcache (0)
- 缓存/Redis (1)
- OSGI (2)
- OSGI/Gemini (0)
- 文档写作 (0)
- java/Servlet (3)
- MQ/RabbitMQ (2)
- MQ/RocketMQ (0)
- MQ/Kafka (1)
- maven (0)
- SYS/linux (1)
- cache/redis (1)
- DB/Mongodb (2)
- nginx (1)
- postman (1)
- 操作系统/ubuntu (1)
- golang (1)
- dubbo (1)
- 技术管理岗位 (0)
- mybatis-plus (0)
最新评论
-
pgx89112:
大神,请赐我一份这个示例的项目代码吧,万分感谢,1530259 ...
spring的rabbitmq配置 -
string2020:
不使用增强器 怎么弄?
OpenJPA的增强器 -
孟江波:
学习了,楼主,能否提供一份源代码啊,学习一下,十分感谢!!!4 ...
spring的rabbitmq配置 -
eachgray:
...
spring-data-redis配置事务 -
qljoeli:
学习了,楼主,能否提供一份源代码啊,学习一下,十分感谢!!!1 ...
spring的rabbitmq配置
<? // 连接数据库的配置 $config = array( 'url' => LOCAL_DB_HOST.':3306', 'user' => LOCAL_DB_USER, 'password' => LOCAL_DB_PWD, 'db' => LOCAL_DB_NAME, ); $is_debug = true; // 命令行参数一为日志的开关 $log = new CommonLog(array('log_level' => $_SERVER["argv"][1],)); // 连接数据库实例 $db = new DBConfig($config); $today = date('Ymd'); $type_list = array( // 'game' => "http://top.baidu.com/buzz/game.html", 'webgame' => "http://top.baidu.com/buzz/mmogame.html", 'rpg' => "http://top.baidu.com/buzz/magic_rpg.html", ); foreach ($type_list as $type => $url) { // 采集游戏排行榜 $max_date = null; $max_date = $db->query_single("select max(data_date) from web_baidu_gametop50 where type = '$type'"); if (! $max_date || $max_date < $today) { $log->debug("start at page: " . $url); // 读取网页内容,在读取失败时,可连续尝试9次。 $cn = 0; while ($cn < 9 && ($page = @file_get_contents($url)) === FALSE) $cn++; // 编码转换,phpquery无法再gb2312的情况下处理特殊字符 $page = preg_replace('/gb2312/i', 'utf-8', $page); // 转换编码, 并解析 $doc = phpQuery::newDocumentHTML( mb_convert_encoding($page, 'utf-8', 'gb2312') ); // 解析文档 foreach ($doc->find("div.list > table > tbody > tr")->not(".th") as $tr) { $tr = pq($tr); $data = array(); $data['index_id'] = $tr->find('> th:nth-child(1)')->text(); $data['key_name'] = $tr->find('> td:nth-child(2)')->text(); // 今日搜索 $data['search_num'] = $tr->find('> td:nth-child(5)')->text(); // 最近七日 $data['count_num'] = $tr->find('> td:nth-child(6)')->text(); // $data['online_day'] = $tr->find('> td:nth-child(5)')->text(); // $data['avg_num'] = $tr->find('> td:nth-child(6)')->text(); $data['online_day'] = 0; $data['avg_num'] = 0; $data['data_date'] = $today; $data['type'] = $type; $db->insert_array("web_baidu_gametop50", $data); } } else { $log->debug("page: (" . $url . ")has gathered before"); } } ?>
dd
发表评论
-
mysql_query()防止掉链的数据库查询
2011-03-24 14:00 1734// ---------------------------- ... -
Windows下的Memcache安装
2011-03-22 10:06 2109转自:http://www.ccvita.com/258.ht ... -
PHP 解决采集乱码问题mb_convert_encoding和iconv使用比较
2011-02-11 13:27 3003转自:http://hi.baidu.com/ ... -
eclipse xdebug 配置手册
2010-10-22 14:12 1252XDebug Support In PDT 1.0 :htt ... -
file_get_contents的超时处理
2010-08-17 14:57 2146转自:http://www.neatstudio.com/sh ... -
在php 5.2版本之前使用的json_encode和json_decode函数
2010-08-13 09:33 1834http://mike.teczno.com/JSON/JSO ... -
月份处理函数
2010-08-11 22:00 1015function period_diff($in_dateLo ... -
配置xdebug
2010-08-10 09:19 971zend_extension = "D:/xampp ... -
判断在linux以命令行执行的文件是否还在执行
2010-06-03 10:37 2137// 取得当前程序进程,用来判断是否可以执行 $gather ... -
PHP分页
2010-05-05 07:15 1130<?php header("content- ... -
JavaBridge
2010-02-10 16:11 870中文翻译及使用手册 http://programfan.co ... -
How to implement COMET with PHP
2009-12-07 13:17 3022http://www.zeitoun.net/articles ... -
PHP 压缩网站上的文件,并返回下载
2009-08-27 20:51 2714<?php $zipFileName = " ... -
递归删除目录及目录中的文件
2009-08-27 20:24 1232<?php /** * 递归删除目录及目录中的文件 ... -
PHP验证码程序:session生成图片
2009-08-07 15:39 3885昨天捣鼓了一下PHP验证码并生成图片程序,采用了sessi ... -
Apache的rewrite规则详细介绍
2009-06-01 22:52 1356rewrite标志 R [=code](for ... -
php mail 支持UTF-8,附件
2009-03-06 14:19 2890<?php class mime_mail { var ... -
php 多语言切换
2009-02-27 09:55 10175目录结构: //================= ... -
包含其他目录的文件
2009-02-02 16:57 991<?php include_once dirname(_ ... -
时区表 Territory Containment
2008-11-11 11:44 1122时区表 http://unicode.org/cldr/dat ...
相关推荐
标题中的"采集数据程序_采集数据_C#数据采集_数据采集c++_"表明我们将讨论使用C#和C++进行数据采集的方法和相关知识点。 C#是一种现代、面向对象的编程语言,由微软公司开发,广泛应用于Windows平台上的应用开发,...
在"多动态采集_labview多动态采集数据_labview,PLC_labview_PLC_"这个主题中,我们将探讨如何使用LabVIEW进行高效的多动态数据采集,并与PLC(Programmable Logic Controller)进行交互。 1. **多动态采集**:多...
### Flume采集数据到Kafka,然后从Kafka取数据存储到HDFS的方法思路和完整步骤 #### 一、概述 随着大数据技术的发展,高效的数据采集、处理与存储变得尤为重要。本文将详细介绍如何利用Flume采集日志数据,并将其...
在IT行业中,数据采集系统是至关重要的工具,特别是在大数据时代,高效、智能的数据采集成为企业和研究机构的基础工作。本项目“C# 数据采集系统 智能采集 数据分析 整套源码”提供了完整的解决方案,涵盖了从数据...
使用cefsharp来制作采集数据软件(爬虫)的思路及步骤。
信息安全技术 网联汽车 采集数据的安全要求
这是个人做的一个实用小项目,主要用于与下位机设备通信,将下位机采集的数据实时显示并记录,界面设计参考Windows任务管理器 这是个人做的一个实用小项目,主要用于与下位机设备通信,将下位机采集的数据实时显示...
【标题】:“hmjcj采集器,采集数据” 在IT领域,数据采集是至关重要的一个环节,它涉及从各种来源获取信息并将其整理为可分析和处理的数据集。HMJCJ采集器是一款专为此目的设计的工具,主要用于从网络上抓取和提取...
1. 定义目标:首先,需要明确采集数据的目的,这可以是为了科学研究、商业决策、市场分析或者监控系统性能等。 2. 数据源选择:数据源可以来自多种渠道,如传感器、日志文件、社交媒体、数据库、网络爬虫等。在...
一般性触发采集是最基本的触发采集形式,它通常是在接收到特定信号后开始采集数据,并通过循环控制结构(如While Loop)来设置采集的时间长度。这种方式适用于大多数情况下的数据采集需求,但可能无法满足某些特殊...
亲自设计 我用拉力计、电子秤都试过 运行正常 labview串口采集数据 曲线显示 实时最大最小平均值
本文将围绕"采集数据.exe"这一主题,深入探讨数据采集的基本概念、常见方法和技术,并结合压缩包中的"Debug"子文件,分析其在实际应用中的重要性。 首先,我们来理解什么是数据采集。数据采集,顾名思义,是指通过...
2. 数据采集:按照设定的参数开始实时采集数据,数据通常会被存放在内存中的缓冲区。 3. 数据处理:对采集到的数据进行必要的计算、滤波、转换等操作。 4. 文件存储:将处理后的数据写入TXT文件。TXT文件是一种通用...
用户可以利用前面所提到的Synchronize函数来窗体,或者使用定时器定期刷新屏幕,这两种方式都可以间隔一定时间显示采集数据情况。 采用上面所述的方法,笔者实现了对心电谱数据的采集和显示,达到了很好的效果。...
写好的matlab通过串口接受数据的代码,可直接运行
检查验收工作中,测绘成果平面精度的评判可通过使用全站仪野外实地采集数据并对比分析检测数据与原始数据的方法进行。文中分析了野外实地采集数据过程中对测量结果产生影响的各种因素,以此合理评定测量结果的不确定度...
硬件驱动数据采集数据处理数据存储.pdf
财务软件连接数据库采集数据财务软件连接数据库采集数据财务软件连接数据库采集数据财务软件连接数据库采集数据财务软件连接数据库采集数据财务软件连接数据库采集数据财务软件连接数据库采集数据
Fly_ZED_SimpleGrab:从两个pointgray相机以及一个zed相机同时采集数据并调整参数。 Fly_ZED_SimpleGrab:从两个pointgray相机以及一个zed相机同时采集数据并调整参数。 Fly_ZED_SimpleGrab:从两个pointgray相机...