最新文章列表

手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫

系列教程 手把手教你写电商爬虫-第一课 找个软柿子捏捏   如果没有看过第一课的朋友,请先移步第一课,第一课讲了一些基础性的东西,通过软柿子"切糕王子"这个电商网站好好的练了一次手,相信大家都应该对写爬虫的流程有了一个大概的了解,那么这课咱们就话不多说,正式上战场,对垒尚妆网。   首先,向我们被爬网站致敬,没有他们提供数据,我们更是无从爬起,所以先安利一下尚妆 ...
游牧民族 评论(0) 有600人浏览 2016-05-16 19:11

手把手教你写电商爬虫-第一课 找个软柿子捏捏

工具要求:教程中主要使用到了 1、神箭手云爬虫框架  这个是爬虫的基础,2、Chrome浏览器和Chrome的插件XpathHelper 这个用来测试Xpath写的是否正确基础知识:本教程中主要用到了一些基础的js和xpath语法,如果对这两种语言不熟悉,可以提前先学习下,都很简单教程正式开始,现在电商网站很多,牛逼哄哄的淘宝京东,新晋贵族唯品会聚美优品 海淘的美丽说higo网易惠惠等等,作为新 ...
游牧民族 评论(0) 有1098人浏览 2016-05-16 18:28

数据库的海量数据

随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。   一、那么数据库如何处理海量数据呢?   1、编写优良的程序代码 处理数据离不开优秀的程序代码,尤其在进行复杂数据处理时,必须使用程序。好的程序代码对数据的处理至关重要,这不仅仅是数据处理准 ...
weitao1026 评论(0) 有486人浏览 2016-04-26 12:11

solr中文搜索倒排索引和数据存储结构

传统的方式(正排索引)是从关键点出发,然后再通过关键点找到关键点代表的信息中能够满足搜索条件的特定信息,既通过KEY寻找VALUE。而Lucene的搜索 ...
aoyouzi 评论(0) 有3164人浏览 2016-04-17 15:09

iPhone SE销量惨淡?看看这些数据就知道了

据调查公司Slice Intelligence数据显示,iPhone SE开卖后的首周在线销量只有2015年iPhone 6s同期销量的6%,只有2014年iPhone 6同期销量的3%,销量甚是惨淡。  然而,数据显示依然有很多人并不热衷于大屏手机,购买iPhone SE来换下同样4寸屏幕的IPhone 5S。据AppleInsider报道:只有35% iPhone SE用户在过去两年之中 ...
clschen 评论(0) 有77人浏览 2016-03-31 15:24

hive shell 导入数据

数据 10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,app ...
knight_black_bob 评论(0) 有1764人浏览 2016-03-11 17:50

mybatis springjdbc 插入数据获取主键

  <insert id="add" parameterType="vo.Category" useGeneratedKeys="true" keyProperty="id"> insert into category (name_zh, parent_id, show_order, del ...
knight_black_bob 评论(0) 有1453人浏览 2016-03-09 12:21

数据导入导出小结

数据导入导出小结:     mysql -uxxxx -p'xxxx' -Dxxxx  --execute="select id from court_doc;" > court_doc.txt   select * from test into outfile '/u02/mysql/dump/a.sql'; ...
aoyouzi 评论(0) 有471人浏览 2016-01-25 14:56

IO流,文件复制

package 缓冲流; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; //文件的复制 public class MyCopy { private  int size = 100; private String src; //构造方法重载,可以传如文件对象,也可以是 ...
qq_24665727 评论(1) 有1092人浏览 2015-11-29 15:17

JSON

      字符串:这个很好解释,指使用“”双引号或’’单引号包括的字符。例如:var comStr = 'this is string';json字符串:指的是符合json格式要求的js字符串。例如:var jsonStr = "{StudentID:'100',Name:'tmac',Hometown:'usa'}";json对象:指符合json格式要求的js对象。 ...
mvplee 评论(0) 有648人浏览 2015-11-25 10:59

电信人的数据应用:销售指引系统

文/帆软传说哥(微信ID:frbiaoge) 2014年中国电信开始进行全面的深化改革,在基础业务领域,推出了“划小承包与倒三角服务支撑体系”,目的是构建以一线需求为导向的通信企业运营新模式。在这股改革浪潮中,
张老师的菜 评论(0) 有425人浏览 2015-09-15 12:02

Android内存优化之封装九宫格

随着市场上越来越多的APP上线,好多软件对手机的内存要求也是很大,所以我们在开发的时候一定要掌握如何去优化内存,将自己的APP尽可能优化。今 ...
heyisheng 评论(0) 有78人浏览 2015-06-16 10:31

DT时代变革的反思:为何这么突然?

DT时代变革的反思:为何这么突然?(转)   DT(Digital Technology)一词,翻译过来即数据科技,可以说,这并不是一个新词,但它真正引起我注意的是阿里研究院最近写的一本书《互联网+:从IT到DT》,阿里作为国内IT技术的引领者,其技术定论不可轻视。   我们先撇开DT不说,我们先来看一看IT。   从1936年图灵机的发明,到1945年冯.诺依曼机的出现,这些都是计 ...
Sunshyfangtian 评论(0) 有434人浏览 2015-05-26 20:53

如何用一次性密码通过 SSH 安全登录 Linux

有人说,安全不是一个产品,而是一个过程。虽然 SSH 协议被设计成使用加密技术来确保安全,但如果使用不当,别人还是能够破坏你的系统:比如弱密 ...
泊菜2014 评论(0) 有230人浏览 2015-05-25 10:28

如何检查 Android 应用的内存使用情况

Android是为移动设备而设计的,所以应该关注应用的内存使用情况。尽管Android的Dalvik虚拟机会定期执行垃圾回收操作,但这也不意味着就可以忽视应用在何时何处进行内存分配和释放。为了提供良好的用户体验,做到系统在不同应用间流畅切换,当用户和应用无交互时,避免应用不必要的内存消耗是很重要的。 尽管在开发过程中很好的遵守了《管理应用内存》(Managing Your App Memory  ...
泊菜2014 评论(0) 有182人浏览 2015-05-18 10:06

Ext4.2 grid store 再次修改时数据没变,getSelection()与store中数据不一致

  此问题可能是Ext4.2的一个bug 解决办法,去store拿最新的数据 //初始化修改 function initModify(){ var grid = gridOrganization; var records = grid.getSelectionModel().getSelection(); grid.getSelectionModel(records); ...
happyqing 评论(0) 有2427人浏览 2015-05-06 00:28

为什么不能往Android的Application对象里存储数据

在一个App里面总有一些数据需要在多个地方用到。这些数据可能是一个 session token,一次费时计算的结果等。通常为了避免activity之间传递对象的开销 ,这些数据一般都会保存到持久化存储里面。 有人建议将这些数据保存到 Application 对象里面,这样这些数据对所有应用内的activities可用。这种方法简单,优雅而且……完全扯淡。 假设把你的数据都保存到Applicat ...
泊菜2014 评论(0) 有178人浏览 2015-04-08 10:07

关于1.x和2.x的选择问题

区别与差异性 需要明确一点的是hadoop 1.x和2.x是完全两个不同的东西,它不是说像比如数据库mysql从5.1升级到5.5那么简单的事情 Hadoop 2.x目前在稳定性肯定没法和1.x比较的,1.x已经经过了7,8年的发展了,而且有很多实践过的公司,比如雅虎,非死不可,等。而2.0的发展时间目前依然还是过短。 不过2.x未来上肯定是趋势,因为2.x的发展和设计,采用了更好的架构,渐渐的 ...
liyixing1 评论(0) 有740人浏览 2015-04-07 16:17

数据缓冲机制

数据缓冲机制是指怎样往一个队列或者链表里面不停的存放以及删除数据。以下用最简单的模型实现,即用一个队列,里面最多存放一个数据,并且一直在不停地存放,删除。 以下有两种方式实现,第一种,使用传统的链表实现。 //ZRZn类,是一个数据类型,有一个public的id属性 public class ZRZn { public int id; } //生产者,向队列里添加数据 public c ...
旧琴房时光 评论(0) 有1338人浏览 2015-04-04 13:14

几周内搞定Java的10个方法

不要将Java与JavaScript弄混了,Java的目标是“一次编译,到处调试”(呃,不对,是“到处运行”)。简单来说,就是Java程序可以直接在任何设备上运行。 Java语言是什么? 不管我们是否意识到,实际上我们基本每天都在与Java打交道。在浏览网页时,可能会弹出一个提示,要求必须安装Java才能继续浏览。这种情况一般发生在使用flash或者是通过某种方式将flash组件集成到核心系统 ...
泊菜2014 评论(0) 有282人浏览 2015-03-11 10:05

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics