风雪涟漪
- 浏览: 506865 次
- 性别:
- 来自: 大连->北京
-
最新评论
-
春天好：
写的很不错 推荐一个免费好用的云端爬虫开发平台不需要安装环境， ...
web爬虫 -
cpu88：
网络爬虫爬来爬去,网上信息可以瞬间扩散,但是也意味着,没有人愿 ...
web爬虫 -
biaoming：
牛。。学习了。。
MongoDB 关于索引的建议 -
biaoming：
楼主用mongo好早啊。
MongoDB 优化 -
biaoming：
好教程，学习了。。。
MongoDB 优化
文章列表
获取MongoDB数据库
请看这篇文章快速 体验MongoDB-windows版本 http://xiayuanfeng.iteye.com/blog/978729
连接数据库
这部分让我们通过MongoDB shell来操作数据库. (我们也可以使用各种语言的MongoDB的驱动. shell是非常方便系统管理员操作的环境)
下载
安装MongoDB最简单的方法就是安装提前编译好的二进制版本。
32-bit二进制包
Download 并且解压缩。推荐选择产品版本。
MongoDB的设计哲学
数据库的用途越来越面向特别的需求与业务了 - 一个数据库满足所有的需求已经不适用了。
减少了传统DB提供的事务,能使性能飞速提升并且水平扩展也更为简单。
简介
MongoDB并不是在实验室中的环境中设计的。我们是根据构建可伸缩，高可用，灵活系统的实际经验来构建MongoDB。我们并不是从头开始的，我们要去发现问题并去解决。因此我设想如果你要取代MySQL以及要改变关系模型，你可以选择MongoDB，并获得很多很好的特性：为了速度而优化的嵌入文档(embedded docs)，可管理的，灵活schema数据库的敏捷开发，因为没有join，所以更加容易水平扩展。也有很多关系型数据库的优势：索引，动态查询以及更新等等，并且使用方式并没有改变什么。举个例子，在MongoDB中，设计索引的方法和MySQL或者Oracle基本一致，你仅仅要在内嵌字段索引 ...
这篇文章主要是对web爬虫有个大概的认知。
概览web爬虫
web爬虫主要功能是从web中发现，下载以及存储内容。广泛应用于各种搜索引擎中。
一个典型的web爬虫主要由以下的部分组成：
能被爬虫识别的URL库。
文档下载模块，主要用于从web中下载内容。
文档解析模块，用于解析下载文档中的内容，如解析HTML,PDF,Word等等。这个模块还要提取网页中的URL和一些对于索引有用的数据。
存储文档的元数据以及内容的库。
规范化URL模块，把URL转成标准的格式。
URL过滤器，爬虫可以过滤掉不需要的URL。
设计与实现上述模块，主要取决于你的爬虫到底要爬取什么 ...
一直以来对GOOGLE I/O这个大会的意义，不知所谓。。通过昨晚的熬夜观看GOOGLE I/O的大会，得知了I/O的意义
Vic Gundotra介绍了I/O的意义
WEB的精神
协作的精神
包容性
创新开放
当然考虑程序员：当开始编程的时候，程序员第一次要学的就是输入和输出INPUT/OUTPUT=I/O
创新(innovation)和开放(Open)=I/O
补充说明：Web是我们这代人最重要的平台，因为这个平台不是由某个人掌控，而是属于我们，Google的工作就是推动Web的发展。
实践是检验真理的唯一标准 (转)
- 博客分类：
- 杂谈
原文如下http://news.xinhuanet.com/politics/2008-05/09/content_8138077.htm
在我们详细讲述Lucene索引API之前，来看看概念模型的内容。首先我们先从Lucene索引和搜索的基础单位开始，文档和字段(Documents and Fields)，然后再看看Lucene和现代数据库模型的一些重要不同。
文档和字段
一个文档是索引用来索引和搜索的最小单位。它实际上是一个包含很多字段的容器，依次保存了真正的内容。每个字段都有一个名字来区分它，一个文本或二进制值，以及一些参数来描述当进行索引的时候，Lucene要对这些字段所做的操作。为了要索引这些未处理过的数据源，你必须要把它们转为文档和字段。之后，在搜索时，在搜索字段的值;举个例子，一个用户搜索"titl ...
此章的基本内容如下
概念上的索引模型
索引的基本操作
在索引的时候，提升文档(Document)和字段(Field)的权重
索引日期，数字和搜索结果排序的字段(Field)
了解和使用影响索引性能和资源消耗的参数
优化索引
理解并发(Concurrency),多线程和锁的问题
高级的索引功能
你想要在硬盘中搜索已存储的文件，或者搜索邮件，网页，甚至是数据库中的数据。Lucene可以帮助你实现这些。然而，当你要搜索之前，你必须先进行索引。这就是这章你要学习的内容。
在第一章，你看到了一个简单的索引例子。本章会更进一步学习，教你使用索引的更新，一些索引中常用的参数，以及 ...
从小受到的教育就是要节约用水，但是并没有切身感受到什么叫缺水。这次中国大旱，原因各种，天灾人祸。但看到干旱的情况还是很触目惊心的。人活在这个世界上就是争夺稀缺资源的过程，水资源同样如此，一个工程 ，一些人有水喝了，有水用了。但却使另一部分人无水可喝，无水可用。
我生活在北京，并没有体会到干旱对我自身的影响。我改变不了什么，但是我唯一能做的就是节约用水。
希望2012年，上帝，众神，西方神佛，能宽恕犯下过错的人类。
MySQL常用功能。从本地复制到远程服务器或者从远程服务器复制到本地。
远程服务器复制到本地
mysqldump --user=YOURNAME --password=YOUR_PASSWORD --host=YOUR_HOST --opt YOUR_DATABASE|mysql --user=YOUR_NAME --password=YOUR_PASSWORD -C YOUR_DATABASE
详细用法请参看mysqldump的使用。
目标：开发高性能，可扩展的WEB应用。
1.WEB应用的分层 a.前端 b.后端
a.前端优化的重要性。分析工具GA和YSLOW 1.一个request之前要做的优化。 2.不要紧盯WEB后端优化。尽可能的访问服务器之前，消灭掉request.
前端优化的方法 ...
你经常需要使用到字符串的translate方法，但是发现真的很难记住这个函数的使用细节以及string.maketrans的使用。因此，你需要一个简化使用translate的方法
import string
def translator(frm='', to='', delete='', keep=None):
if len(to)==1:
to=to*len(frm)
trans=string.maketrans(frm,to)
if keep is not none:
allchars=string.maketrans ...
要得知一个集合的字符是否存在于一个字符串中
最简单的方法如下，这个方法是通用的，不仅仅是一个Set的字符也可以是list，字符串也可以是任意的序列，如元组，列表。
def containsAny(seq, aset):
for c in seq:
if c in aset: return True
return False
你希望反转字符串中的字符或单词
String本身是不可变的，因此，要反转，必须重新创建一个拷贝。反转字符如下
revchars = astring[::-1]
为了反转单词，你需要创建一个单词的list。然后反转它，以及再连接为字符串。
revwords = astring.split( ) #字符串-》LIST
revwords.reverse( ) # 反转LIST
revwords = ' '.join(revwords) #LIST-》字符串
当然也可以一个语句来实现
revw ...