连接MongoDB数据库属性文件
mongo.host=Mongodb连接地址
mongo.port=27017
mongo.poolSize=50
mongo.user=
mongo.password=
mongo.database=Mongodb数据库名字
spring配置文件如下:
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
xmlns:mongo="http://www.springframework.org/schema/data/mongo"
xsi:schemaLocation="
http://www.springframework.org/schema/data/mongo http://www.springframework.org/schema/data/mongo/spring-mongo-1.1.xsd
http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd
http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.1.xsd">
<bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
<property name="locations">
<list>
<value>classpath:META-INF/conf/config.properties</value>
<value>classpath:META-INF/conf/jdbc.properties</value>
<value>classpath:META-INF/conf/dubbo.properties</value>
</list>
</property>
</bean>
<!-- MongoDB连接配置 -->
<mongo:mongo host="${mongo.host}" port="${mongo.port}" />
<mongo:db-factory dbname="${mongo.database}" mongo-ref="mongo" />
<bean id="mappingContext" class="org.springframework.data.mongodb.core.mapping.MongoMappingContext" />
<bean id="mappingMongoConverter" class="org.springframework.data.mongodb.core.convert.MappingMongoConverter">
<constructor-arg name="mongoDbFactory" ref="mongoDbFactory" />
<constructor-arg name="mappingContext" ref="mappingContext" />
<property name="typeMapper" ref="defaultMongoTypeMapper" />
</bean>
<bean id="defaultMongoTypeMapper" class="org.springframework.data.mongodb.core.convert.DefaultMongoTypeMapper">
<!-- 这里用来删除MongoDB中的_class属性,设置为空 -->
<constructor-arg name="typeKey">
<null />
</constructor-arg>
</bean>
<bean id="mongoTemplate" class="org.springframework.data.mongodb.core.MongoTemplate">
<constructor-arg name="mongoDbFactory" ref="mongoDbFactory" />
<constructor-arg name="mongoConverter" ref="mappingMongoConverter" />
</bean>
</beans>
以上是放在spring配置文件中的,须引入spring-data-mongodb、
mongo-java-driver的JAR包
分享到:
相关推荐
-- 这里设置为空,可以把 spring data mongodb 多余保存的_class字段去掉 --> <!-- 自动扫描以下包的有Doucment注解的类 --> ``` 这里,我们配置了MongoDB的主机(`host`)、端口(`port`)和数据库...
这个类将包含start_urls属性,用于指定爬虫开始爬取的网页URL,以及parse()方法,作为默认的回调函数,解析下载到的数据。 为了从京东商品页面抓取价格等信息,我们需要分析网页HTML结构,找出对应元素的CSS选择器...
6. **数据提取**:获取到元素后,可以通过`text`属性获取元素的文本内容,或使用`get_attribute('attribute_name')`获取特定属性值。对于表格数据,可以遍历table和tr元素来抓取。 7. **异常处理**:爬虫过程中可能...
例如,站点名称可能在某个特定的class或id属性的元素内,而票价信息可能存在于表格或列表中。Jsoup提供了一系列的API,如select()方法用于选择CSS选择器匹配的元素,text()方法获取元素的文本内容,attr()方法获取...
- 使用浏览器的开发者工具检查新闻标题和链接对应的HTML标签及其属性,如`<div class="article">`中的`<h2>`标签包含标题,而链接位于`<a>`标签的`href`属性中。 2. **编写爬虫脚本** - 使用Python语言,结合`...
通过CSS选择器,我们可以精准地找到目标元素,如`class`、`id`、`tag`等属性。 3. **正则表达式**:在提取特定格式的数据时,正则表达式(Regular Expression)非常有用。它可以匹配和提取字符串模式,例如邮箱、...
3. **CSS选择器**:类似于jQuery的语法,Jsoup支持CSS选择器,使得我们可以轻松定位到目标元素,比如通过class、id或者其他属性来选取特定的HTML节点。 4. **正则表达式**:在某些情况下,可能需要使用正则表达式来...
4. **数据存储**:抓取的数据可能需要持久化存储,可以选择数据库(如MySQL、MongoDB)或文件系统,甚至使用NoSQL解决方案如Hadoop HDFS。 下面是一个简单的Java爬虫代码示例,使用了Jsoup库来解析HTML: ```java ...
它可以设置颜色、字体、大小、位置等样式属性,通过选择器如类名(`.class`)、ID(`#id`)或者元素类型(`p`、`div`等)来指定应用的元素。 3. **JavaScript**:这是一种客户端脚本语言,用于增加网页的交互性。...
属性如`class`和`id`用于标识和样式化元素。了解这些基础对定位目标数据至关重要。 2. **CSS选择器**:在网页抓取中,CSS选择器用于选取HTML元素。它们可以基于元素的类型、类名、ID或其他属性来定位。例如,`div....