-
读取文件失败容错问题8
背景：
一个Spring+Quartz定时任务中，
每一个小时从ftp服务器上去判断文件是否更新（ftp上文件一个小时更新一次），更新了则下载下来然后读取里面数据存入到oracle数据库，
问题如下：
1.如果定时任务中job耗时太长，超过一个小时，怎么处理
2.如果处理一个文件未完成时中间出错、出现锁表、内存耗尽、程序死锁等问题，该怎么容错处理
3.另外还有我配置的Spring+Quartz在tomcat启动时候，怎么第一次没有执行一次呢？
配置文件如下
<bean id="Updater" class="com.ce.save.Updater"></bean>
<bean id="jobtask"
class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<property name="targetObject">
<ref bean="Updater" />
</property>
<property name="targetMethod">
<value>toDoUpdater</value>
</property>
<property name="concurrent" value="false"/>
<!-- 指定concurrent 设为false ，多个job 不会并发运行，第二个job 将不会在第一个job 完成之前开始 -->
</bean>
<bean id="doTime" class="org.springframework.scheduling.quartz.CronTriggerBean">
<property name="jobDetail">
<ref bean="jobtask" />
</property>
<property name="cronExpression">
<value>0 0/1 * * * ?</value>
</property>
</bean>
<bean id="startQuertz" lazy-init="false" autowire="no"
class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<property name="triggers">
<list>
<ref bean="doTime" />
</list>
</property>
</bean>
2011年12月13日 10:57
添加评论
关注(0)
目前还没有答案
相关推荐
总结来说，Hadoop 2的文件读写机制依赖于NameNode的元数据管理、DataNode的数据存储以及高效的容错策略。通过数据分片、数据复制和确认机制，Hadoop确保了数据的安全性和高可用性。同时，其设计允许客户端以分布式、...
如果文件打开失败，输出错误信息。 使用 fgets() 函数逐行读取文件内容并显示。 提示用户选择修改方式（追加或覆盖）。 根据用户选择，使用 fprintf() 函数将新数据追加或覆盖写入文件。 使用 fclose() 函数关闭文件...
在本文中，我们将重点讨论Google云计算的容错机制，特别是其分布式文件系统GFS（Google File System）以及并行计算框架MapReduce。 【GFS容错机制】 1. **Master容错**： - **元数据管理**：GFS的Master节点负责...
2. **大文件分片上传**：大文件分片上传是解决大文件上传问题的一种常见策略。它将大文件切割成多个小片段（如每片1MB），然后逐个上传。这种方式可以避免单个网络中断导致整个文件上传失败，同时能充分利用浏览器和...
当客户端需要读取文件时，它首先与NameNode通信获取文件块的位置信息，然后直接从相应的DataNode节点读取数据。写入文件时，客户端将文件切分成块，分别写入DataNode，并将每个块的副本发送到其他节点。最后，...
然而，光盘容错机制则会在发现错误扇区时，尝试跳过该扇区，继续读取后续的扇区，减少因硬件错误导致的读取失败。 4. **数据恢复**：除了简单的跳过错误扇区，更高级的容错机制可能还包括数据恢复算法，通过冗余...
3. **分块上传与断点续传**：对于大文件，为了提高上传效率和容错性，可以采用分块上传。"UpMultiFileControl"可能支持这种功能，允许用户暂停、恢复或者从失败的位置继续上传。 4. **服务器端处理**：服务器端需要...
2. **分片上传**：分片上传是将大文件切割成多个小块进行上传，每个分片可以独立上传，提高了上传效率和容错性。Java中可以利用`FileInputStream`的`read()`方法配合缓冲区读取文件，并按照设定的大小进行分片。 3....
淘宝的分布式文件存储引擎，简称TFS（Taobao File System），是阿里巴巴集团为解决大规模电商网站数据存储问题而设计的一款高性能、高可用的文件系统。它主要服务于淘宝内部的大量在线业务，如商品图片、用户数据等...
2. **容错机制**：如果某个分片上传失败，只需要重新上传该分片，而无需重新上传整个文件，降低了重试成本。 3. **断点续传**：用户可以在任何时间中断上传，然后在稍后继续从断点处上传，提供了更好的用户体验。 ...
容错是无服务器文件系统的核心特性之一，确保即使在单个组件失败的情况下，系统仍能正常运行并保持数据完整性。这通常通过数据冗余和复制策略实现，比如采用分布式一致性哈希算法，将文件分割成多个块并存储在不同的...
- 应当考虑异常处理，例如读取数据库失败、文件创建失败等情况，以提高程序的容错能力。 #### 五、扩展知识点 - **二进制文件的读写** - 使用`FileStream`类进行二进制文件的读写操作。 - **文件的自动识别与处理*...
总之，使用Hadoop的Java API上传文件到HDFS是一个相对简单的过程，主要涉及配置、文件系统的获取、目录检查以及数据的读写操作。理解这些概念和步骤对于任何处理Hadoop相关任务的开发人员都至关重要。
当副本系数为1时，意味着数据块没有冗余副本，一旦数据块损坏，程序将无法正常读取数据，导致作业失败。当副本系数为3时，即使某个节点失效，其他节点上仍然有数据的副本，作业仍能成功完成。 Hadoop高容错验证的...
Java客户端源代码可能是为了与HDFS进行通信，提供了读写文件、创建目录、删除文件等操作。 2. **HDFS API**: Hadoop提供了Java API，使得开发者可以方便地访问HDFS。主要接口包括`FileSystem`、`DFSClient`、`...
3. **一致性模型**：分布式文件系统需要解决多节点间数据的一致性问题，例如强一致性、最终一致性等，确保在不同节点上的数据读取结果是准确的。 4. **负载均衡**：通过智能调度策略，将请求分发到不同的节点，避免...
- **性能优化**：批量读写文件，使用缓冲技术，减少磁盘I/O次数，以提高性能。 - **断点续传**：对于大文件，可以实现断点续传功能，通过记录已下载的部分，减少不必要的网络传输。 下面是一个简单的文件上传和...
例如，使用Java 8的Files.copy()方法，配合InputStream和OutputStream，可以直接从输入流读取数据并写入输出流，而无需先将整个文件加载到内存。 5. 异步处理： 对于复杂的导出操作，考虑使用异步处理以提高用户...