-
camel怎么处理批量提交http请求5
请教一下各位用过camel的高手。
我现在碰到一个问题，我有100万个id，需要访问一个web rest api，针对每一个id，每天访问一次。如何用camel提交批量提交请求？
我现在的解决方案是，为每个id创建一个http component。用quartz驱动。这样的话，就会有100万个quartz job，性能有很大问题。
我现在想到两个解决方案，
1. 如果camel能提供批量api，比如为100万个请求传递不同的参数，（但是uri一样）。这样就是一个quartz job。 请问camel有这样的功能吗?
2. 每次http请求只访问一次。我用spring schedule来控制访问。 schedule的方法里面批量生成http request。但是camel的问题是，每次to(http:)，他都是轮询，不停的在访问这个url。请问有什么办法能让http request只发一次，不轮询吗？
我贴一下代码：
// ids is a List, contains 1000000 id for (final String id : ids) { context.addRoutes(new RouteBuilder() { @Override public void configure() throws Exception { from(String.format("quartz://%s/?cron=0+0+12+*+*+?", id)) .to(String.format("http:xxx.com?id=%s", id)) .to("file:to"); } }); }2013年8月02日 10:45
添加评论
关注(0)3个答案 按时间排序 按投票排序
-
假如你的100万个id放在数据库里，你可以用quartz定期将它取出来，放进消息队列里面，比如activemq，这是一个route。
另一个route负责从队列取消息（就是一个id）然后http,然后你要做的...2013年8月04日 11:37
-
干嘛一定用camel？ 直接让rest api访问100万个ID做处理啊，然后你用任何一种定时工具比如quartz，Spring schedule，或者Shell访问这个rest api
2013年8月02日 13:19
相关推荐
Apache Camel 的 HTTP 组件允许你通过HTTP/HTTPS 协议发送请求到远程服务器，或者作为一个HTTP服务器接收请求。这个组件可以与许多流行的HTTP客户端库（如Apache HttpClient）无缝集成，提供了一种灵活的方式来处理...
除了基本的HTTP操作，Camel还支持更复杂的用例，比如使用不同的HTTP方法（如PUT、DELETE）、设置HTTP头、处理cookies、进行HTTP基本认证和OAuth认证，甚至实现HTTP上传和下载。HTTP组件可以与其它Camel组件结合，如...
- Camel 包含了一整套错误处理机制，帮助开发者在遇到异常情况时优雅地处理错误，确保系统的稳定性和可靠性。 **3. 扩展性** - Camel 设计上考虑到了应用的可扩展性，支持多种并发模型和技术，从而保证应用能够...
例如，HTTP组件用于处理HTTP请求，FTP组件则用于与FTP服务器交互。通过这些组件，开发者无需深入了解底层技术细节，即可轻松实现集成。 6. **Camel EIPs** EIPs是服务集成领域的一套标准模式，如内容路由器、内容...
- Camel Http组件用于处理HTTP请求和响应。它可以作为客户端发起HTTP请求，也可以作为服务器接收HTTP请求。示例可能会演示如何设置HTTP客户端，发送GET、POST请求，处理响应，或者配置HTTP服务器接收和处理来自外部...
- **批量数据处理：** 对于需要处理大量数据的应用场景，Camel 提供了批量处理的功能，支持高效的文件传输和数据转换。 #### 六、Apache Camel 社区与生态 Apache Camel 拥有一个活跃的社区，社区成员不断贡献新的...
Apache Camel 是一个强大的开源集成框架，它允许开发者在各种组件之间路由、转换和处理消息，以构建企业级的集成解决方案。在这个"01-ApacheCamel-HelloWorld"示例中，我们将深入理解如何使用 Camel 实现一个简单的 ...
通过源码，我们可以学习 Camel 如何处理网络请求和响应，以及如何处理常见的网络异常。此外，还能了解到 Camel 如何支持不同的 HTTP 客户端库，如 Apache HttpClient 或 Netty。 然后是 `jdbc` 组件，它提供了与...
camel, Apache camel 镜像 Apache camel 是基于已知企业集成模式的强大开放源代码集成框架，它具有强大的Bean集成。简介flex允许你创建企业集成模式，以基于基于Java的域特定语言( 或者 Fluent API ) 或者基于 Sc
4. **错误处理与事务管理**：Camel允许设置错误处理器来捕获并处理异常，比如使用`onException()`来定义全局或特定路由的错误处理策略。此外，它还支持基于XAPolicy的事务管理，确保消息传递的原子性和一致性。 5. ...
这些函数可能涉及到曲线拟合、数值优化、数据处理等应用，尤其是在处理涉及非线性问题时，比如模拟生物体的驼峰形状、物理学中的非线性动力学系统等。下面将对Camel3和Camel6这两个函数进行详细的解释。 Camel3函数...
- **处理查询结果**：可以使用Camel的`aggregator`、`splitter`或其他处理器来处理查询结果集。 4. **SQL查询支持**： Camel-JDBC 支持多种类型的SQL操作，包括SELECT、INSERT、UPDATE和DELETE。同时，也可以使用...
Camel 的基本原则之一是不会假设任何你需要处理的数据，这是很重要的一点，因为它给你们开发者一个集成任何系统的一个机会，不需要转换你的数据为另外的一种公认格式。 1.2 Camel 的主要特点 Camel 提供了高水平的...
- **错误处理机制**：探讨了Camel中的错误处理机制，包括异常处理、重试策略等。 - **案例分析**：通过具体的案例来展示如何设计和实施错误处理逻辑。 ###### 2.4 测试 (Testing with Camel) - **测试方法**：讲解...
2. **HTTP**: HTTP 组件提供了与 Web 服务器进行交互的能力，可以用于发起 HTTP 请求或作为 HTTP 服务器接收请求。它可以处理 GET、POST、PUT、DELETE 等各种 HTTP 方法，并且支持 RESTful API 设计原则。 3. **...
用camel-cxf调用webservice和发布一个webservice接口例子，首先启动QueryServiceMain主函数启动webservice接口，然后启动测试类TestWebservice。例子主要是实现java代码实现camel调用webservice接口
5. **并发和批量处理**：为了提高性能，Camel 支持并发处理和批量数据操作。这在大数据量同步时非常有用，可以显著减少同步时间。 6. **路由策略**：Camel 的路由引擎可以根据预定义的条件和规则来决定数据如何流动...
在这个示例中，Camel 可能被用来处理HTTP请求，并将它们路由到适当的业务逻辑。 2. **Restlet**： Restlet 是一个用于构建RESTful Web服务的Java库。REST（Representational State Transfer）是一种架构风格，用于...
《Camel实战中文版第四章》主要探讨了Apache Camel框架中如何利用现有的Java Bean进行消息处理和服务调用。这一章节对于理解和掌握Camel如何与现有Java系统集成非常重要。 #### 二、ServiceActivator企业设计模式的...
1. **Camel路由**：Camel 路由由一系列步骤或节点组成，这些节点定义了数据如何被处理和传输。通常包括从源头获取数据（消费者组件）、对数据进行转换和处理（处理器组件）、然后将结果发送到目标位置（生产者组件）...