cjcrobin
- 浏览: 12726 次
- 性别:
- 来自: 厦门
-
最新评论
-
cjcrobin：
sorry, 刚看到, 你可以试看看最简单的context = ...
使用HttpClient4.X模拟浏览器登录使用Google Alert(一) -
救爷你好：
卤煮，请问你httpcontext 怎么初始化的？我用你的方法 ...
使用HttpClient4.X模拟浏览器登录使用Google Alert(一)
文章列表
之前两篇文章，简单的介绍了使用Spark通过CLI来进行读写Cassandra数据。在这一篇中，将介绍使用新的CQL来进行读取写入数据。
第一步，还是一样的去配置SparkContext，唯一的区别是使用的InputFormat不同。在Cli中使用的是ColumnFamilyInputFormat，而在这里将使用的是CqlPagingInputFormat。除了这两个类之外，还有CqlRagingRecordReader。所有的这些类都可以在apache-cassandra-<version>.jar中的org.apache.cassandra.haddop中找到。还有就是 ...
上一篇（隔得实在有点远）讲到了通过使用Cassandra原生的CLI接口将数据读入了Spark的RDD中，在这篇中，我们将了解如何将数据通过Spark的RDD写入到Cassandra中。
与读取相同的步骤，我们一开始需要初始化SparkContext，以及使用的Cassandra实例的地址，端口，keyspace，columnfamily和partitioner。如下
val sc = new SparkContext("local[3]", "casDemo")
val job = new Job()
job.setOutpu ...
最近在研究将Spark架设到Cassandra之上。发现这方面的信息比较少，在学习的过程中也遇到了不少问题，因此在此记录下，也和大家分享。此例为最经典的WordCount示例。
首先我先说下我所使用的各种环境和版本。由于Spark和Cassandra更新较快，如果之后版本有异可能运行不能成功需要一些微调。
暂时使用的是Windows 7， 之后会转到Linux平台，但是这个影响不大。使用的是Scala2.9.3，Spark 0.8， Cassandra 1.2.10，sbt 0.13.0，Java 7。
首先需要我们自己生成下Spark的jar包。这个需要我们运行sbt命令来得到 ...
终于算是熬到了礼拜五了，写了一天的文档，都快疯掉了。
在前一篇文章中我们已经完成了登录操作，现在我们就继续登录之后的操作，比如创建Alert，修改Alert，删除Alert。这里的操作基本上都是差不多的，所以我们就简单说下创建Alert。
创建Alert也同样是发送POST请求。所有的操作基本上都和之前的登录操作差不多，获取HTTP POST地址，添加HTTP Header，然后发送请求。唯一不同的地方在于，我们需要将之前登录后的Cookies信息也同时传过去，只有这样，对方服务器才会认为模拟的帐号是已经登录的。
在HttpClient3.X中，我们还需要手动的处理Cookies的问题，但 ...
最近使用Google Alert,然后就想自己做点东西,结果悲剧的发现Google Alert居然没有提供API给开发者直接使用.无比蛋疼之余只好尝试着使用HttpClient来模拟浏览器行为进行登录，伪造一份Google Alert API出来使用.
这种方法的好处在于，就 ...