`

url收集

    博客分类:
  • web
阅读更多
Java AI & NLP Resources
http://www.meta-guide.com/home/ai-engine/java-resources

cloudera  cdh 4
http://archive.cloudera.com/cdh4/cdh/4/

CDH4 高可用集群指南:
http://savagegarden.iteye.com/blog/1464504

hbase:
http://pwcrab.blog.163.com/blog/static/16990382220107241043883/

Chukwa0.5的安装:
http://hi.baidu.com/zhangxinandala/item/db5d8adc22bab0d5241f4017
http://www.undercloud.org/?p=429
http://www.haogongju.net/art/1412176
http://blog.csdn.net/jdr0212/article/details/8259998
Chukwa在百度的应用实践:
http://baidutech.blog.51cto.com/4114344/748261
Chukwa:一个大型的监控系统
http://wenku.it168.com/d_000005794.shtml
hadoop状态分析系统chukwa
http://wenku.it168.com/d_000645142.shtml
Cloudera Flume简介
http://caibinbupt.iteye.com/blog/765960
日志收集系统的比较
http://wenku.baidu.com/view/ab3dfe26dd36a32d7375818c.html


董的博客:
http://dongxicheng.org/

Hadoop实战
http://wenku.it168.com/d_000059233.shtml
https://github.com/hadoop-deployer/hadoop-deployer/tree/master/cdh4

Hadoop SVN
http://wiki.apache.org/hadoop/HowToContribute
http://incubator.apache.org/chukwa/source-repository.html

chukwa与ganglia的区别
http://myeyeofjava.iteye.com/blog/1602065
改造apache的开源日志项目来实现 分布式日志收集系统
http://blog.csdn.net/rcfalcon/article/details/6003101

Best way to aggregate multiple log files from several servers
http://stackoverflow.com/questions/83741/best-way-to-aggregate-multiple-log-files-from-several-servers

Write custom appenders for log4j
http://www.javaworld.com/javaworld/jw-12-2004/jw-1220-toolbox.html?page=5

Log4j按级别输出日志到不同文件配置分析
http://blog.csdn.net/projava/article/details/7344839

log4j将日志输出到数据库
http://phl.iteye.com/blog/730725

云计算实战 (海量日志管理)hadoop + scribe
http://www.doc88.com/p-736475642585.html

Is there a log file analyzer for log4j files?
http://stackoverflow.com/questions/2590251/is-there-a-log-file-analyzer-for-log4j-files

Configuring and Using Scribe for Hadoop Log Collection
http://blog.cloudera.com/blog/2008/11/configuring-and-using-scribe-for-hadoop-log-collection/

云计算平台管理的三大利器Nagios、Ganglia和Splunk
http://www.programmer.com.cn/11477/

starfish&splunk
http://www.cs.duke.edu/starfish/
http://www.splunk.com/

使用mongodb做数据存储的graylog2日志系统搭建 
http://doorgods.blog.163.com/blog/static/78547857201224105020415/
http://www.8soft.cn/news/2856.html
http://eromang.zataz.com/2011/06/22/howto-install-graylog2-log-management-solution-under-centos/
http://www.szmian.com/
https://github.com/Graylog2/graylog2-server/downloads
http://blog.milford.io/2012/03/installing-graylog2-0-9-6-elasticsearch-0-18-7-mongodb-2-0-3-on-centos-5-with-rvm/
http://www.ucute.com.tw/msmftedr/index.aspx?act=article&aid=241750756
http://thetek.net/how-to/13-how-to/42-how-to-install-graylog2-on-ubuntu.html
http://nachum234.no-ip.org/datamanagement/graylog2/001-graylog2-installation/

graylog2&&logstash
http://log.medcl.net/item/2012/01/graylog2/
http://devopsangle.com/2012/06/18/build-your-own-splunk-like-central-log-management-tool-with-open-source-software/
http://alternativeto.net/software/splunk/
http://linuxdrops.com/log-management-using-logstash-and-kibana-on-centos-rhel-fedora/

Ubuntu上安装MongoDB的完全步骤以及注意事项
http://database.51cto.com/art/201109/288576.htm

Monitor your Java application logs in 4 easy steps
http://blog.monitis.com/index.php/2012/08/07/monitor-your-java-application-logs-in-4-easy-steps/

gcchowto
http://unclean.org/howto/gcchowto.html
http://www.rpmfind.net/linux/rpm2html/search.php
http://blog.chinaunix.net/uid-26284318-id-3032423.html

redis
http://dayuan.im/blog/setup-redis-on-server.html/
http://www.cnblogs.com/shanyou/archive/2012/07/14/2591881.html

用ElasticSearch存储日志
http://chenlinux.com/2012/08/26/translate-using-elasticsearch-for-logs/
http://edgeofsanity.net/article/2012/12/26/elasticsearch-for-logging.html
http://mobz.github.com/elasticsearch-head/

Backup/restore Elasticsearch index
http://tech.superhappykittymeow.com/?p=296

用ElasticSearch中文分词
http://blog.csdn.net/laigood12345/article/details/7795115
ElasticSearch run as service
http://xenforo.com/community/threads/how-to-basic-elasticsearch-installation-debian-ubuntu.26163/
Diving Into ElasticSearch
http://log.medcl.net/item/2011/07/diving-into-elasticsearch-1/

开源日志系统
http://www.findbestopensource.com/tagged/log-management

Java Daemon Startup Script
http://shrubbery.mynetgear.net/c/display/W/Java+Daemon+Startup+Script

zookeeper原理与安装
http://blog.csdn.net/larrylgq/article/details/7205082

puppet
http://puppet.wikidot.com/

start-stop-daemon
http://blog.creke.net/776.html/comment-page-1
http://qb.doudang.com/blog/article/view/articleId/736

用kibana和logstash快速搭建实时日志收集与分析系统
http://storysky.blog.51cto.com/628458/1158707

二幼
WWW.YEYEDU.COM.CN

Spring MVC中使用FileUpload功能
http://hmkcode.com/spring-mvc-jquery-file-upload-multiple-dragdrop-progress/
http://dakulaliu.iteye.com/blog/236235

zim
http://www.zim-wiki.org/
分享到:
评论

相关推荐

    公开的WMS URL收集列表

    ### 公开的WMS URL收集列表 #### WMS(Web Map Service)简介 Web Map Service (WMS) 是一种开放标准,由开放地理空间联盟(OGC)制定,用于在互联网上提供地理数据的地图服务。它允许客户端通过HTTP请求获取地图图像...

    crawlergo使用chrome headless模式进行URL收集的浏览器爬虫

    crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集网站暴露出的入口。内置URL去重模块...

    整理本人在2021年10月-12月期间写的一些爬虫演示,比如用于渗透测试中SQL注入的URL收集脚本(爬取必应和百度搜索结果的URL),子授权爆破演示,大型高校漏洞信息收集爬虫,以及入门爬虫时.zip

    这些是我在2021年10月-12月学爬虫时写的一些小demo,以及在挖掘漏洞时写的一些收集的爬虫信息,比如爬取必应搜索结果的URL,大学生的漏洞信息爬获取,子域名暴破。当然,代码都是基本的功能实现。如果能够 图片如何...

    Front-URL-Collection:前部资源URL收集

    "Front-URL-Collection:前部资源URL收集"是一个综合性的前端资源集合,主要涵盖React、Node.js、JavaScript、CSS、HTML以及Font和Vue等技术领域。这个资源库为开发者提供了一站式的前端开发必备链接和工具,帮助...

    114URL邮件地址收集王

    《114URL邮件地址收集王》是一款专门用于邮件地址采集的工具,它旨在帮助用户高效、快速地从网络上搜集邮件地址,以满足各种邮件营销或者信息传递的需求。邮件搜集与邮件采集是该软件的核心功能,下面我们将详细探讨...

    crawlergo - 一个使用chrome headless模式进行URL入口收集的动态爬虫.zip

    除了基础的URL收集,该爬虫可以扩展用于多种场景,如网站监控(检测内容变化)、竞争情报(收集竞争对手信息)、学术研究(抓取文献数据)等。 总结来说,“crawlergo”是一个基于Go语言和Headless Chrome的动态...

    关键词URL采集工具_url_

    2018年的关键词URL采集工具是一款专门设计用于收集网页上与特定关键词相关URL的软件工具。它通过智能化的算法和多线程处理技术,能够快速遍历互联网上的网页,查找并提取出包含目标关键词的链接。这款工具的出现,极...

    小蓝本爬虫工具,资产收集,收集企业的小程序、公众号、web站点、APP等.zip

    URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的...

    URL采集工具V2.1

    URL采集工具V2.1是一款专为IT专业人士设计的高效软件,主要用于老域名挖掘、渗透测试数据收集以及网络信息抓取等任务。在网络安全领域,这样的工具具有重要的应用价值,它可以帮助用户快速发现并分析网络上的特定URL...

    superl-url-master_superl-url_superl-url的使用_超级url采集器_

    - **学术研究**:在学术领域,可以用来收集特定主题的研究论文或资料链接。 ### **学习与进阶** 对于开发者来说,深入理解"superl-url"的源码,可以提升网络爬虫开发技能,掌握搜索引擎API的使用和异步请求处理等...

    JsUrl-java的爬虫.zip

    URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的...

    商业编程-源码-一个从网页tag里面分析url和url标题的类.zip

    类会遍历所有`<a>`标签,读取其`href`属性,将这些URL收集起来。URL可能需要进一步的处理,例如标准化(去除查询参数,转换为绝对路径等)。 3. **标题获取**:`<title>`标签位于HTML文档的`<head>`部分,类会找到...

    关键字批量URL网址采集器工具_url采集器_urlchina_

    这个工具主要是为用户提供批量收集网页URL的能力,特别是基于特定关键字进行搜索的批量采集。它能够帮助用户快速地获取与特定主题相关的一系列网址,这对于SEO优化、数据分析、市场研究等场景非常有用。 【描述】...

    URL采集器,可以用于批量采集url与域名

    标题中的“URL采集器”是一种专门用于从互联网上抓取和收集URL链接的工具,它可以帮助用户批量获取网页上的URL地址和对应的域名信息。这样的工具在数据挖掘、搜索引擎优化(SEO)、网络分析等领域有着广泛的应用。 ...

    关键词url批量采集_keyword_url关键词采集_

    标题“关键词url批量采集_keyword_url关键词采集_”和描述“Keyword url batch collection”都指向了这个主题,表明我们要讨论的是如何有效地收集与特定关键词相关的网址。 关键词是互联网上的信息导航器,它们帮助...

    关键词URL采集工具.zip

    关键词URL采集工具正是应这一需求而生的软件产品,它帮助用户从互联网中收集与特定关键词相关的网页地址。本文将深入探讨这一工具的功能、应用场景以及使用的注意事项。 关键词URL采集工具的核心功能是自动化地收集...

    javaURL抓取知乎explore页面上热门问题和回答的爬虫程序.zip

    URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的...

    Url采集软件.zip

    【标题】"Url采集软件.zip"是一款专门针对批量URL采集设计的应用程序,它具备强大的功能,可以帮助用户高效地收集互联网上的网址。通过该软件,用户可以利用特定的语法进行搜索,实现对网络链接的精准定位。 【描述...

    网络舆情爬虫 实现元搜索(MetaSearch)和随机URL(主要是五大门户网站)的抓取。.zip

    URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的...

    vc URL编解码类

    这个类可能是由开发者从网上收集的代码片段整理而成,方便直接在项目中使用。通常,这样的类会包含两个核心函数:一个用于URL编码,另一个用于URL解码。 `URLEncode.cpp`和`URLEncode.h`是这个类的实现和接口文件。...

Global site tag (gtag.js) - Google Analytics