- 浏览: 157296 次
- 性别:
- 来自: 北京
-
文章分类
- 全部博客 (113)
- Java工具类 (3)
- Hibernate (1)
- Struts>1&2 (0)
- Spring (0)
- Web前端 (1)
- 数据库 (2)
- 中间件 (3)
- 搜索引擎 (11)
- EJB (1)
- Log日志 (1)
- OS操作系统 (7)
- Java文档 (4)
- Security (1)
- Exception&Error (7)
- 日志&心情 (7)
- 开心一下 (3)
- 云计算 (41)
- Cache缓存 (4)
- MongoDB (1)
- OS操作系统 Linux (7)
- jquery (1)
- 机器学习 (2)
- Plugins (2)
- AJAX (1)
- Java工具 (1)
- WebService (1)
最新评论
-
a420144030：
你好，我想计算n篇文章的相似度，用mahout能处理吗，如何做 ...
mahout使用 -
di1984HIT：
OK，真的很牛啊
hadoop常见错误 -
xwl1991：
还真是这个问题 ！
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
随着Microsoft 也加入Hadoop 阵营，Hadoop 已经完全变成了DBMS 的好朋友了 , 2年之前的SIGMOD组织提出的“A Comparison of Approaches to Large-Scale Data Analysis”引发了关于并行数据库和MapReduce模型的讨论， 双方唇枪舌剑之后发现两个系统根本就是各有所长, DBMS 目前有些处理好的领域和商业支持，Hadoop 也有自己的优势和使用案例.
就如前一篇TDWI 所说的3个V 问题，新一代Hadoop MapReduce 主要解决的是数据容量和多种类型的数据（结构化，半结构化，非结构化）. 而传统的MPP DBMS 解决的主要还是速度，低延迟，实时性的问题.
| DBMS | Hadoop |
| 低延迟，一般响应时间为秒 | 高延迟，一般响应时间最少为分钟 |
| 较高的吞吐(同一时间执行sql数) | 可以提交很多任务，但不一定快速执行. |
| 处理的数据量有限制（目前为P) | 可以处理大量的数据(从10p到1E） |
| 硬件有特殊需要，不能随时添加 | 硬件可随时添加，增加计算能力 |
| 假设机器是随时可用的，不对失败做处理 | 默认机器故障时正常的，可以容忍机器失效并用其它迅速机器替代 |
| 数据库模式过渡优化 | 对数据格式没有限制 |
| 数据满足完整性（外键） | 用户程序需要自己验证完整性 |
| 必须提前知道使用模式并进行优化 或者根据使用一段时间之后的情况进行特定优化 |
面对未知的使用模式，常规使用模式可以做一定程度的优化. |
| 需要添加额外的优化计算（索引，分区等） | 大部分情况不用额外优化 |
| CPU,内存，磁盘，网络利用率较为高效 | 资源利用率不算高效，人为优化需要较多技巧，目前没有DBMS 优化技术成熟 |
| 储存能力有限, 磁盘不能随意扩展 | 储存能力极高，随时可以按需扩展 |
| 磁盘比较昂贵，经常访问的数据可使用高端SSD | 廉价磁盘，随意保存多份数据防止丢失 |
| 线型扩展能力一般, 一般到几百台机器有瓶颈 | 极高的线型扩展能力，目前yahoo 的为4000台，下一代Hadoop 目标6000 – 10000台 |
| 不具备开放性，必须数据库厂商提供功能 | 高端开放性，大多数组织参与合作 |
| 分析能力需要默认提供 | 可以自己编写UDF 函数，随时扩展功能. |
| 不太适合用来保存过多的历史数据 | 可以保存任意多的历史数据，随时可以访问. |
| 不能处理半结构化或非结构化的数据 | 可以处理XML，图片，音频视频等任意格式数据 |
| 有厂商在数据库内提供MapReduce功能 （Aster Data 和Greenplum） |
有厂商希望在Hadoop 内添加MPP DBMS 的特性降低延迟提高吞吐能力(Hadapt , MapR) |
| 可以随时装载最新数据并查询和分析 | 一般都是批量处理 , 需要特定的技术才能进行实时或叫准实时的计算 |
| 实施费用较为昂贵 | 免费开源 |
| 人员培训较为简单，拥有成熟的人才市场 | 需要IT 人员拥有较高的技能，而且培训较少. |
目前DBMS 还是在其关系型领域拥有绝对的竞争力, 适合多种不同的功能需要.
Hadoop 目前还是主要以廉价的解决方案，活跃的社区，储存能力和非结构化数据的处理见长.
目前有名的数据仓库提供商都开始在自己的产品线里面提供直接的Hadoop 集成，帮助用户选择合适的技术做合适的事情.
一些比较成功的数据仓库使用者都会同时使用DBMS 和Hadoop , 比如Ebay, Walmart, Yahoo, LinkedIn等
一些特殊的行业也会完全使用Hadoop 做其数据仓库的完整解决方案. 比如Facebook , Twitter .
Microsoft 加入Hadoop 估计也就是提供一下Windows 的便捷开发的然后骗骗用户“我们有大规模计算的能力了”，估计真要在Windows 服务器上跑Hadoop 效果可想而知.
参考资料
争论之后的A Comparison of Approaches to Large-Scale Data Analysis
http://database.cs.brown.edu/projects/mapreduce-vs-dbms/
发表评论
-
用Sqoop把数据从HDFS导入到MYSQL
2012-10-27 23:30 2367转自：http://www.kaifajie.cn/mySQL ... -
大数据的储存：百度HDFS集群的数据压缩
2012-08-30 17:48 12342012年4月13日，由IT168(ITP ... -
用sqoop进行mysql和hdfs系统间的数据互导
2012-07-31 16:32 1973转自：http://abloz.com/2012/07/19/ ... -
从hive将数据导出到mysql
2012-07-31 16:31 1847转自：http://abloz.com/2012/07/20/ ... -
Hive SQL
2012-07-19 13:49 1445转自：http://www.tbdata.org/ ... -
Hive优化总结
2012-07-09 15:18 4366优化时，把hive sql当做ma ... -
hadoop/mapred 优化方法
2012-06-12 11:47 1413从三个方面着手优化 : 1. hadoop配置 2. ... -
hadoop集群dfs.data.dir目录权限问题导致节点无法启动
2012-06-11 18:32 6256安装使用Hive的时候发现文件无法从本地拷贝到hadoo ... -
hadoop中的balancer
2012-06-11 15:49 1164对于HDFS集群，经常长时间的运行，尤其是大量的delete操 ... -
Hadoop集群上使用Lzo压缩
2012-05-28 11:03 951转自：http://www.tech126.com/hadoo ... -
使用Hive读取Hbase中的数据
2012-05-23 13:12 2287转自：http://www.4ucode.com/Study/ ... -
在XP系统下配置eclipse集成hadoop开发
2012-05-05 11:09 1061一、目的：由于hadoop只能在Linux环境下运行，所以对于 ... -
使用Hive读取Hbase中的数据
2012-04-18 14:24 1118转自：http://www.4ucode.com/Study/ ... -
Web日志分析方法概述 让复杂的数据挖掘变得简单可行
2012-04-13 16:31 886志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志 ... -
应用sqoop将MySQL数据库中的数据导入Hbase
2012-04-12 11:31 2082转自：http://www.bwxxkj.com/a/jish ... -
hadoop中的trash机制，恢复删除的文件
2012-03-31 13:46 2224Hadoop回收站trash，默认是关闭的。 1.修改con ... -
Hadoop 中的两表join
2012-03-29 12:20 866转自：http://www.gemini52013 ... -
各版本编译hadoop eclipse plugin
2012-03-29 12:19 1402转自：http://www.gemini52013 ... -
hadoop常见错误
2012-03-24 13:04 1688错误1：bin/hadoop dfs 不能正常启动，持续提 ... -
hbase运维
2012-03-23 17:33 1326转自：http://blog.bluedavy.c ...
相关推荐
【项目资源】： 物联网项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
【项目资源】： 适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
# 基于Python的KMeans和EM算法结合图像分割项目 ## 项目简介 本项目结合KMeans聚类和EM（期望最大化）算法，实现对马赛克图像的精准分割。通过Gabor滤波器提取图像的多维特征，并利用KMeans进行初步聚类，随后使用EM算法优化聚类结果，最终生成高质量的分割图像。 ## 项目的主要特性和功能 1. 图像导入和预处理: 支持导入马赛克图像，并进行灰度化、滤波等预处理操作。 2. 特征提取: 使用Gabor滤波器提取图像的多维特征向量。 3. 聚类分析: 使用KMeans算法对图像进行初步聚类。 利用KMeans的聚类中心初始化EM算法，进一步优化聚类结果。 4. 图像生成和比较: 生成分割后的图像，并与原始图像进行比较，评估分割效果。 5. 数值比较: 通过计算特征向量之间的余弦相似度，量化分割效果的提升。 ## 安装使用步骤 ### 假设用户已经下载了项目的源码文件 1. 环境准备:
HCIP第一次作业：静态路由综合实验
【项目资源】： 单片机项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
内容概要：本文详细介绍了Johnson-SU分布的参数计算与优化过程，涵盖位置参数γ、形状参数δ、尺度参数ξ和伸缩参数λ的计算方法，并实现了相应的Python代码。文中首先导入必要的库并设置随机种子以确保结果的可复现性。接着，分别定义了四个参数的计算函数，其中位置参数γ通过加权平均值计算，形状参数δ基于局部均值和标准差的比值，尺度参数ξ结合峰度和绝对偏差，伸缩参数λ依据偏态系数。此外，还实现了Johnson-SU分布的概率密度函数（PDF），并使用负对数似然函数作为目标函数，采用L-BFGS-B算法进行参数优化。最后，通过弹性网络的贝叶斯优化展示了另一种参数优化方法。; 适合人群：具有Python编程基础，对统计学和机器学习有一定了解的研究人员或工程师。; 使用场景及目标：①需要对复杂数据分布进行建模和拟合的场景；②希望通过优化算法提升模型性能的研究项目；③学习如何实现和应用先进的统计分布及优化技术。; 阅读建议：由于涉及较多数学公式和编程实现，建议读者在阅读时结合相关数学知识，同时动手实践代码，以便更好地理解和掌握Johnson-SU分布及其优化方法。
TSP问题的3种智能优化方法求解（研究生课程《智能优化算法》结课大作业）.zip
【项目资源】： 物联网项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
【项目资源】： 单片机项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
自动发布Java项目（Tomcat）Shell脚本
# 基于webpack和Vue的前端项目构建方案 ## 项目简介 本项目是基于webpack和Vue构建的前端项目方案，借助webpack强大的打包能力以及Vue的开发特性，可用于快速搭建现代化的前端应用。项目不仅完成了基本的webpack与Vue的集成配置，还在构建速度优化和代码规范性方面做了诸多配置。 ## 项目的主要特性和功能 1. 打包功能运用webpack进行模块打包，支持将scss转换为css，借助babel实现语法转换。 2. Vue开发支持集成Vue框架，能使用Vue单文件组件的开发模式。 3. 构建优化采用threadloader实现多进程打包，cacheloader缓存资源，极大提高构建速度开启热更新功能，开发更高效。 4. 错误处理与优化提供不同环境下的错误映射配置，便于定位错误利用webpackbundleanalyzer分析打包体积。
Hands-On Large Language Models - Jay Alammar 袋鼠书 《动手学大语言模型》PDF
资源内项目源码是来自个人的毕业设计，代码都测试ok，包含源码、数据集、可视化页面和部署说明，可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源，毕设答辩评审绝对信服的保底85分以上，放心下载使用，拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件，仅供学习参考, 切勿用于商业用途。
# 基于Arduino Feather M0和Raspberry Pi的传感器数据采集与监控系统 ## 项目简介 本项目是一个基于Arduino Feather M0和Raspberry Pi的传感器数据采集与监控系统。系统通过Arduino Feather M0采集传感器数据，并通过WiFi将数据传输到Raspberry Pi。Raspberry Pi运行BalenaOS，集成了MySQL、PHP、NGINX、Apache和Grafana等工具，用于数据的存储、处理和可视化。项目适用于环境监测、物联网设备监控等场景。 ## 项目的主要特性和功能 1. 传感器数据采集使用Arduino Feather M0和AM2315传感器采集温度和湿度数据。 2. WiFi数据传输Arduino Feather M0通过WiFi将采集到的数据传输到Raspberry Pi。
资源内项目源码是来自个人的毕业设计，代码都测试ok，包含源码、数据集、可视化页面和部署说明，可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源，毕设答辩评审绝对信服的保底85分以上，放心下载使用，拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件，仅供学习参考, 切勿用于商业用途。
【项目资源】： 适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
【项目资源】： 物联网项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
# 基于Arduino的WiFi按钮项目 ## 一、项目简介 本项目是一个基于ESP8266芯片的Arduino项目，主要实现WiFi连接、电压检测、LED灯控制以及向服务器发送POST请求等功能。通过简单的按钮操作，可以实现与服务器通信并获取相关信息，同时能检测电池电压并提示用户。 ## 二、项目的主要特性和功能 1. WiFi连接项目能够自动连接到指定的WiFi网络。 2. 电压检测通过ADC（模数转换器）检测电池电压，并在电压低于阈值时发出警告。 3. LED灯控制通过控制LED灯的亮灭来提示用户不同的状态信息（如连接成功、电压低等）。 4. 服务器通信项目可以向指定的服务器发送POST请求并处理返回的HTTP响应。 ## 三、安装使用步骤 1. 环境准备确保已安装Arduino IDE和ESP8266插件。 2. 下载源码下载项目的源码文件并解压。 3. 打开项目在Arduino IDE中打开解压后的main.cpp文件。
该资源为scipy-0.10.1-cp26-cp26mu-manylinux1_x86_64.whl，欢迎下载使用哦！
计算机毕业设计；计算机毕设；Java毕业设计；小程序毕业设计；企业、旅游、党建、学校、人事、酒店、民宿、预约、考试、外卖、点餐、外贸、宠物、图书、销售、商城、就业、助农、仓储、交易、美食、博客、婚庆、二手、养老、医院、医疗、药品、招聘、考勤、宿舍、物流、租赁、公益等