- 浏览: 24597 次
最新评论
文章列表
Python开发工具推荐 Python基础学习
集成环境和代码编辑器是IT开发人员必备编程工具,集成环境可以兼容多种编程语言且包含更多功能,一般体积较大,且使用需掌握更多的高深的知识,相比之下,代码编辑器就更显简单,体积 ...
Linux 磁盘的接口类型 知多少?
磁盘接口是磁盘与主机系统间的连续部件,作用呢,是在磁盘缓存和主机内存之间传输数据包,不用的磁盘接口决定着磁盘和计算机之间的连接速度,在整个系统中,磁盘接口的优劣直接影响着程序运行快慢和系统性能好坏。从整体的角度上,磁盘接口分为IDE、SATA、SCSI和光纤FC通道四种。
1.SATA磁盘与SATA接口
大数据开发工具有哪些?
大数据研究的出现,为企业、研究机构、政府决策提供了新的行之有效思路和手段,想要做好大数据的管理和分析,一些大数据开发工具的使用是必不可少的,以下是大数据开发过程中常用的工具:
1. Apache Hive
Hive是一个建立在Hadoop上的开源数据仓库基础设施,通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。
2. Apache Spark
Apache Spark是Hadoop开源生态系统的 ...
大数据中常见9种数据分析手段是哪些?
数据分析是从数据中提取有价值信息的过程,过程中需要对数据进行各种处理和归类,只有掌握了正确的数据分类方法和数据处理模式,才能起到事半功倍的效果,以下是数据分析员必备的9种数据分析思维模式:
1. 分类
分类是一种基本的数据分析方式,数据根据其特点,可将数据对象划分为不同的部分和类型,再进一步分析,能够进一步挖掘事物的本质。
2. 回归
回归是一种运用广泛的统计分析方法,可以通过规定因变量和自变量来确定变量之间的因果关系,建立回归模型,并根据实测数据来求解模型的各参数,然后评价回归模型是否能够很好的拟合实测数据,如果能够很好的拟合,则可以根据自变量 ...
Linux Crond定时任务 理解
Crond是系统中用来定期执行命令或指定程序任务的一种服务或软件。 严格的说,linux系统下的定时任务软件不少,例如:at、crontab、anacron,其中crontab这个命令是在实际工作中常用于周期性执行任务。例如:每五分钟做一次服务器时间同步。要执行crontab这个命令,也需要启动一个服务crond。那么,我们对crontab练习操作一下喽。
遇到Hadoop 50070端口打不开,该怎么办?
Hadoop 50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查!
1. 排查Namenode是否部署成功
排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenode status或jps两种方式之一查看,如Namenode未部署成功,需重新部署Namenode;若已部署成功,请进行第二步排查!
2. 排查datanode是否部署成功
排 ...
Java应用范围广,具体应用于哪些方面?
Java自诞生至今已有20多年了,在编程语言界也可谓是常青树的般的存在。随着互联网的发展,技术的更新迭代,Java作为目前较流行的计算机编程语言之一,吸引了众的IT爱好者。那么 ...
Python调用自定义模块怎么操作?
Python模块是一个Python文件,以.py结尾,包括了Python对象定义和Python语句,能让Python代码段更有逻辑性、更好用、更易懂,既然Python模块有这么多好处,那么该如何引用Python模块呢?
import语句
自定义模块可以采用import语句来进行引入,其操作步骤是先导入模块,再调用模块中包含的函数,可将自定义模块放入当前目录,便于解释器路径搜索,以下是导入自定义hello.py模块,并调用World函数的实例:
一分钟掌握Linux系统grub.conf配置核心知识
引导加载程序(Boot loader)是在计算机在加载操作系统内核之前运行的一段小程序。通过这段小程序,可以初始化硬件设备、建立内存空间的映射图,从而将系统的软硬件环境加载到一个适合的状态,以便为最终调用操作系统内核做好准备。通常,引导加载的程序依赖于硬件实现,早期的Linux系统常见的引导加载程序有2种,即Grub和Lilo,现如今Grub已经成为了主流(类似Windows下的boot.ini引导文件)。
引导加载程序读取grub.conf文件的配置信息,然后根据对应配置信息来启动不同的操作系统, 管理员可以从三个路径查看grub. ...
Linux SSH远程管理故障排查方案
SSH远程管理故障排查方案:
1、检测两个机器是否畅通
两个机器之间是否畅通,查看物理链路是否有问题(网线网卡、IP是否正确)
第1步:物理链路是否畅通,比喻为“高速公路是否畅通”
ping
大数据是对海量数据存储、计算、统计、分析等一系列处理手段,处理的数据量是TB级,甚至是PB或EB级的数据,是传统数据处理手段无法完成的,大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算 ...
架构师按照专注领域不同,可分为企业架构师、基础结构架构师、特定技术架构和解决方案架构师等,专职架构师往往偏向基础结构架构师和特定技术架构师,专职架构师不负责具体的业务系统,而又对所有的系统负责 ...
Spark 是一种与 Hadoop 相似的开源集群计算环境,是专为大规模数据处理而设计的快速通用的计算引擎,现已形成一个高速发展应用广泛的生态系统,主要应用场景如下:
1. Spark是基于内存的迭代计算框架,适用 ...
Java 被称为软件开发行业开发语言常青树,稳居开发语言排行榜首位。2017 年Java 人才缺口45 万,IDC 统计数据显示,在所有的人才开发需求中,java 工程师的需求达到全部需求的60%-70%。应用面广、就业面广的特性也是Java 开发 ...
如果线程是因为调用了wait()、sleep()或者join()方法而导致的阻塞,可以中断线程,并且通过抛出InterruptedException来唤醒它;如果线程遇到了IO阻塞,无能为力,因为IO是操作系统实现的,Java代码并没有办法直接接触到操作系统 ...