daizj
- 浏览: 788665 次
- 性别:
- 来自: 广州
-
最新评论
文章列表
在pandas里面常用用value_counts统计某个字段各种值数据出现的频率
pandas.Series.value_counts
Series.value_counts(normalize=False, sort=True, ascending=False, bins=None, dropna=True)
参数:
normalize : boolean, default False 如果设置为true，则以百分比的形式显示
sort : boolean, default True 是否排序
ascending : boolean, default False 默认降序排序
bins ...
1.什么是特征工程
顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。特征工程是指从原始数据转换为特征向量的过程。
2.特征工程作用
在业界广泛流传一句话：数据和 ...
1.什么是损失函数
损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型认为性能就越好。
2.损失函数，代价函数和目标函数的区别
...
激活函数
1. 什么是激活函数
如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。
2. 激活函数作用
如果不用激活函数，每一层输出都是上层输入的线性函数 ...
通过rpm -ivh hadoop-hdfs-namenode-2.3.0+cdh5.0.0+548-1.cdh5.0.0.p0.69.el6.x86_64.rpm安装hadoop时，报下面错误：
rpmdb: Thread/process 37574/140114963916704 failed: Thread died in Berkeley DB library
error: db3 error(-30974) from dbenv->failchk: DB_RUNRECOVERY: Fatal error, run database recovery
error: cannot ...
github安装方法，记录一下
下载地址：https://git-scm.com/download
安装教程地址：https://www.jianshu.com/p/414ccd423efc
python支持连接多种数据库：如下：
GadFly,mSQL,MySQL,PostgreSQL,Microsoft SQL Server 2000,Informix,Interbase,Oracle,Sybase
如果要操作mysql需要先安装MySQLdb，MySQLdb是用于Python链接Mysql数据库的接口，它实现了 Python 数据库 API 规范．
一、MySQLdb安装
检测python中是否已安装mysqldb的方法，只要在客户端执行import MySQLdb看是否报错就行，如果不报错说明已安装，如果报ImportError: No module named MyS ...
忘了root用户密码后，修改root密码方法
- 博客分类：
- Linux
对于Redhat7系统，如果把root用户密码忘了的话，需要重新设置root密码，其步骤如下：
1、系统启动时，按e进入命令行界面
2、在linux16行后加init=/bin/sh，去掉rhgb和quiet参数
3、mount -o remount,rw /
4、通过passwd修改root用户密码
5、touch /.autorelabel
6、exec /sbin/init
新安装了redhat7.安装后，登录系统，使用yum update 更新系统。提示：
This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.
无法更新。
redhat 默认自带的 yum 源需要注册，才能更新。我们想不花钱也可以更新，需要替换掉redhat的yum源。
1.检查是否安装yum包
查看RHEL是否安装了yum，若是安装了，那么又有哪些yum包：
[root@syq yum.repos.d]# rpm ...
经常需要杀掉某一类进程，其命令如下：
ps -ef | grep java | grep -v grep |awk '{print $2}' | xargs -p kill -9
如果直接杀掉，把xargs后面 -p 参数去掉
grep java: 指查找含有java关键字的进程
grep -v grep 是在列出的进程中去除含有关键字"grep"的进程
按照文件的修改最后修改时间来删除
1、删除2016年的所有文件
for filename in *; do if [ `date -r $filename +%Y` == "2016" ];then rm -rf $filename; fi done
2、删除16点生成的文件
for filename in *; do if [ `date -r $filename +%H` == "16" ];then rm -f $filename; fi done
2、删除10天之前的文件
find . -mtime +10 -type f | xar ...
一、Linux sed 批量替换多个文件中的字符串
sed -i "s/oldstring/newstring/g" `grep oldstring -rl datadir`
例如：替换/data下所有文件中的testString为newString
sed -i "s/testString/newString/g" `grep testString -rl /data`
二、批量删除指定字符串的行
sed -e '/test/d' test.txt // 删除test.txt中含"test"的行，但不改变test. ...
今天impala集群在执行：invalidate metadata;时，报ERROR: Couldn't open transport for host.impala:26000(connect() failed: Connection refused)
经过分析后，发现主节点的catalog服务已经停了，没启动，
service impala-catalog status
Impala Catalog Server is dead and pid file exists [FAILED]
通过service impala-catalog start 重新启动服务后 ...
1.参数选取
当我们的代码写完，打好jar，就可以通过bin/spark-submit 提交到集群，命令如下：
./bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
一般 ...
linux经常需要查询服务器的外网IP，或是通过域名来查询该服务器对应的外网IP
1、查询本地服务器外网IP
curl ipinfo.io/ip
2、通过域名查询外网IP
通过执行命令：nslookup www.baidu.com 可得到下面结果
Non-authoritative answer:
www.baidu.com canonical name = www.a.shifen.com.
Name: www.a.shifen.com
Address: 14.215.177.37
Name: www.a.shifen.com
Address: 14.215. ...