`

日常工作中的数据处理(shell,python,java)

阅读更多
工作中常常需要在linux线上环境处理数据,比如:处理log分析,mysql数据提取等等。

你可能首先想到的是shell,或在python。
shell确实简练,但是有时候并不好用,比如复杂数据的统计,shell显得过于简陋。
python当然可以应对多种需求,由于linux 都标配了python,熟悉python 那是相当方便。
不过对于业界 java语言的普及度是很高的,很多同事在处理数据的时候,由于对python不熟悉,效率很低,要把数据搞到本地,再tmd写java处理,实在坑爹。

下面兄弟谈下java在linux下的配置java环境以及处理数据,尤其是引用第三方的jar包,自我感觉相当方便~

第一步:配置jdk环境。
vim .profile
export JAVA_HOME=/home/q/java/jdk1.6.0_20
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:~/java/lib/*.jar

注意:最后我指定了:~/java/lib/*.jar ,这些jar包是jdk提供之外的jar包。

第二步:配置 Djava.ext.dirs,java编译和执行时引用jdk之外的jar包
alias jc='javac -Djava.ext.dirs=/home/xinchun.wang/java/lib'
alias jr='java -Djava.ext.dirs=/home/xinchun.wang/java/lib'


第三步:测试
import org.apache.commons.lang.StringUtils;
public class Test2{
  public static void main(String[] args){
   System.out.println(StringUtils.isEmpty(""));
   System.out.println(StringUtils.isEmpty("hellow"));
 }
}

执行:
jc Test2.java
jr Test2

输出:
true
false

至此:已经成功配置~

总结:
shell :实在不好用,但是简单的数据处理以及统计,那是简洁高效方便
python:胜任所有场景,熟悉的话,就优先使用啦,尤其是在执行环境多变的情况,可移植性好,比如给dba执行一个db数据处理的情况,对方可能没有装java环境,或者环境配置不一致,这块java不让python。
java:胜任所有场景,移植性(因为不同组的同事可能不装java环境,但是python肯定都有)相对python较差。
3
0
分享到:
评论

相关推荐

    Python大数据处理库 PySpark实战

    **Python大数据处理库 PySpark 实战** 在大数据领域,PySpark是Python编程语言与Apache Spark框架相结合的重要工具,它提供了Python API,使得开发者能够利用Spark的强大功能进行数据处理。PySpark广泛应用于数据...

    Java代码中调用shell脚本和python脚本并获得输出结果(分为小数据量和大数据量).docx

    本文将详细介绍如何在Java中调用Shell脚本和Python脚本,并重点讨论如何正确处理不同规模的数据输出。 #### 二、Java调用Shell脚本和Python脚本的基本方法 ##### 2.1 使用`Runtime.exec()`调用脚本 Java中可以...

    基于Shell、Java、Python的多语言离线数据仓库2201A实训一设计源码

    该实训项目是一款多语言构建的离线数据仓库,项目代码基于Shell、Java和Python开发,总计包含222个文件。其中,SQL文件77个,Shell脚本27个,图像文件17个,压缩文件14个,XML文件13个,文本文件13个,项目配置文件...

    中英文语料处理脚本,python,c++,java_Python_Shell_下载.zip

    标题 "中英文语料处理脚本,python,c++,java_Python_Shell_下载.zip" 暗示了这是一个包含多种编程语言(Python、C++、Java)用于处理中英文语料的代码集合。这个压缩包可能包含了用于数据预处理、文本分析、语言...

    基于Java、Shell、Python的多语言贷款核算Demo设计源码

    该Demo项目是一款多语言贷款核算系统,采用Java作为主要开发语言,同时融入Shell和Python脚本,实现高效的数据处理和自动化操作。项目包含264个文件,其中Java源代码117个,Shell和Python脚本共计4个,并附带必要的...

    此项目为《linux工匠》博客,日常运维中所用到的shell,python脚本.zip

    此项目为《linux工匠》博客,以及日常运维中所用到的shell,python脚本和k8s服务配置,集群安装文档等 软件开发设计:应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目...

    完全用Python工作---Harness the power of Python

    【Python——全能编程工具】 ...无论是处理数据、开发应用程序,还是自动化任务,Python都能提供高效且便捷的解决方案。因此,无论你是业余物理研究者,还是计算机新手,Python都值得你投入时间和精力去学习和掌握。

    分享python和java学哪个好.docx

    在上述文档中提到的信息咨询与研究中心数据处理和分析岗位,就要求应聘者既掌握Java也了解Python,这表明在实际工作中,多语言技能是非常有价值的。此外,对于大数据处理,Python的Pandas库和Java的大数据生态系统...

    java、python、go、shell等项目代码读取并存储到一个word文档中,软著申请工具。.zip

    标题中的“java、python、go、shell等项目代码读取并存储到一个word文档中,软著申请工具”指的是一个程序或脚本,其目的是帮助用户将不同编程语言(Java、Python、Go、Shell)的代码片段整合到一个Word文档中,这在...

    统计字符出现的次数 java,python,shell,javacript实现

    统计字符出现的次数是指在一个字符串中统计每个字符出现的次数,这在自然语言处理、数据分析等领域中非常重要。在本文中,我们将介绍如何使用 Java、Python、Shell 和 JavaScript 等四种语言来实现统计字符出现的...

    基于Java、Shell、Python多语言融合的GMJZ CRM设计源码

    本项目是一款融合Java、Shell和Python多语言技术的GMJZ CRM设计源码,总计包含1599个文件。其中,Java源文件1295个,图像文件(JPG和PNG)124个,配置文件(XML和YAML)41个,其他文件类型包括虚拟机文件、HTTP配置...

    Python 数据分析

    《Python数据分析》是Wes McKinney编写的一本专注于使用Python语言进行数据分析、数据处理和可视化的技术书籍。本书详尽地介绍了如何利用Python进行数据科学工作,重点讲解了几个关键的Python库及其在数据分析领域的...

    java,python,测试面试宝典.zip

    4. **异常处理**:Python中的异常类、异常处理结构(try-except-else-finally)。 5. **标准库与第三方库**:如NumPy、Pandas用于数据分析,Matplotlib、Seaborn用于可视化,Django或Flask用于Web开发,requests...

    利用Python+Java调用Shell脚本时的死锁陷阱详解

    理解这些基础知识对于编写可靠的自动化脚本至关重要,特别是在涉及大量数据处理或长时间运行的任务时。同时,保持代码的可读性和维护性,选择合适的库或工具,能有效提高工作效率并减少潜在的问题。

    Python-closh基于Clojure的类似于Bash的shell

    Python-closh的核心概念是将Clojure的语法和功能引入到shell环境中,允许用户直接在命令行中执行Clojure表达式,从而利用其丰富的函数库和高级数据结构。这不仅提高了脚本编写的速度,还使得复杂的计算任务变得更为...

    python for data analysis(pdf)

    双语言问题是指数据分析师往往需要使用两种语言:一种用于数据处理和清洗(如R、SQL、Excel),另一种用于数据分析和建模(如Python、R、Java)。这种分割导致了效率低下和沟通障碍。McKinney先生提出的解决方案是...

    aixshell 编程

    * 延展性:AIX shell 编程可以与其他编程语言集成,例如 Python、Java 等。 AIX shell 编程的挑战 * 学习成本:AIX shell 编程需要一定的学习成本,用户需要投入时间和精力来学习。 * 错误处理:AIX shell 编程...

Global site tag (gtag.js) - Google Analytics