最新文章列表

集算器和R语言处理外存文本文件的对比

  作为数据计算语言,集算器和R语言都提供了丰富的功能用来处理外存中的文本文件。两者在基本用法上有很多相似之处,但区别也很明显,比如处理列宽固定的文件、读写指定的列、处理大文本文件,计算性能等方面。下面详细对比两者的异同。 1、基本功能对比   描述:   sales.txt共有六列,列之间以制表符(\t)分割,行之间以换行符(\n)分割,其中第一行为列名。请将该文件读入内存,再原样写入新的 ...
datamachine 评论(0) 有1253人浏览 2015-12-22 09:42

将MongoDB导出成csv文件

   来源:https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw。   Mongodb可以存储非结构化数据,要将这些数据导出为标准的结构化数据会存在一定的困难。用集算器结合MongoDB可以方便的导出标准化数据,下面看一下具体做法。   Collection test的部分数据如下: /* 0 */ {   “_id” : Object ...
datamachine 评论(0) 有3725人浏览 2015-08-21 08:38

文本文件连接的实现

问题来源:http://stackoverflow.com/questions/26820118/text-file-processing-using-java JAVA没有直接处理文本文件的连接运算的类库,自行编码非常复杂,特别是文件太大无法放入全部读入内存时。集算器可以协助JAVA实现这些运算,下面通过例子来看一下具体作法。 文本文件order.txt的第一行是列名,列SellerId是逻 ...
datamachine 评论(0) 有814人浏览 2015-03-27 15:26

如何从文本文件中批量抽取数据

在进行文本处理时,有时候需要从多级目录的多个文件中取出某些数据。命令行难以处理较复杂的过程,而高级语言虽然可以实现这种算法,但代码比较难写,再加上可能存在大文件,处理起来会更加困难。集算器支持游标读取大文件、脚本递归调用,易于实现批量文件处理,下面通过例子来看一下具体作法。   目录“D:\files”包含多级子目录,每个目录下都有许多文本格式的文件,从这些文件中读取指定的行(比如第二行),并 ...
datamachine 评论(1) 有3523人浏览 2015-01-27 13:27

去除文本文件分组后的重复行

         在进行文本文件的处理时,有时需要从已经分组的数据中去除重复的行,当文件较大无法放入内存时会更为麻烦。集算器的分组运算支持丰富 ...
datamachine 评论(0) 有1083人浏览 2015-01-23 14:21

文本文件的分组间插入汇总值

         在已经分组的数据间插入汇总值,通常的做法是依次读入本组数据,直到数据发生变化,然后将本组数据和汇总值追加到新文件中,再读入下一组数据。硬编码的过程有些麻烦,集算器支持分组游标,可以自动读入整组数据。下面通过例子来看一下具体作法。            日志webdata.log有三列,列之间以逗号分隔,第一列是分组标志,后两列是数值,部分数据如下:     注意:第一组 ...
datamachine 评论(0) 有655人浏览 2015-01-16 11:22

结构化文本的不定行日志解析

         在将日志文本解析成结构化数据时时,常会遇到记录由数量不定的多行组成的情况。这种变换存在一定的复杂性,实现复杂度较高。集算器支持正则表达式、字串拆分、隔行取数、横向拼接等灵活的结构化计算函数,适合处理此类文本。下面通过例子来看一下具体作法。        日志文件reportXXX.log存储着若干记录,每条记录由多行构成,包括14个数据项(字段)。记录以字符串“Object ...
datamachine 评论(0) 有2112人浏览 2015-01-09 10:53

用集算器来处理大文件集合运算

在进行文本处理时,经常会遇到对大文件进行集合运算的情况,比如找出两个文件不同的行数据。用命令行的grep\cat命令处理此类问题时,写法很简单,但效率太低,用高级语言处理此类问题虽然可以获得较高的运行效率,但代码编写复杂度确相当高。     用集算器来进行大文件的集合运算和多线程并行计算,不仅代码简洁,而且性能优异。 文件file1.txt和file2.txt存储着大量的字符串,找出两者共同的 ...
datamachine 评论(0) 有1025人浏览 2014-12-11 14:56

集算器和R语言处理外存文本文件的对比

作为数据计算语言,集算器和R语言都提供了丰富的功能用来处理外存中的文本文件。两者在基本用法上有很多相似之处,但区别也很明显,比如处理列宽固定的文件、读写指定的列、处理大文本文件,计算性能等方面。下面详细对比两者的异同。      1、基本功能对比     描述:   sales.txt共有六列,列之间以制表符(\t)分割,行之间以换行符(\n)分割,其中第一行为列名。请将该文件读入内存 ...
datamachine 评论(0) 有1632人浏览 2014-12-03 15:52

读取文件中文乱码

android读取服务器文本文件出现中文乱码, 一开始以为是读取没转换 new InputStreamReader(entity.getContent(), "UTF-8") 最后发现是文本文件保存的编码格式不是utf-8。
houniao1990 评论(0) 有499人浏览 2014-06-12 10:35

Flex创建文本并写入信息

Flex创建文本并写入信息的例子如下: <?xml version="1.0" encoding="utf-8"?> <mx:WindowedApplication xmlns:mx="http://www.adobe.com/2006/mxml" layout="horizontal" f ...
liguanshi 评论(0) 有479人浏览 2013-12-06 13:49

java 创建文件夹和读取文本文件txt的内容

import java.io.BufferedReader; import java.io.File; import java.io.FileReader; public class ReaderFile { public static void main(String[] args) throws Exception { String localPath = "F ...
heisetoufa 评论(0) 有2652人浏览 2013-08-29 11:36

java 生成 读取 文本文件txt 写入中文测试

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileWriter; import java.io.IOException; import java.io.InputStrea ...
heisetoufa 评论(0) 有7895人浏览 2013-08-29 11:36

java 追加字符串到文本文件末尾,txt追加

public void fileOutputStream() throws IOException{ String temp="Hello world!\n"; FileOutputStream fos = new FileOutputStream("D:\\my.txt",true);//true表示在文件末尾追加 fos.write(te ...
heisetoufa 评论(0) 有13536人浏览 2013-08-28 16:08

MYsql数据文本形式导出与导入

一、查询表结构 mysql> desc province;+-----------+-------------+------+-----+---------+----------------+| Field     | Type        | Null | Key | Default | Extra          |+-----------+-------------+------ ...
chinrui 评论(0) 有590人浏览 2013-06-26 11:35

文本文件以及图片在浏览器直接打开解决办法

项目遇到一个这样一个问题,文件下载的时候,图片、文本文件的附件直接在浏览器里打开了。 文件是存放在apache文件服务器上 解决办法:  文件下载的时候 ,经过一个action处理,在action中重新设置了http头   jsp:   <a href="${ctx }/download/downFiles.action?url=${fileInfoVO.url_d ...
evoleht 评论(1) 有7264人浏览 2013-02-19 17:53

文本文件和二进制文件区别

************************************************************************ 文本文件是基于字符编码的文件,常见的编码有ASCII编码,UNICOD E编码等等。二进制文件是基于值编码的文件,你可以根据具体应用,指定某个值是什么 意思(这样一个过程,可以看作是自定义编码)。 **************************** ...
zhangIT 评论(0) 有1117人浏览 2012-09-18 15:28

关于php写入文本文件时回车的问题

今天在写日志文件的时候,发现写入的内容不会换行。查了一些资料才发现一些问题。   相关代码如下:   file_put_contents($_SESSION['projectname'],'资产负债表写入成功\r\n',FILE_APPEND);   或   $fp = fopen('log.txt','a'); fwrite($fp,'资产负债表写入成功\r\nt ...
yeyuan 评论(0) 有3262人浏览 2011-12-25 13:20

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics