博客首页 → 大文件

最新文章列表

基于大量数据的Excel文件生成方案

基于大量数据的Excel生成方案 以往我们在基于POI生成Excel文件时，都是利用官方提供的HSSF或XSSF对应的系列API，它们操作简便，上手比较快。但是对于大数据量的Excel文件生成往往会比较耗时，这是我们利用标准的API进行开发的一个痛点。对于性能更高一点的API，POI官方会建议我们使用SXSSF系列API，虽然它的性能比起HSSF和XSSF会有很大的提高，但是面对大量数据的时候还 ...
poiExcel大文件大数据量生成 
234390216 评论(1) 有8812人浏览 2017-06-19 14:39

Java NIO MappedByteBuffer

前言 java通常采用BufferedReader，BufferedInputStream等带缓冲的IO类处理文件读写，不过java nio中引入了一种基于MappedByteBuffer操作大文件的方式，其读写性能 ...
NIOJAVA大文件 
春花秋月何时了 评论(0) 有1113人浏览 2016-10-13 22:50

Mysql——PhpMyAdmin导入大型文件（本地操作）

使用PhpMyAdmin的时候发现大型的数据库文件（.sql 170M）无法导入，解决之后在这里整理一下。 首先 第一个问题，php的文件上传限制默认的值应该不会大于8M，这个根据配置环境而定。 这里由于我是本地操作，所以简单了。 1、在phpMyAdmin的目录下，找到根目录的config.inc.php文件 2、打开config.inc.php文件，查找$cfg['UploadDi ...
phpMyAdmin大文件数据导入 
Tenacious 评论(0) 有2586人浏览 2015-04-09 10:59

利用归并排序算法对大文件进行排序

  归并排序算法介绍，请参照Wikipeida zh.wikipedia.org/wiki/%E5%BD%92%E5%B9%B6%E6%8E%92%E5%BA%8F 基本思想： 大文件分割成行数相等的两个子文件，递归（归并排序）两个子文件，直到递归到分割成的子文件低于限制行数 低于限制行数的子文件直接排序 两个排序好的子文件归并到父文件 直到最后所有排序好的父文件归并到输入的大文件 ...
归并排序大文件javaMerge sort分治法 
iwindyforest 评论(0) 有5633人浏览 2015-01-25 20:59

Android NDK之fseek, lseek

关于文件seek有一系列函数，在stream上操作的fseek, fseeko，在file descriptor上操作的lseek, lseek64等。下面是几个函数原型： int fseek(FILE *stream, long offset, int wh ...
android大文件fseeklseek64_FILE_OFFSET_BITS 
jeyechao 评论(0) 有7250人浏览 2014-12-11 12:22

归并算法在大文件处理中的使用

本文描述了一下归并算法在大文件处理中的使用. 应用场景: 1.单个文件,大小>机器内存,对文件数据进行排序(顺序,小->大) 2.单个文件,大小>机器内存,对文件数据进行去重 简单描述一下大文件排序的思路 1.文件拆分 2.拆分后的小文件分别排序,为之后的归并排序做准备 3.归并排序,这里是核心.首先,因为小文件已经排好序了,那么接下来要做的就是将有序的小文件进行 ...
归并大文件数据处理排序去重 
跑轮里的冠军 评论(0) 有1911人浏览 2014-07-25 10:13

Linux大文件拆分传输

Linux 大文件拆分 远程传输大文件时，如果网络不稳定容易功亏一篑，此时可考虑将大文件按指定大小拆分成多个小文件，便于重传。 可通过对比文件传输前后的MD5码，判断文件是否损坏或被篡改。 以下以传输一个17G大文件（win2008.img）作完整示例： 1、计算大文件MD5码： md5sum win2008.img 2、按固定大小500M进行拆分： split -b 500m win2008 ...
linux大文件拆分scpsplit 
wuyaweiwude 评论(0) 有5232人浏览 2013-09-29 17:17

php上传大文件成功，但是找不到文件的问题

今天做flex  +  PHP的上传，上传都成功了，但是在目标位置找不到文件 后来研究了研究 在php.ini里面配置的临时文件路径需要打开 upload_tmp_dir （在上传大文件的时候）
php上传大文件 
LiYunpeng 评论(0) 有1613人浏览 2013-08-11 13:57

这不是面试题，这是真事

我有一个文件，一共100列，每个列以 tab 分开，第二列是一个 15位 的整数（此列是乱序的） 文件行数在2亿行之内，文件很大，大约50G左右。现在要求我找出 满足这中条件的行：第二列的整数，在此文件中，出现过2次或2次以上 有啥好办法嘛？ 我现在这么搞的：将文件尽量分成小文件（保证同样的数字分到同一个小文件中），使得此文件可以整个load到内存中。然后对内存中的数据使用set看是否曾经重复出现 ...
大文件分割内存 
iceman1952 评论(0) 有838人浏览 2013-07-25 09:56

uploadify 控件 在struts2中 上传文件 提交报错 HTTP Error (302)

主要是因为struts2的上传大小限制 在上传文件的时候报错:HTTP Error (302) 是session的问题. 可以在过滤器中把上传的action过滤掉,比如的form上传的name为uploadify.action 不要把这个上传的action过滤掉 如果在提交大文件的时候报HTTP Error (404) 错误的话 struts.xml中 改 <const ...
uploadifyHTTP Error (302)HTTP Error (404)上传大文件 
heisetoufa 评论(2) 有4622人浏览 2013-03-24 18:36

uploadify 控件 在struts2中 上传大文件 提交报错 HTTP Error (404)

主要是因为struts2的上传大小限制 struts.xml中 改 <constant name="struts.multipart.maxSize" value="1200000000" /> value的单位是bit,1200000000的大小大约为1.2G 在uploadify控件中,设置'fileSizeLimit':'1024MB', ...
uploadifyHTTP Error (404)HTTP Error (302)上传大文件 
heisetoufa 评论(3) 有5418人浏览 2013-03-24 18:34

突破PHP上传文件大小限制的方法介绍

PHP上传文件默认一般都是有限制的，如何修改PHP上传限制的大小呢？ 1. 一般的php文件上传,除非文件很小.就像一个5M的文件,很可能要超过一分钟才能上传完. 但在php中,默认的该页最久执行时间为 30 秒.就是说超过30秒,该脚本就停止执行. 这就导致出现 无法打开网页的情况.这时我们可以修改 max_execution_time 在php.ini里查找 max_execution_tim ...
上传大文件 
joy_xiaoboy 评论(0) 有1266人浏览 2013-03-16 14:10

php无法上传大文件的解决方法

开发一个文件上传共享网站，曾想使用下面的代码实现文件上传的功能： <form enctype="multipart/form-data" action="add_file.php" method="post"> <fieldset><legend>Fill out the form to upload ...
上传大文件 
xfcode 评论(0) 有738人浏览 2013-03-07 22:59

JAVA NIO 大文件读取

import java.io.File; import java.io.IOException; import java.io.RandomAccessFile; import java.nio.ByteBuffer; import java.nio.channels.FileChannel; public class TestNio { public static void ...
javanio大文件 
buzhucele 评论(1) 有10561人浏览 2012-12-07 16:21

python cgi 上传大文件

#!E:\Python27\python.exe import cgi, os import cgitb; cgitb.enable() try: # Windows needs stdio set for binary mode. import msvcrt import uuid msvcrt.setmode (0, os.O_BINARY) # st ...
pythoncgi上传大文件 
chembo 评论(0) 有4362人浏览 2012-11-30 17:09

解读IO复制大文件

开篇几个问题： 你所知道的IO的内容有哪些？假设给你一个任务快速复制大文件甚至是超大文件，你怎么应对？你用什么技术实现？在巨多无比及其变态的用户下载这个文件的时候，你怎么解决这个问题？ 如果你还不能回答完整第一个问题，那么即使你学了N久，那你也还没有入门。假设你能回答第二个问题你基础还行，假设你能回答并且能实现第三个和第四个问题你就是已经比较强大了。 作为一个常用的IO技术---通 ...
io大文件 
iavere 评论(0) 有761人浏览 2012-09-07 11:04

dom4j解析XML，生产XML，大文件XML

dom4j跟Jdom、sax、dom之间的区别网上很多，一搜一大堆，但是处理大文件的比较少。 所以总结下生成和读取大的XML文件 生成大文件 public void writeToFile(S ...
dom4jxmljava大文件 
tankmarshal 评论(0) 有5874人浏览 2012-08-06 17:43

海量数据处理之一

                                                             项目组里因为需要，现要开发一个数据过滤软件，针对文本文件 (txt 文件 ) ，文本文件里的数据是 11 位的手机号码，数据约有四千万行，进行数据过滤 ( 重复号码过滤，位数非 11 位的进行过滤 ) 尽量脱离数据库。而且要提 ...
java海量数据内存大文件 
周凡杨 评论(10) 有2838人浏览 2012-06-18 18:37

PHP大文件下载解决

附件中有两个下载类，直接拿来可以用，都支持断点续传、速度限制，但是在linux都不能下载超过2G文件(都使用了fopen，但由于文件超过2G，无法返回文件句柄) ，不过在windows上测试超过2G的可以下载。 php下载类.zip (其中有个类需要BC高精函数库支持，linux上yum -y install php-bcmath)   超过2G解决方案： 一种直接将2G文件放到服务器目录下 ...
大文件xsendfiledownload 
feitu_jeff 评论(0) 有2517人浏览 2012-06-08 08:58

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics