Java 读取大文件有什么可以优化的吗

 我来答
电商运营的机会
2017-06-10 · 知道合伙人互联网行家
电商运营的机会
知道合伙人互联网行家
采纳数:436 获赞数:998
潭州教育网络科技有限公司最佳电商运营总监。

向TA提问 私信TA
展开全部

优化一:采用内存硬盘(RamDisk)

内存硬盘可以极大地提高文件的读写速度,行情的读写是应用内存硬盘的绝好情况:

1,可以把行情小站的行情文件地址配置在内存硬盘上。这样可以加速行情小站写文件的速度。

2,本系统再从内存硬盘读取,又可以加快读取速度。

3,内存硬盘掉电后会丢失文件,这里基本不在乎这个缺点,因为行情文件本来就是临时的,如果有持久化的需要,大部分内存硬盘也支持持久化的功能。

优化二:采用JNotify,用通知替代轮询

由于行情小站会不断的更新行情dbf文件,系统需要探测到一旦行情文件被更新,就立即读取。传统的策略是不断轮询行情文件的状态,如果发现行情文件的最后修改日期(或者再加上文件大小)改变时,就认为文件被更新。但是这种方式既低效,时延又高且不稳定。假设即使把轮询时间设置为10ms一次(这意味着1秒钟就要轮询100次), 平均时延也要5ms。

JNotify库支持Windows,Linux和MacOS,允许监视一个文件夹,当这个文件夹下的文件被增删改时,发起回调通知。代码示例如下:

以上代码:

1,只要监视文件修改,因此只要设置mask = JNotify.FILE_MODIFIED

2,不需要递归地监视子目录,设置watchSubtree = false

3,由于监视的是文件夹,而不是文件,在fileModified方法中,要判断修改的是不是关心的文件(即行情文件),如果不是,则忽略。如果是,就调用readHangqingFile开始读取。

JNotify是基于操作系统API实现的,即使用JNI实现的,因此除了jar文件,还包含.dll文件和.so文件。用eclipse开发时,需要指定这些本地库的目录,如下图所示:

部署时,需要将本地库放在执行根目录下,或者用-Djava.library.path=/native/library/path 指定本地库的位置。

采用JNotify,用(基于操作系统的)通知而不是轮询,可以非常快地发现文件被更新,根据测试时间<1ms (我觉得应该远小于1ms,但是由于文件修改时间单位是毫秒,没办法更精确的测量)。

推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式