应用多个线程同时解析多个文件,比起使用单线程顺序解析这些文件,效率并没有提高 ??

我这里先是读取远程数据库中的文件,然后在本地解压,最后输出。远程数据库是文件数据库

2011-01-13 14:59:03

11 Answers

我感觉你首先应该明白多线程一些作用;
使用线程的好处有以下几点:
·使用线程可以把占据长时间的程序中的任务放到后台去处理
·用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度
·程序的运行速度可能加快
·在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。

你出现的问题就像上面两位前辈所说的,采用文件操作影响了你的效率,你应该改变一下这种机制,变为现在流行的nosql机制,当然这是我个人的建议

2011-01-13 17:26:41

1,多线程主要是为了充分利用多核cpu资源,如果你的硬件跟不上,只有一个cpu,那么多线程从并发变成了串行了,另外再加上线程上下文切换的时候,那你就得不偿失了
2,线程的个数对于一个应用程序来讲的话,往往会有一个临界值。
3,临界资源的访问问题,程序中临界区的指令一般来说越少越好,最好不要在临界区中做一些重量级的事情,例如说数据库,写文件,读文件!

2011-01-13 18:08:17

这个问题很难一句两句说清楚,多线程的使用一定要慎用,使用多个线程来处理多任务的时候,效率肯定是有提高的,要不也不会有多线程这种东西存在了。但是对硬盘的读写有特殊的地方。
多线程使用的时候,要注意下面几个几点:
1.如果多线程是同步操作一个原子数据,(多个线程同步去处理一个加锁的对象),那效率肯定不会提升,就好像1个人去做1件事和多个人排队去做一件事效率是一样的;
2.服务器的硬件问题,多线程跑起来肯定会比单线程跑起来更加费CPU和内存,如果你的硬件本身就不给力,那也肯定快不起来;
3.关于多文件的了:
对磁盘进行多线程处理的时候,效率会急速下降!!
因为不同文件的读写,会造成磁头的频繁转换,磁头的频繁转换要比读取磁盘的时间更长。
所以这种情况下,最好有个线程去读取文件,其他的线程去处理文件数据中的业务逻辑处理

2011-01-13 19:49:57

你是不是采用普通的 File文件API来读写文件?
如果你,这种用法是肯定不会提高效率的!
因为文件,网络等流的读写都需要操作IO通道,而操作系统的IO通道数量是固定的。

我们假设你的电脑只有一个IO通道,如果你打开一个文件流并进行读写,则占用了一个IO通道,如果你又打开一个文件流,则第二个文件流需要等待第一个文件关闭通道才能真正意义上的进行读写。 所以实际上,你打开多个文件同时进行读写时就是在串行单线程操作。

解决的办法是采用 NIO: java.nio (Java 2 Platform SE v1.4.2)
NIO的意思当然就是同时开启N个IO通道了,如果你的机器硬件的确只支持同时打开一个通道的话,JAVA虚拟器会帮你做虚拟协调(很强大吧?) NIO比普通IO技术至少快30%,

请看我的示例代码,这段代码是用在Android客户端的,在普通Java上可能有所不同,具体可以查看JACA 文件NIO的文档

假设需求是:
public static void saveFileToLocalDisk(String fileName, byte[] buffer)

则实现应该是:

FileOutputStream os = null; FileChannel channel=null; ByteBuffer byteBuffer=null; try { os = new FileOutputStream(file); if(os!=null){ channel=os.getChannel(); byteBuffer=ByteBuffer.allocate(buffer.length); byteBuffer.put(buffer); byteBuffer.flip(); channel.write(byteBuffer); } } catch (IOException e) { e.printStackTrace(); } finally { try{ if(os!=null){ os.close(); } if(channel!=null){ channel.close(); } if(byteBuffer!=null){ byteBuffer.clear(); byteBuffer=null; } }catch(Exception e){} }

还记得普通方式写文件吗?
先得到FileOutputStream,然后直接设用 os.write(bytes);
而现在不同点在于先得到一个Channel再建构一个Bytebuffer,再用两者完成任务,JAVA虚拟机帮你完成剩下的CPU和IO任务调度

2011-01-13 21:31:59

解析文件,解压这些操作都是耗计算的(耗cpu时间),也就是说任务的快慢取决于cpu和算法的性能。线程是为了解决真正意义上需要并行的不同任务,前提是这些并行任务不是特别耗计算,或者说这些任务任意一个都不能满负荷cpu,这样的线程执行并行任务才有提高效率的可能。

2011-01-13 22:50:14

感觉不是效率没有提高,而是使用方法有问题,或者是关乎磁盘的问题了,频繁德磁头转换,如果单个数据不是很大,可以尝试一次性将文件读入内存或者是分几个大部分读入内存,之后在内存中操作,也许会好一些。

2011-01-14 00:29:14
您不能回答该问题或者回答已经关闭!

相关文章推荐

  • C#中using指令的几种用法

    using + 命名空间名字,这样可以在程序中直接用命令空间中的类型,而不必指定类型的详细命名空间,类似于Java的import,这个功能也是最常用的,几乎每个cs的程序都会用到

  • C#实例解析适配器设计模式

    将一个类的接口变成客户端所期待的另一种接口,从而使原本因接口不匹配而无法在一起工作的两个类能够一起工作

  • C#开发高性能Log Help类设计开发

    项目中要在操作数据库的异常处理中加入写Log日志,对于商业上有要求,写log时对其它操作尽可能影响小,不能因为加入log导致耗时太多

  • Async和Await使异步编程更简单

    C#5.0中async和await两个关键字,这两个关键字简化了异步编程,之所以简化了,还是因为编译器给我们做了更多的工作

  • C#开发中的反射机制

    反射的定义:审查元数据并收集关于它的类型信息的能力。元数据(编译以后的最基本数据单元)就是一大堆的表,当编译程序集或者模块时,编译器会创建一个类定义表,一个字段定义表,和一个方法定义表等

  • C#运行时相互关系

    C#运行时相互关系,包括运行时类型、对象、线程栈和托管堆之间的相互关系,静态方法、实例方法和虚方法的区别等等

  • 使用托管C++粘合C#和C++代码(二)

    本文实现一下C++代码调用C#代码的过程。我构造一个简单并且直观的例子:通过C++ UI 触发C# UI.

  • C#协变和逆变

    “协变”是指能够使用与原始指定的派生类型相比,派生程度更大的类型,“逆变”则是指能够使用派生程度更小的类型

  • C#基础概念之延迟加载

    延迟加载(lazy load)是Hibernate3关联关系对象默认的加载方式,延迟加载机制是为了避免一些无谓的性能开销而提出来的,所谓延迟加载就是当在真正需要数据的时候,才真正执行数据加载操作

  • C#中的索引器的简单理解和用法

    C#中的类成员可以是任意类型,包括数组和集合。当一个类包含了数组和集合成员时,索引器将大大简化对数组或集合成员的存取操作

  • 使用托管C++粘合C#和C++代码(一)

    C#在xml读写,数据库操纵,界面构造等很多方面性能卓越;C++的效率高,是底层开发的必备武器

  • 深入C# 序列化(Serialize)、反序列化(Deserialize)

    C#中的序列化和反序列化,序列化是.NET运行时环境用来支持用户定义类型的流化的机制