asahi/rikako-note

Fork 0

Files

asahi 8563c9aca0 阅读nio文档

2024-08-27 13:31:41 +08:00

11 KiB

Raw Blame History

NIO

简介

nio库在jdk 1.4时被引入，和传统i/o不同的是，nio性能高且基于block。在nio中，定义了类来持有数据，并以block为单位对数据进行处理。

nio和传统io区别

nio和传统io最大的区别是数据打包和传输的方式。在传统io中，会以stream的形式来处理数据；而在nio中，数据则是以block的形式被处理。

面向stream的io系统在同一时刻只能处理1字节的数据，通常较慢。

面向block的io系统则是以block为单位处理数据，处理速度较传统io快。

Channel/Buffer

channel和buffer是nio中的核心对象，几乎在每个io操作中被使用。

channel类似于传统io中的stream，所有数据的写入或读取都需要通过channel。而buffer本质上则是数据的容器，所有被发送到channel中的数据都要先被放置到buffer中，所有从channel中读取的数据都要先被读取到buffer中。

Buffer

Buffer是一个类，用于存储数据，buffer中的数据要么将要被写入到Channel中，要么刚从Channel中读取出来。

Buffer是nio和传统io的重要区别，在传统io中，数据直接从stream中被读取出来，也被直接写入到stream中。

在nio中，数据的读取和写入都需要经过Buffer

buffer的本质是一个字节数组，buffer提供了对数据的结构化访问，并且，buffer还追踪了系统的读/写操作。

Buffer类型

最常用的Buffer类型是ByteBuffer，其支持对底层的字节数据进行set/get操作，初次之外，Buffer还有其他类型。

ByteBuffer
CharBuffer
ShortBuffer
IntBuffer
LongBuffer
FloatBuffer
DoubleBuffer

上述的每个Buffer类都实现了Buffer接口，除了ByteBuffer之外，其他每个Buffer类型都拥有相同的操作。由于ByteBuffer被绝大多数标准io操作锁使用，故而ByteBuffer除了拥有上述操作外，还拥有一些额外的操作。

Buffer设计

Buffer是存储指定primitive type数据的容器（Long,Byte,Int,Float,Char,Double,Short），buffer是线性并且有序的。

buffer的主要属性包括capacity、limit和position：

capacity：buffer的capacity是其可以包含的元素数量，capacity不可以为负数并且不可以被改变
limit：buffer的limit代表buffer中第一个不应该被读/写的元素下表，（例如buffer的capacity为5，但是其中只包含3个元素，那么limit则为3），limit不能为负数，并且limit不可以比capacity大
position：position代表下一个被读/写元素的下标，position部为负数也不应该比limit大

传输数据

buffer的每个子类都定义了get/put类似的操作，相应的read或write操作会从position转移一个或多个元素的数据，如果请求转移的数据比limit大，那么相应的get操作会抛出BufferUnderflowException，set操作则是会抛出BufferOverflowException；在上述两种情况下，没有数据会被传输。

mark & reset

buffer的mark操作标识对buffer执行reset操作后position会被重置到的位置。mark并非所有情况下都被定义，当mark被定义时，其应该不为负数并且不应该比position大。如果position或limit被调整为比mark更小的值之后，mark值将会被丢弃。如果在mark没有被定义时调用reset操作，那么会抛出InvalidMarkException异常。

属性之间的大小关系

0<=mark<=position<=limit<=capacity

clear/flip/rewind

除了对buffer定义mark/reset操作之外，buffer还定义了如下操作：

clear()：使buffer可以执行新的sequence channel-read操作或relative put操作
- clear操作会将limit设置为capacity的值并且将position设置为0
flip()：使buffer可以执行sequence channel-wirte操作和relative get操作：
- flip操作会将limit设置为position，并且将position设置为0
rewind()：使buffer中的数据可以重新被读取：
- rewind操作会将position设置为0，limit保持不变

在向buffer写入数据之前，应该调用clear()方法，将limit设置为capacity并将position设置为0，从而可以向[0, capacity-1]的范围内写入数据

当写入完成之后，想要从buffer中读取数据时，需要先调用flip()方法，将limit设置为position并且将position设置为0，从而可以读取[0, position-1]范围内的数据

如果想要对buffer中的数据进行重新读取，可以调用rewind()方法，其将position设置为0，从而可以对[0, limit-1]范围内的数据重新进行读取。

Buffer get/put方法

get

在ByteBuffer中，拥有如下get方法：

byte get();
ByteBuffer get( byte dst[] );
ByteBuffer get( byte dst[], int offset, int length );
byte get( int index );

其中，前3个get方法都是relative方法，其基于当前position和limit来获取数据。第4个get方法则是absolute方法，其不基于position和limit，而是基于index绝对偏移量来获取数据。

absolute get方法调用不基于position和limit，也不会对position和limit造成影响。

put

ByteBuffer拥有如下put方法：

ByteBuffer put( byte b );
ByteBuffer put( byte src[] );
ByteBuffer put( byte src[], int offset, int length );
ByteBuffer put( ByteBuffer src );
ByteBuffer put( int index, byte b );

Buffer allocation and warpping

在创建buffer之前，必须对buffer进行分配，

ByteBuffer buffer = ByteBuffer.allocate(1024);

Buffer.allocate会创建一个指定大小的底层数组，并将数组封装到一个buffer对象中。

除了调用allocate之外，还可以将一个已经存在的数组分配给buffer：

byte array[] = new byte[1024];
ByteBuffer buffer = ByteBuffer.wrap(array);

在调用wrap方法之后，会创建一个buffer对象，buffer对象对array进行的包装。此后，既可以通过array直接访问数组，也可以通过buffer访问数组。

Buffer slice

buffer slice会基于buffer对象创建一个sub buffer，新建的sub buffer会和原来的buffer共享部分的底层数组数据。

ByteBuffer buffer = ByteBuffer.allocate(10);

for (int i = 0; i < buffer.capacity(); ++i) {
  buffer.put((byte) i);
}

buffer.position(3);
buffer.limit(7);

ByteBuffer slice = buffer.slice();

通过上述方法，可以创建一个包含原始buffer[3,6]范围内元素的sub buffer。但是，sub buffer和buffer共享[3,6]范围内的数据，实例如下所示：

// 将[3,6]范围内的元素都 * 11
for (int i = 0; i < slice.capacity(); ++i) {
  byte b = slice.get(i);
  b *= 11;
  slice.put(i, b);
}

// 重置original buffer的position和limit并读取数据
buffer.position(0);
buffer.limit(buffer.capacity());
while (buffer.remaining() > 0) {
  System.out.println(buffer.get());
}

修改sub buffer中的元素内容后，访问original buffer中的内容，输出结果如下所示：

$ java SliceBuffer
0
1
2
33
44
55
66
7
8
9

易得知在sub buffer修改内容后，内容修改对buffer也可见。

ReadOnly Buffer

对于readonly buffer，可以从其中读取值，但是无法向其写入值。对于任何常规buffer，可以对其调用buffer.asReadOnlyBuffer()来获取一个readonly buffer。

Direct & Indirect Buffer

direct buffer的内存通过特定方式来分配，从而增加io速度。

对于direct buffer，jvm在将尽量避免在调用本地io操作前（后），将buffer中内容写入/读取到中间buffer。

Channel

Channel为一个对象，可以从channel中读取数据或向channel写入数据。将传统io和nio相比较，channel类似于stream。

Channel和Stream不同的是，channel为双向的，而Stream则仅支持单项（InputStream或OutputStream）。一个开启的channel可以被用于读取、写入或同时读取或写入。

Channel读写

向channel读取或写入数据十分简单：

读：仅需创建一个buffer对象，并且访问channel将数据读取到buffer对象中
写：创建一个buffer对象，并将数据填充到buffer对象，之后访问channel并将bufffer中的数据写入到channel中

读取文件

通过nio读取文件分为如下步骤：

从FileInputStream中获取Channel
创建buffer对象
将channel中的数据读取到buffer

示例如下所示：

FileInputStream fin = new FileInputStream( "readandshow.txt" );
// 1. 获取channel
FileChannel fc = fin.getChannel();
// 2. 创建buffer
ByteBuffer buffer = ByteBuffer.allocate(1024);
// 3. 将数据从channel中读取到buffer中
fc.read( buffer );

如上述示例所示，在从channel读取数据时，无需指定向buffer中读取多少字节的数据，每个buffer内部中都有一个复杂的统计系统，会跟踪已经读取了多少字节的数据、buffer中还有多少空间用于读取更多数据。

写入文件

通过nio写入文件步骤和读取类似，示例如下所示：

FileOutputStream fout = new FileOutputStream( "writesomebytes.txt" );
// 1. 获取channel
FileChannel fc = fout.getChannel();
// 2. 创建buffer对象
ByteBuffer buffer = ByteBuffer.allocate( 1024 );
for (int i = 0; i < message.length; ++i) {
  buffer.put(message[i]);
}

buffer.flip();

// 3. 将buffer中的数据写入到channel中
fc.write(buffer);

在向channel写入数据时，同样无需指定需要向channel写入多少字节的数据，buffer内部的统计系统同样会追踪buffer中含有多少字节的数据、还有多少数据待写入。

同时读取和写入文件

同时读取和写入文件的示例如下所示：

public class CopyFile {
  static public void main(String args[]) throws Exception {
    if (args.length < 2) {
      System.err.println("Usage: java CopyFile infile outfile");
      System.exit(1);
    }

    String infile = args[0];
    String outfile = args[1];

    try (FileInputStream fin = new FileInputStream(infile);
        FileOutputStream fout = new FileOutputStream(outfile)) {

      FileChannel fcin = fin.getChannel();
      FileChannel fcout = fout.getChannel();

      ByteBuffer buffer = ByteBuffer.allocate(1024);

      while (true) {
        buffer.clear();
        int r = fcin.read(buffer);

        if (r == -1) {
          break;
        }

        buffer.flip();
        fcout.write(buffer);
      }
    }
  }
}

在上述示例中，通过channel.read(buffer)的返回值来判断是否已经读取到文件末尾，如果返回值为-1，那么代表文件读取已经完成。

11 KiB Raw Blame History Unescape Escape

NIO

简介