stream和fs.open的区别、优势:

   <p id="p164936211444">stream</p> <p id="p149382164412">fs.open</p>
<p id="p1635421974410">简介</p> <p id="p5354619174411"><span>用来读取、写入、处理和传输数据,它们通常用于处理大量数据或连续的数据流,例如文件、网络传输等。</span></p> <p id="p63542198441"><span>使用文件系统模块打开一个文件,获取文件描述符(File Descriptor),以便进行文件的低级别操作,如读取、写入、关闭等。</span></p>
<p id="p10354131954420">特点</p> <ul id="ul535491910443"><li><span>逐块地处理数据,而不需要一次性加载整个数据集到内存中。</span></li><li><span>可以用于处理文件、网络数据、标准输入输出、HTTP请求等各种场景。</span></li><li><span>提供了丰富的事件和方法,例如data事件、end事件、pipe方法等,用于对数据进行流式处理和操作。</span></li></ul> <ul id="ul1535571910444"><li><span>打开文件是文件操作的第一步,它会返回一个文件描述符,后续的文件操作通常需要使用这个文件描述符。</span></li><li><span>可以对打开的文件进行底层的读写操作,这些操作更为灵活,但也需要更多的代码来管理文件描述符和数据缓冲区。</span></li></ul>
<p id="p1135531994417">优势</p> <ul id="ul19355191915444"><li><span>内存效率</span>:使用流可以逐块地读取或写入数据,而不是一次性将整个文件加载到内存中。这使得处理大文件时能够节省内存,并且能够处理比内存更大的数据。</li><li><span>速度</span>:流允许数据以流式方式传输,可以在数据还在传输的过程中进行处理,无需等待整个文件加载完成。这可以提高处理速度,特别是在网络传输或处理大文件时更为明显。</li><li><span>灵活性</span>:流提供了丰富的事件和方法,可以方便地对数据进行处理、转换和管道连接,满足各种复杂的需求。</li><li><span>可组合性</span>:可以将多个流串联或并联,构建复杂的数据处理管道,实现更复杂的数据操作和转换。</li></ul>   
<p id="p12355319104414">总结</p> <p id="p12355919174419"><span>是一种用于处理数据的抽象接口,适合处理大量数据或连续的数据流,提供了丰富的事件和方法,用于对数据进行流式处理和操作。</span></p> <p id="p23551919184416"><span>是使用文件系统模块打开文件,获取文件描述符,以便进行底层的文件操作,需要手动管理文件描述符和数据缓冲区。</span></p>

四种流的使用场景

   <p id="p1130115164418">简介</p> <p id="p4301751124416">使用场景</p>
<p id="p13792011154510">Writable</p> <p id="p1679141174515">(可写流)</p> <p id="p1679111144512">可写流<span>用于将数据写入某个目标,例如文件、网络连接等。你可以通过调用</span><span>write()</span><span>方法向流中写入数据,并在写完所有数据后调用</span><span>end()</span><span>方法。</span></p> <ul id="ul177991113454"><li><span>将数据写入文件</span></li><li><span>发送数据到网络服务</span></li><li><span>保存日志信息</span></li></ul>
<p id="p1280151116456">Readable(可读流)</p> <p id="p680311144514">可读流<span>用于从数据源读取数据,例如文件、网络连接等。你可以监听事件(例如data事件)来获取数据块,或使用</span><span>pipe()</span><span>方法将数据传输到可写流或其他处理机制。</span></p> <ul id="ul48091115459"><li><span>从文件中读取数据</span></li><li><span>接收来自网络的数据</span></li><li><span>处理标准输入</span></li></ul>
<p id="p58021117459">Duplex</p> <p id="p1280511144512">(双工流)</p> <p id="p780111164513">双工流<span>是既可读又可写的流。它们通常用于实现与网络协议相关的通信,因为在这些场景中,数据需要同时进行读取和写入操作。</span></p> <p id="p580711114518"><span>Duplex类继承Readable,支持Readable中所有的方法。</span></p> <ul id="ul280121113457"><li><span>网络套接字</span></li><li><span>实现复杂的网络协议</span></li><li><span>一些数据处理算法</span></li></ul>
<p id="p148021114513">Transform(转换流)</p> <p id="p158014111456">转换流<span>是一种特殊类型的双工流,在读写过程中可以修改或转换数据。转换流对于需要对数据进行修改、压缩或解压缩等操作的场景非常有用。</span></p> <p id="p7811611184519"><span>Transform类继承Duplex,支持Duplex中所有的方法。</span></p> <ul id="ul188121111459"><li><span>数据压缩和解压缩(如使用Zlib)</span></li><li><span>加密和解密</span></li><li><span>文件转换</span></li></ul>

场景描述

通过web加载网址,onInterceptRequest拦截资源请求,web离线缓存的文件需要通过查看/data/storage/el2/base/cache/web/Cache目录来判断是否存在离线缓存,若存在缓存使用Context.cacheDir获取文件路径后,通过pathDir路径,再使用stream进行对文件读写。

代码实现

核心类介绍:

  1. 通过web加载网址,onInterceptRequest拦截资源请求, web的缓存在指定目录/data/storage/el2/base/cache/web/Cache下。

    Web({ src: 'web地址', controller: this.controller })
      .cacheMode(this.mode)
      .domStorageAccess(true)
      .onInterceptRequest((event) => {
        return this.responseweb
      })
  2. 通过Context.cacheDir获取缓存文件的目录,根据具体具体缓存文件路径将缓存对应的压缩包通过zlib.decompressFile解压缩,并将文件解压到指定路径 outFile中。

    export function unZlibFile(inFile: string, outFile: string){
      let options:zlib.Options = {
        level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION,
        memLevel: zlib.MemLevel.MEM_LEVEL_DEFAULT,
        strategy: zlib.CompressStrategy.COMPRESS_STRATEGY_DEFAULT_STRATEGY
      };
    
      try {
        zlib.decompressFile(inFile, outFile, options, (errData) => {
          if (errData !== null) {
            console.log(`errData is errCode:${errData.code}  message:${errData.message}`);
          }
        })
      } catch(errData) {
        console.log(`errData is errCode:${errData.code}  message:${errData.message}`);
      }
    }
  3. 通过流读取文件里的资源。

    编写读写数据流,针对读写数据流添加光标设置。在ReadStream中实现doRead方法,在doRead中通过stream.read读取文件内容并移动光标位置,在执行push方法时会自动执行doRead。在WriteStream中实现doWrite方法,在doWrite中通过stream.write将数据写入流文件中并移动光标位置,在执行write方法时会自动执行doWrite方法。

    export interface ReadStreamOptions {
      start?: number; // 光标起始位置
      end?: number;   // 光标结束位置
    }
    
    export interface WriteStreamOptions {
      start?: number; // 光标起始位置
      mode?: number;  // 写入模式
    }
通过fs.createStreamSync创建一个文件流this.stream,在doRead方法中使用this.stream.read \(注:文件流的read方法,不是可读流readStream的read 方法\) 从文件流中读取文件的内容,最后使用ReadStream的push方法将this.stream.read读取的数据推送到可读流缓冲区中。后续可以通过监听data事件来读取缓冲区中的内容 \(注:执行push方法时系统会自动调用doRead方法\)。

```
// 读数据流
export class ReadStream extends stream.Readable {
  private pathInner: string; // 文件路径
  private bytesReadInner: number; // 读取长度
  private offset: number; // 光标位置
  private start?: number; // 光标起始位置
  private end?: number; // 光标结束位置
  private stream?: fs.Stream; // 数据流

  constructor(path: string, options?: ReadStreamOptions) {
    super();
    this.pathInner = path;
    this.bytesReadInner = 0;
    this.start = options?.start;
    this.end = options?.end;
    this.stream = fs.createStreamSync(this.pathInner, 'r');
    this.offset = this.start ?? 0;
  }

  close() {
    this.stream?.close();
  }

  //doInitialize 函数在可写流第一次使用 on 监听时被调用。
  doInitialize(callback: Function) {
    callback();
  }

  // 读取时设置光标位置移动,doRead 方法在数据被 push 时自动调用,而不需要用户手动调用。
  doRead(size: number) {
    let readSize = size;
    if (this.end !== undefined) {
      if (this.offset > this.end) {
        this.push(null);
        return;
      }
      if (this.offset + readSize > this.end) {
        readSize = this.end - this.offset;
      }
    }
    let buffer = new ArrayBuffer(readSize);
    const off = this.offset;
    this.offset += readSize;
    // 从流文件读取数据
    this.stream?.read(buffer, { offset: off, length: readSize })
      .then((readOut: number) => {
        if (readOut > 0) {
          this.bytesReadInner += readOut;
          this.push(new Uint8Array(buffer.slice(0, readOut)));
        }
        if (readOut != readSize || readOut < size) {
          this.offset = this.offset - readSize + readOut;
          this.push(null);
        }
      })
  }
};
```

通过fs.createStreamSync创建一个文件流this.stream,在doWrite方法中使用this.stream.write \(注:文件流的write方法,不是可写流 WriteStream的 write方法\) 将数据写入文件流中。后续可以使用WriteStream的write方法将数据写入文件流中 \(注:执行write方法时系统会自动调用doWrite方法\)。

```
// 写数据流
export class WriteStream extends stream.Writable {
  private pathInner: string; // 文件路径
  private bytesWrittenInner: number; // 写入长度
  private offset: number; // 光标位置
  private mode: string; // 写入模式
  private start?: number; // 光标起始位置
  private stream?: fs.Stream; // 数据流

  constructor(path: string, options?: WriteStreamOptions) {
    super();
    this.pathInner = path;
    this.bytesWrittenInner = 0;
    this.start = options?.start;
    this.mode = this.convertOpenMode(options?.mode);
    this.stream = fs.createStreamSync(this.pathInner, this.mode);
    this.offset = this.start ?? 0;
  }

  close() {
    this.stream?.close();
  }

  //doInitialize 函数在可读流第一次使用 on 监听时被调用。
  doInitialize(callback: Function) {
    callback();
  }

  //doWrite 方法在数据被写出时自动调用,而不需要用户手动调用。
  doWrite(chunk: string | Uint8Array, encoding: string, callback: Function) {
    // 将数据写入流文件
    this.stream?.write(chunk, { offset: this.offset })
      .then((writeIn: number) => {
        this.offset += writeIn;
        this.bytesWrittenInner += writeIn;
        callback();
      })
      .finally(() => {
        this.stream?.flush();
      })
  }
  // 创建文件流 fs.createStreamSync 时设置文件流写入模式,默认为 'w'
  convertOpenMode(mode?: number): string {
    let modeStr = 'w';
    if (mode === undefined) {
      return modeStr;
    }
    if (mode & fs.OpenMode.WRITE_ONLY) {
      modeStr = 'w';
    }
    if (mode & fs.OpenMode.READ_WRITE) {
      modeStr = 'w+';
    }
    if ((mode & fs.OpenMode.WRITE_ONLY) && (mode & fs.OpenMode.APPEND)) {
      modeStr = "a"
    }
    if ((mode & fs.OpenMode.READ_WRITE) && (mode & fs.OpenMode.APPEND)) {
      modeStr = "a+"
    }
    return modeStr;
  }
}
```

最后对文件进行读写,使用on监听error事件和finish事件,来监听读写是否出错和完成,在读取过程中通过data事件来监听数据是否更新并打印输出。

```
Button('文件初始化')
  .onClick(() => {
    let applicationContext = getContext().getApplicationContext(); // 获取应用上下文对象
    let cacheDir = applicationContext.cacheDir; // 应用缓存文件目录

    this.pathZip = cacheDir + '/web/Cache/Cache_Data/streamTest.zip' // 缓存文件路径
    this.pathDir = cacheDir + '/web/Cache/Cache_Data';
    FileInit(getContext(this), 'streamTest.zip', this.pathZip);
  })
  .width(100)
  .height(50)

Button('解压文件')
  .onClick(() => {
    try {
      //解压文件
      unZlibFile(this.pathZip, this.pathDir);
      console.log('Success unzip!');
    } catch (error) {
      let err: BusinessError = error as BusinessError;
      console.error("Unzip failed with error message: " + err.message + ", error code: " + err.code);
      AlertDialog.show({
        title: '错误提示',
        message: '需要在/data/storage/el2/base/cache/web/Cache/Cache_Data下存在streamTest.zip',
        buttons: [{
          value: '退出',
          action: () => {
          }
        }]
      })
    }

  })
  .width(100)
  .height(50)

Button('创建读写数据流')
  .onClick(() => {
    let readPath: string = this.pathDir + '/streamTest.txt'; //解压后文件的路径
    let writePath: string = this.pathDir + '/streamTestBack.txt';

    try {
      readableStream = new ReadStream(readPath);
      writableStream = new WriteStream(writePath);
      console.log('Success create stream!');
    } catch (error) {
      let err: BusinessError = error as BusinessError;
      console.error("Create stream failed with error message: " + err.message + ", error code: " + err.code);
      AlertDialog.show({
        title: '错误提示',
        message: '文件不存在,请先初始化文件并解压',
        buttons: [{
          value: '退出',
          action: () => {
          }
        }]
      })
    }
  })
  .width(200)
  .height(50)

Button('读取')
  .onClick(() => {
    try {
      if (this.isFlag) {
        // 监听数据事件,如果数据跟新就会触发
        readableStream.on('data', (chunk) => {
          readableStream.push(chunk['data'] as Uint8Array);
          this.readStr = JSON.stringify(chunk['data'])
          console.log('读取到数据:', this.readStr);
          this.isFlag = false;
        });
        // 监听可读流是否出错
        readableStream.on('error', () => {
          console.info('error event called read');
        });
      }
      readableStream.read(10);
    } catch (error) {
      let err: BusinessError = error as BusinessError;
      console.error("Read file failed with error message: " + err.message);
      AlertDialog.show({
        title: '错误提示',
        message: '读取文件失败',
        buttons: [{
          value: '退出',
          action: () => {
          }
        }]
      })
    }
  })
  .width(150)
  .height(50)

Button('写入')
  .onClick(() => {
    try {
      // 监听可写流是否出错
      writableStream.on('error', () => {
        console.info('Writable event test error');
      });
      // 监听可写流是否完成
      writableStream.on('finish', () => {
        console.info('Writable event test finish');
      });
      let isWrite = writableStream.write(JSON.parse(this.readStr), 'utf8');
      if (isWrite) {
        console.info('Write succeeded');
      }
    } catch (error) {
      let err: BusinessError = error as BusinessError;
      console.error("Write file failed with error message: " + err.message);
      AlertDialog.show({
        title: '错误提示',
        message: '写入文件失败',
        buttons: [{
          value: '退出',
          action: () => {
          }
        }]
      })
    }
  })
  .width(150)
  .height(50)

Text(this.readStr)
  .width(200)
  .height(50)
```



HarmonyOS码上奇行
7k 声望2.8k 粉丝