Buffer와 Stream(Node.js)

📌 목차

Buffer vs Stream

fileSystem을 사용해 파일을 읽고 쓰고 저장하는 동작을 하려고 할때, 즉 데이터를 주고 받을 때 사용하는 형식이다.

버퍼: 일정한 크기로 모아두는 데이터

• 일정한 크기가 되면 한번에 처리
• 버퍼링: 버퍼에 데이터가 찰 때까지 모으는 작업

스트림: 데이터의 흐름 ➡️

• 일정한 크기로 나눠서 여러 번에 걸쳐서 처리
• 버퍼(또는 청크)의 크기를 작게 만들어서 주기적으로 데이터를 전달
• 스트리밍: 일정한 크기의 데이터를 지속적으로 전달하는 작업

 

Buffer

buffer는 데이터이기 때문에 조각조각 나뉘어서 보내줌 → 받는 쪽에서 buffer를 하나로 모아서 합쳐줘야함(배열에 들어있으면 concat사용)

• 메서드
  • from(문자열)
    • 문자열을 버퍼로 바꿔줌. length 속성은 버퍼의 크기를 알린다. 바이트 단위
  • toString(버퍼)
    • 베퍼를 문자열로 바꿔줌. 이때 base64나 hex를 인수로 넣으면 해당 인코딩으로도 변환 가능합니다.
  • concat(배열)
    • 배열 안에 든 버퍼들을 하나로 합침
  • alloc(바이트)
    • 빈 버퍼를 생성. 바이트를 인수로 넣으면 해당 크기의 버퍼가 생성
• 단점
  • 메모리 문제
    • 용량이 100MB인 파일이 있으면 읽을 때 메모리에 100MB의 버퍼를 만들어야한다. 이 때, 서버같이 여러명이 이용하는 환경에서는 메모리 문제가 발생
    • 100MB 용량의 파일을 읽을 때는 메모리 100MB의 버퍼를 만들어야하고 이 작업을 10개만 동시에 해도 메모리가 1GB에 도달 → 그래서 나온 것이 스트림 !
  • 동작이 느림
    • 모든 내용의 버퍼를 다 쓴 후에야 다음 동작으로 넘어가기 때문에 파일 읽기, 압축, 쓰기 등의 조작을 할 때 매번 전체 용량을 버퍼로 처리해야 다음 단계로 넘어갈 수 있음

 

Stream

• Stream은 파일을 읽어서 chuck 단위로 나눠서 조금씩 지속적으로 전달하는 방식
• readStream은 data(파일읽기 시작), end(파일 다읽으면), error(에러가 발생하면) 이벤트리스너를 사용
• 예시 → OTT에서 영상을 송출할 때 스트리밍한다고 하는데, 이때 스트림이 파일을 전송하는 방식

⭐️ [주의] readStream도 비동기이기 때문에 에러처리 필요

 

코드예시

// input으로 데이터 받아줌
if (url === '/message' && method === 'POST') {
        const body = [];
        // data 이벤트 리스너 생성
        req.on('data', (chunk) => {
            console.log(chunk);
            // <Buffer 6d 65 73 73 61 67 65 3d 61 73 64> 이런식으로 출력 
            body.push(chunk);    
        });
    
        return req.on('end', () => {
            // 전역에서 사용가능한 Buffer 객체 사용하여 새 buffer 생성
            const parseBody = Buffer.concat(body).toString();
            // 버퍼 안에 위에서 모은 모든 청크 추가해줌(어차피 파일이나 이런거 안들어오고 문자열 입력해줄거니까 toString으로 바꿔줌~~)
            console.log(parseBody);
            // message=asdf로 출력 
            const message = parseBody.split('=')[1];
            fs.writeFile('message.txt', message, (err) => {
                res.statusCode = 302; 
                res.setHeader('Location', '/'); 
                return res.end();
            })
        });
}

reference

https://creamereos.github.io/dev/2020/12/04/dev-nodeJS-buffer-stream/

https://cheony-y.tistory.com/191