[LINUX] utf-8 파일의 BOM 제거하기 efbbbf 제거하기

BOM

Byte Other Mark, 텍스트 시작 부분에 있는 정보를 담고있는 내용입니다.

Windows 의 메모장같은 경우 BOM 내용을 저장하기 때문에, 문제가 발생할 수 있습니다.

xxd 명령어를 사용하여 거래처.csv 파일의 BOM 내용을 확인합니다.

거래처.csv 파일 앞에 헥사값 efbbbf 라는 BOM 내용이 들어가 있습니다.

$ xxd 거래처.csv | head -3
0000000: efbb bf43 3131 3031 3031 3636 7c30 3130  ...C11010166|010
0000010: 3136 367c eb86 8dec 9785 ed9a 8cec 82ac  166|............
0000020: ebb2 95ec 9db8 eca1 b0ec 9db8 28ec a3bc  ............(...

아래 명령어를 사용하여, BOM 을 제거해보겠습니다.

efbbbf 를 제거한 내용을, 거래처2.csv 파일로 저장합니다.

$ sed '1s/^\xEF\xBB\xBF//' < 거래처.csv > 거래처2.csv

$ xxd 거래처2.csv | head -3
0000000: 4331 3130 3130 3136 367c 3031 3031 3636  C11010166|010166
0000010: 7ceb 868d ec97 85ed 9a8c ec82 aceb b295  |...............
0000020: ec9d b8ec a1b0 ec9d b828 eca3 bc29 ec9a  .........(...)..

또는, -i 옵션을 사용하여 efbbbf 를 제거한 뒤 덮어씁니다.

$ sed -i '1s/^\xEF\xBB\xBF//' 거래처.csv

$ xxd 거래처.csv | head -3
0000000: 4331 3130 3130 3136 367c 3031 3031 3636  C11010166|010166
0000010: 7ceb 868d ec97 85ed 9a8c ec82 aceb b295  |...............
0000020: ec9d b8ec a1b0 ec9d b828 eca3 bc29 ec9a  .........(...)..