utf8 linux(linux转换文件字符集)
很多朋友对于utf8 linux和linux转换文件字符集不太懂，今天就由小编来为大家分享，希望可以帮助到大家，下面一起来看看吧！
linux将文件转成utf8
题主是否想询问“linux将文件转成utf8的原因”？兼容性，标准化。
1、兼容性：UTF8是一种通用的字符编码标准，可以支持多种语言和符号。将文件转换为UTF8编码可以确保文件在各种操作系统和软件中都能正确显示和编辑，避免出现乱码或显示错误。
2、标准化：UTF8是互联网上最常用的字符编码之一，网站、数据库和应用程序都使用UTF8编码。将文件转换为UTF8编码可以确保文件与其他系统进行互操作时不会出现编码问题。
linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记
背景
本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时，由于不了解如何设置让sqlplus识别UTF8格式，导致出现乱码、错行等错误，而使工作无法继续，在google无果的情况下只好想办法转换编码。
由于文件较多，手动转换太麻烦，于是想到用脚本批量转换，幸好网上相关脚本比较多，实现起来唯一的麻烦是UTF8的BOM标记。
内容：
复制代码
代码如下:
#!/bin/bash
for loop in `find.-type f-name"*.sql"-print`do
echo$loop
mv-f$loop$loop.tmp
dos2unix$loop.tmp
file_check_utf8='file_check_utf8.log'
sed-n'1l'$loop.tmp$file_check_utf810. if grep'^//357//273//277'$file_check_utf8/dev/null 2111. then
echo'UTF-8 BOM'
sed-n-e'1s/^...//'-e'w intermediate.txt'$loop.tmp14. iconv-f UTF-8-t GB2312-o$loop intermediate.txt15. rm-rf intermediate.txt
rm-rf$loop.tmp
elif iconv-f UTF-8-t GB2312$loop.tmp/dev/null 2118. then
echo'UTF-8'
iconv-f UTF-8-t GB2312-o$loop$loop.tmp21. rm-rf$loop.tmp
else
echo'ANSI'
mv-f$loop.tmp$loop
fi
rm-rf$file_check_utf8
#模拟unix2dos，要求文本文件最后一行必须有换行符28. sed-n-e's/$//r/g'-e'w'$loop.tmp$loop29. mv-f$loop.tmp$loop
done
#!/bin/bash
for loop in `find.-type f-name"*.sql"-print`do
echo$loop
mv-f$loop$loop.tmp
dos2unix$loop.tmp
file_check_utf8='file_check_utf8.log'
sed-n'1l'$loop.tmp$file_check_utf810. if grep'^//357//273//277'$file_check_utf8/dev/null 2111. then
echo'UTF-8 BOM'
sed-n-e'1s/^...//'-e'w intermediate.txt'$loop.tmp14. iconv-f UTF-8-t GB2312-o$loop intermediate.txt15. rm-rf intermediate.txt
rm-rf$loop.tmp
elif iconv-f UTF-8-t GB2312$loop.tmp/dev/null 2118. then
echo'UTF-8'
iconv-f UTF-8-t GB2312-o$loop$loop.tmp21. rm-rf$loop.tmp
else
echo'ANSI'
mv-f$loop.tmp$loop
fi
rm-rf$file_check_utf8
#模拟unix2dos，要求文本文件最后一行必须有换行符28. sed-n-e's/$//r/g'-e'w'$loop.tmp$loop29. mv-f$loop.tmp$loop
done
解释
1.处理UTF8的BOM，本人没有找到好的办法，最后用sed＋grep判断了一下，如果前三个字节是//357//273//277，则文件必定是UTF8，用sed去掉这三个字节再转换
2.为了避免重复或者遗漏，脚本中用iconv对没有BOM的文件尝试转换了一把，转换成功说明文件是UTF8，否则说明是ANSI也就是GB2312
3.关于最后的sed命令，那是因为本人的系统上没有unix2dos命令，所以进行了模拟，目的是为了方便自己在windows下查看和编辑
Linux下将UTF8编码批量转换成GB2312编码的方法
UTF8编码和GB2312编码是有区别的，在sqlplus中导入UTF8编码的sql脚本就会出现乱码错误，这时就需要将UTF8编码转换成GB2312编码，可是一个个的转换十分麻烦，下面小编就教你如何在Linux下将UTF8编码批量转换成GB2312编码。
背景
本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时，由于不了解如何设置让sqlplus识别UTF8格式，导致出现乱码、错行等错误，而使工作无法继续，在google无果的情况下只好想办法转换编码。
由于文件较多，手动转换太麻烦，于是想到用脚本批量转换，幸好网上相关脚本比较多，实现起来唯一的麻烦是UTF8的BOM标记。
内容：
代码如下：
#！/bin/bash
for loop in `find。-type f-name“*.sql”-print`do
echo$loop
mv-f$loop$loop.tmp
dos2unix$loop.tmp
file_check_utf8=‘file_check_utf8.log’
sed-n‘1l’$loop.tmp》$file_check_utf810. if grep‘^\\357\\273\\277’$file_check_utf8》/dev/null 2》&111. then
echo‘UTF-8 BOM’
sed-n-e‘1s/^.。。//’-e‘w intermediate.txt’$loop.tmp14. iconv-f UTF-8-t GB2312-o$loop intermediate.txt15. rm-rf intermediate.txt
rm-rf$loop.tmp
elif iconv-f UTF-8-t GB2312$loop.tmp》/dev/null 2》&118. then
echo‘UTF-8’
iconv-f UTF-8-t GB2312-o$loop$loop.tmp21. rm-rf$loop.tmp
else
echo‘ANSI’
mv-f$loop.tmp$loop
fi
rm-rf$file_check_utf8
#模拟unix2dos，要求文本文件最后一行必须有换行符28. sed-n-e‘s/$/\r/g’-e‘w’$loop.tmp$loop29. mv-f$loop.tmp$loop
done
#！/bin/bash
for loop in `find。-type f-name“*.sql”-print`do
echo$loop
mv-f$loop$loop.tmp
dos2unix$loop.tmp
file_check_utf8=‘file_check_utf8.log’
sed-n‘1l’$loop.tmp》$file_check_utf810. if grep‘^\\357\\273\\277’$file_check_utf8》/dev/null 2》&111. then
echo‘UTF-8 BOM’
sed-n-e‘1s/^.。。//’-e‘w intermediate.txt’$loop.tmp14. iconv-f UTF-8-t GB2312-o$loop intermediate.txt15. rm-rf intermediate.txt
rm-rf$loop.tmp
elif iconv-f UTF-8-t GB2312$loop.tmp》/dev/null 2》&118. then
echo‘UTF-8’
iconv-f UTF-8-t GB2312-o$loop$loop.tmp21. rm-rf$loop.tmp
else
echo‘ANSI’
mv-f$loop.tmp$loop
fi
rm-rf$file_check_utf8
#模拟unix2dos，要求文本文件最后一行必须有换行符28. sed-n-e‘s/$/\r/g’-e‘w’$loop.tmp$loop29. mv-f$loop.tmp$loop
done
解释
1.处理UTF8的BOM，本人没有找到好的办法，最后用sed＋grep判断了一下，如果前三个字节是\\357\\273\\277，则文件必定是UTF8，用sed去掉这三个字节再转换
2.为了避免重复或者遗漏，脚本中用iconv对没有BOM的文件尝试转换了一把，转换成功说明文件是UTF8，否则说明是ANSI也就是GB2312
3.关于最后的sed命令，那是因为本人的系统上没有unix2dos命令，所以进行了模拟，目的是为了方便自己在windows下查看和编辑
以上就是Linux下将UTF8编码批量转换成GB2312编码的方法介绍了，转换后就能解决乱码等问题，可使用命令镜像批量转换，你学会了吗？
