Question

PHP分成N部分读取TXT文件，汉字乱码求解决（高手进）

利用PHP分成指定大小的N个部分，读取一个20M左右的文本文件file.txt ，为了保证运行效率，必须用fread函数读取。但是如果分割点刚好是汉字的话，汉字的双字节被分割成两个半字符，这个汉字后的整行都成为乱码，求高手帮忙解决！

<?php
$part = $_GET['part']; //txt文档的第n部分
$partsize = 20*1024; //每部分的大小
$count_part = floor($size/$partsize)+1;
$start = ($part-1) * $partsize;
$filename = "file.txt";
$file = fopen($filename,"r");
fseek($file,$start); //此处如果指针指向的是汉字，且一个汉字被切割成两个半字符时，整行都出现乱码
$content = fread($file,$partsize);
fclose($file);
echo $content;
?>

Answer 1

substr截取字符串，但同样会造成中文乱码
给你一个 urf8格式下 切割字符串不造成 中文乱码的 函数 你可以借鉴一下
/*
* 功能: 作用跟substr一样，除了它不会造成乱码
* 参数:
* 返回:
*/
function utf8_substr( $str , $start , $length=null ){
// 先正常截取一遍.
$res = substr( $str , $start , $length );
$strlen = strlen( $str );
/* 接着判断头尾各6字节是否完整(不残缺) */
// 如果参数start是正数
if ( $start >= 0 ){
// 往前再截取大约6字节
$next_start = $start + $length; // 初始位置
$next_len = $next_start + 6 <= $strlen ? 6 : $strlen - $next_start;
$next_segm = substr( $str , $next_start , $next_len );
// 如果第1字节就不是 完整字符的首字节, 再往后截取大约6字节
$prev_start = $start - 6 > 0 ? $start - 6 : 0;
$prev_segm = substr( $str , $prev_start , $start - $prev_start );
}
// start是负数
else{
// 往前再截取大约6字节
$next_start = $strlen + $start + $length; // 初始位置
$next_len = $next_start + 6 <= $strlen ? 6 : $strlen - $next_start;
$next_segm = substr( $str , $next_start , $next_len );
// 如果第1字节就不是 完整字符的首字节, 再往后截取大约6字节.
$start = $strlen + $start;
$prev_start = $start - 6 > 0 ? $start - 6 : 0;
$prev_segm = substr( $str , $prev_start , $start - $prev_start );
}
// 判断前6字节是否符合utf8规则
if ( preg_match( '@^([\x80-\xBF]{0,5})[\xC0-\xFD]?@' , $next_segm , $bytes ) ){
if ( !empty( $bytes[1] ) ){
$bytes = $bytes[1];
$res .= $bytes;
}
}
// 判断后6字节是否符合utf8规则
$ord0 = ord( $res[0] );
if ( 128 <= $ord0 && 191 >= $ord0 ){
// 往后截取 , 并加在res的前面.
if ( preg_match( '@[\xC0-\xFD][\x80-\xBF]{0,5}$@' , $prev_segm , $bytes ) ){
if ( !empty( $bytes[0] ) ){
$bytes = $bytes[0];
$res = $bytes . $res;
}
}
}
return $res;
}

Answer 2

如果你的文件是文章之类的多行的情况。你可以用 fgets来读文件，效率不比 fread 差。

这样即能保证每一段只是略大于20M左右，还可以保证了文章段落完整，还不用考虑乱码问题。