Question

C++ strtok()函数分解中文字符串出错

我想利用Strtok函数进行中文字符串分解工作，分隔符是标点符号，一直以来都比较顺利。但是遇到“非常”一词的时候，每次分解结果都是“非？”，无法得出正常结果。求助一下解决方案。

附上代码：

int SentenceSegment(string Sentence){

char s[500];
for(int i=0;i<500;i++)
s[i]=NULL;

stringstream sstr;
sstr.clear();
sstr<<Sentence;
sstr>>s;

const char *d = "，。";
char *p;
p = strtok(s,d);

int i=0;

while(p){
SentenceSegmentation[i]=p;
//cout<<"第"<<i<<"个片段:";
//printf("%s\n",p);
//cout<<endl;
p=strtok(NULL,d);
i++;}
return i;
}

Answer 1

不知道你的汉字编码方式，标点符号如果是全角的话，很容易出现这种问题。
strtok是按单字节搜索的。
例如gbk编码的。？都可能和”常“字混淆（它们有一个同样的字节编码0xA3）。

Answer 2

不知道你用的编码方式，但是这个函数是不能处理多字节字符的。
针对gbk，unicode或者utf8应该分别用不同的专用字符串处理函数。

追问

可是处理其它中文字符串的时候效果很好啊？

Answer 3

可以考虑使用英文标点符号作为分隔符，建议使用strsep