Question

全唐诗语料库是json的格式，如何用Python将语料库中的简体字和繁体字分割成两个不同的json文件或TXT文件

json文件的格式如下，每首诗都在一行内

Answer 1

你好，python3的话，我们可以通过 try: 编码为 big5hkscs,不异常就说明是 繁体字。下面是一个例子代码：

    line = '我们今天去吃饭了' 
    l = '我们今天去吃饭了' 
    try: 
        print(line.encode('big5hkscs')) 
    except: 
        print ("New style ")