Skip to content

如何对中文古籍中的生僻字进行分词?一些属于Unicode扩展区汉字会被过滤掉 #1068

@gwisdomroof

Description

@gwisdomroof

Description

在用IK分词器处理中文古籍时,发现它会自动过滤一些属于Unicode扩展区的生僻字,不知要如何解决?

Steps to reproduce

以字符串“习𮊸𨻸𰄊𰶃”为例,如下:
111

Expected behavior

期望这些汉字都能正确分词。

Environment

Versions: Elasticsearch 7.17.9(Docker)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions