V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
vegetableChick
V2EX  ›  程序员

如何区分中文和日文

  •  
  •   vegetableChick · Apr 1, 2021 · 4110 views
    This topic created in 1862 days ago, the information mentioned may be changed or developed.

    因为要把文本翻译成英文, 而使用的 sdk 需要指定源文字的语言类型。但 [BL-bm 长岛雄一] 这类的文字如何把它和中文区分开?

    感谢。

    17 replies    2021-04-02 15:48:00 +08:00
    GeruzoniAnsasu
        1
    GeruzoniAnsasu  
       Apr 1, 2021
    使用的 SDK ? 你用这个文本的场合机翻都能对付了还管什么人名
    lululau
        2
    lululau  
       Apr 1, 2021 via iPhone
    单个或者少数几个字符怎么判断语言? ABC 三个字母算什么语言?英语?法语?德语?说中文也可以,因为使用拉丁字母的汉语拼音应该也算是中文吧
    gouflv
        3
    gouflv  
       Apr 1, 2021 via iPhone
    拿 char code 去 utf8 的表里查
    vegetableChick
        4
    vegetableChick  
    OP
       Apr 1, 2021
    @vegetableChick 补充一下信息吧。google 的 cloud translation api 要花钱, 于是找到一个免费的替代的包`googletrans`. 但是不指定 源语言 自动翻译的不准确 [`BL-bm 长岛雄一 => BL-BM Long Island`] , 如果指定 源语言是日文 则 得到 [BL-BM Otani Seibe]
    vegetableChick
        5
    vegetableChick  
    OP
       Apr 1, 2021
    @GeruzoniAnsasu 感谢回复, 之前都是直接填写 google 翻译后的结果, 现在想做成自动的, 所以想找个好用翻译的工具
    Kasumi20
        6
    Kasumi20  
       Apr 1, 2021
    名字你管它做球,其它大部分可以判断有没有假名在里面
    LinSP
        7
    LinSP  
       Apr 1, 2021
    有语种识别的,找找 API 吧
    muzuiget
        8
    muzuiget  
       Apr 1, 2021
    判断假名就行,字符数不够就无法判断。
    imn1
        9
    imn1  
       Apr 1, 2021
    Otani Seibe 也不是长岛雄一啊,Otani 是大谷(Ootani 简写)
    日语汉字多是繁体或异体,简体汉字以“日语”翻译也会出错的

    你这个实际上已经是语义理解了,需要 AI 级别判断,单纯字符很难做到
    不过有些取巧方法可以试试
    gyf304
        10
    gyf304  
       Apr 2, 2021 via iPhone
    @gouflv CJK code point 是有重合的
    dongtingyue
        11
    dongtingyue  
       Apr 2, 2021
    能做出来这个功能单独就可以卖钱了。。。
    marcong95
        12
    marcong95  
       Apr 2, 2021
    长岛雄一 就这四个字,读作 Changdao Xiongyi 的时候是中文,读作 Nakashima Yuuichi 的时候是日文,如果你只是要区分是日本人姓名还是中国人姓名的话,那倒还好说。找个两国百家姓做个词典?
    marcong95
        13
    marcong95  
       Apr 2, 2021
    @marcong95 #12 其实两国百家姓也不能解决问题,例如 Hayashi 的林,Duanmu 的端木
    krixaar
        14
    krixaar  
       Apr 2, 2021
    碰到类似 秦基博 菅义伟 这样的名字,你怎么区分是中文还是日文……
    UserDMM
        15
    UserDMM  
       Apr 2, 2021
    @vegetableChick 这个课题很难。
    简单点的就是火狐的那个检测库,但是处理不了你这种情况。
    你这种 CJK 都有的汉字,要结合语义来处理,也就是要结合人工智能了。
    vegetableChick
        16
    vegetableChick  
    OP
       Apr 2, 2021
    @GeruzoniAnsasu @Kasumi20 @LinSP @UserDMM @dongtingyue @gouflv @gyf304 @imn1 @krixaar @lululau @vegetableChick 统一感谢大家回复,还是花钱用 google 翻译服务了。 百度的翻译便宜 但是翻译过来,翻译不回去了 淦!!
    jiji9081
        17
    jiji9081  
       Apr 2, 2021
    日本人名字的发音非常搞,就算是日本人完全不能保证正确拼读更别说 AI 了,如果是重要场合的话必须人工校对。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1064 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 22:58 · PVG 06:58 · LAX 15:58 · JFK 18:58
    ♥ Do have faith in what you're doing.