什么是语言识别？AI 如何判断一段文字是哪种语言

语言识别（Language Identification）判断一段文字主要是哪种语言。它常放在翻译、检索和纠错之前：语言判错，后面的模型可能用错词表和规则。

长文章通常比较好判断。难的是几个字的标题、用户名、型号，以及一句里夹了两种语言。

它看的不是国家或地区

同一种语言可以出现在很多地区，同一地区也会有多种语言。识别的是文字本身的语言，不是作者所在地。繁简、方言和拼写变体也不自动等于另一种语言，要按任务决定要不要再细分。

机器翻译和文本纠错都依赖这一步。语言没分清，纠错可能把另一种语言的正常写法当成错字，翻译也会选错方向。文本分类如果把不同语言混在一个类别里，模型也更容易学偏。

怎样少判错？

给结果附上把握程度。太短或把握很低时，不要自动送去翻译或纠错。一句里有两种语言时，可以按片段识别，而不是强迫整句只选一个标签。评测时准备短标题、专有名词和中英夹杂的例子。

小结

语言识别用来决定后面该用哪套处理流程。它适合分流，不适合在证据不足时硬给一个语言标签。