语言识别中的差异langid

Question

我有一个我读过的数据库。我想确定列中定义的特定单元格中的语言。我正在使用python的langid库。

我从数据库中读取这样的：

connector = sqlite3.connect("somedb.db") 
selecter = connector.cursor() 
selecter.execute(''' SELECT tags FROM sometable''') 
for row in selecter: #iterate through all the rows in db 
    #print (type(row)) #tuple 
    rf = str(row) 
    #print (type(rf)) #string 
    lan = langid.classify("{}".format(rf)) 

从技术上讲，它的工作原理。它标识所使用的语言，稍后（此处未显示）将识别的语言写回到数据库中。

所以，现在出现了怪异的部分。 我想手动仔细检查一些结果。所以，我有这样的话：

a = "shadow party people bw music mer white man black france men art nature monochrome french fun shoe sand nikon europe noir noiretblanc sable playa poetic nb ombre shade contraste plage blanc saxophone dunkerque nord homme musique saxo artiste artistique musicien chaussure blancandwhite d90 saxophoniste zyudcoote" 

当我执行的database语言识别它绘出我的葡萄牙到数据库中。 但是，像这样进行的：

a = "shadow party people bw music mer white man black france men art nature monochrome french fun shoe sand nikon europe noir noiretblanc sable playa poetic nb ombre shade contraste plage blanc saxophone dunkerque nord homme musique saxo artiste artistique musicien chaussure blancandwhite d90 saxophoniste zyudcoote" 
lan = langid.classify(a) 

好了，我返回法国。除此之外，它既不是法语也不是葡萄牙语，为什么它返回不同的结果？！

Answer 1

在循环row绑定到元组与单个项，即('tags',) - ，其中'tags'代表的单词列表。因此（在Python 3中）返回"('tags',)"，它就是传递给langid.classify()的这个字符串（包括单引号，逗号和大括号）。如果您使用的是Python 2，则字符串将变为"(u'tags',)"。

现在，我不确定这是否解释了不同的语言检测结果，并且我在Python 2中的测试显示它没有，但它是数据库源数据和普通字符串数据之间的明显区别。

可能会出现一些编码问题。数据如何存储在数据库中？文本数据应该是UTF-8编码的。