在两个文本文件中查找相同的单词

Question

我有两个文本文件，每个文件包含超过50 000行。我需要找到两个文本文件中的相同单词。我尝试COMM命令，但我得到的答案是“文件2不是按排序顺序”。我试图通过命令SORT对文件进行排序，但它不起作用。我在Windows上工作。它不必在命令行中解决。它可以在一些程序或其他东西中解决。感谢您的每一个想法。

Answer 1

如果您想排序文件，您将不得不使用某种外部排序（如合并排序），以便您拥有足够的内存。至于另一种方式，你可以通过第一个文件并找到所有单词并将它们存储在散列表中，然后检查第二个文件并检查重复的单词。如果这些单词是真实的单词而不是乱码，那么第二种方法将起作用并且更容易。由于文件太大，你可能不想使用脚本语言，但它可能工作。

Answer 2

如果单词不在自己的行，那么comm不能帮你。

如果你有一组UNIX工具得心应手，像Cygwin的，（你提到的通讯，所以你可能有其他人也），你可以这样做：

$ tr -cs "[:alpha:]" "\n" < firstFile | sort > firstFileWords 
$ tr -cs "[:alpha:]" "\n" < secondFile | sort > secondFileWords 
$ comm -12 firstFileWords secondFileWords > commonWords 

前两行转换词语每个文件在每一行中包含一个单词，并对文件进行排序。

如果你只在个别词有兴趣，你可以改变sort到sort -u使获得独特的一套。