摘要:在Java中,对一个数组或列表(在本文中统称为集合)中的元素排序,是一个很经常的事情。好在Sun公司在Java库中实现了大部分功能。如果集合中的元素实现了Comparable接口,调用Array或Collections的静态(static)方法sort,就可以直接对集合排序。程序员用不同的方式实现了Comparator接口,就可以用各自不同的方式排序。对于包含汉字的字符串来说,排序的方式主要有两种:一种是拼音,一种是笔画。本文就讲述如何实现这两种不同的比较器(Comparator)。
在Java中,对一个数组或列表(在本文中统称为集合)中的元素排序,是一个很经常的事情。好在Sun公司在Java库中实现了大部分功能。如果集合中的元素实现了Comparable接口,调用以下的静态(static)方法,就可以直接对集合排序。
//数组排序方法//数组中的元素可以是像int这样的原生类型(primitivetype),也可以是像String这样实现了Comparable接口的类型,这里用type表示。java.util.Arrays.sort(type[]a);
//列表publicstatic
以上的这些排序方式能满足大部分应用。但集合中的元素没有实现Comparable接口,或者集合中的元素要按一种特别的方式排序,这要怎么办?Sun公司早就想到了,并在Java库中提供上面两个方法的重载。
//数组排序方法。//数组中的元素可以是像int这样的原生类型(primitivetype),也可以是像String这样实现了Comparable接口的类型,这里用type表示。publicstatic
//列表publicstatic
只要实现了Comparator接口,就可以按程序员自己的意思去排序了。对于包含汉字的字符串来说,排序的方式主要有两种:一种是拼音,一种是笔画。汉字是通过一定的编码方式存储在计算机上的,主要的编码有:Unicdoe、GB2312和GBK等。
Unicode中编码表分为两块,一个是基本的,一个是辅助的。现在的大多数操作系统还不支持Unicode中辅助区域中的文字,如WinXp。
在Java中的字符就是Unicode码表示的。对于Unicode基本区域中的文字,用两个字节的内存存储,用一个char表示,而辅助区域中的文字用4个字节存储,因此辅助区域中的就要用两个char来表示了(表一种蓝色底就是辅助区域中的文字)。一个文字的unicode编码,在Java中统一用codePoint(代码点)这个概念。
中文和日文、韩文一样是表意文字,在Unicode中,中日韩三国(东亚地区)的文字是统一编码的。CJK代表的就是中日韩。在这里,我把这3中文字,都作为汉字处理了。(日语和韩语可能就是从汉语中衍生的吧!)
汉字在Unicode中的分布大致如下表:
在这些编码区间,有些编码是保留的。
GB2312是中华人民共和国最早的计算机汉字编码方式。大概有6000多个汉字,这些汉字是按拼音顺序编码的。这6000多个汉字都是简体中文字。
GB2312的扩展,并兼容GB2312。扩展后的汉字大概有2万多个,其中有简体汉字也有繁体汉字。
原理:汉字最早是GB2312编码,收录了六千多个汉字,是按拼音排序的,编码是连续的。后来出现了GBK编码,对GB2312进行了扩展,到了两万多汉字,并且兼容GB2312,也就是说GB2312中的汉字编码是原封不动搬到GBK中的(在GBK编码中[B0-D7]区中)。
如果我们只关心这6000多个汉字的顺序,就可以用下面的方法实现汉字宽松排序。
packagechinese.utility;
importjava.text.Collator;importjava.util.Comparator;importjava.util.Locale;
publicclassPinyinSimpleComparatorimplementsComparator
在对[孙,孟,宋,尹,廖,张,徐,昆,曹,曾,怡]这几个汉字排序,结果是:[曹,昆,廖,孟,宋,孙,徐,尹,曾,张,怡]。最后一个怡有问题,不该排在最后的。
注意:这个程序有两个不足
下面的测试代码可以证明
/***非常用字(怡)*/@TestpublicvoidtestNoneCommon(){Assert.assertTrue(comparator.compare("怡","张")>0);}/***同音字*/@TestpublicvoidtestSameSound(){Assert.assertTrue(comparator.compare("怕","帕")!=0);}
实现代码:
importjava.util.Comparator;importnet.sourceforge.pinyin4j.PinyinHelper;
publicclassPinyinComparatorimplementsComparator
publicintcompare(Stringo1,Stringo2){
for(inti=0;i intcodePoint1=o1.charAt(i);intcodePoint2=o2.charAt(i); if(Character.isSupplementaryCodePoint(codePoint1)||Character.isSupplementaryCodePoint(codePoint2)){i++;} if(codePoint1!=codePoint2){if(Character.isSupplementaryCodePoint(codePoint1)||Character.isSupplementaryCodePoint(codePoint2)){returncodePoint1-codePoint2;} Stringpinyin1=pinyin((char)codePoint1);Stringpinyin2=pinyin((char)codePoint2); if(pinyin1!=null&&pinyin2!=null){//两个字符都是汉字if(!pinyin1.equals(pinyin2)){returnpinyin1.compareTo(pinyin2);}}else{returncodePoint1-codePoint2;}}}returno1.length()-o2.length();} /***字符的拼音,多音字就得到第一个拼音。不是汉字,就returnnull。*/privateStringpinyin(charc){String[]pinyins=PinyinHelper.toHanyuPinyinStringArray(c);if(pinyins==null){returnnull;}returnpinyins[0];}} 测试: importjava.util.Comparator; importorg.junit.Assert;importorg.junit.Test; importchinese.utility.PinyinComparator; publicclassPinyinComparatorTest{ privateComparator /***常用字*/@TestpublicvoidtestCommon(){Assert.assertTrue(comparator.compare("孟","宋")<0);} /***不同长度*/@TestpublicvoidtestDifferentLength(){Assert.assertTrue(comparator.compare("他奶奶的","他奶奶的熊")<0);} /***和非汉字比较*/@TestpublicvoidtestNoneChinese(){Assert.assertTrue(comparator.compare("a","阿")<0);Assert.assertTrue(comparator.compare("1","阿")<0);} /***非常用字(怡)*/@TestpublicvoidtestNoneCommon(){Assert.assertTrue(comparator.compare("怡","张")<0);} /***同音字*/@TestpublicvoidtestSameSound(){Assert.assertTrue(comparator.compare("怕","帕")==0);} /***多音字(曾)*/@TestpublicvoidtestMultiSound(){Assert.assertTrue(comparator.compare("曾经","曾迪")>0);} } 我的这样严格的拼音排序还是有有待改进的地方,看上面测试代码的最后一个测试,就会发现:程序不会根据语境来判断多音字的拼音,仅仅是简单的取多音字的第一个拼音。 要按笔画排序,就要实现笔画比较器。 classStokeComparatorimplementsComparator 如果有个方法可以求得汉字的笔画数,上面的功能就很容易实现。如何求一个汉字的笔画数?最容易想到的就是查表法。建一个汉字笔画数表,如: 如果是连续的、按unicode编码排好顺序的表,实际存储在笔画数表中的只需最后一列就够了。 那如何建这个表呢?这个表存储在哪里? 现在大多数系统还只能支持Unicode中的基本汉字那部分汉字,编码从U9FA6-U9FBF。所以我们只建这部分汉字的笔画表。汉字笔画数表,我们可以按照下面的方法生成: importjava.io.IOException;importjava.io.PrintWriter; publicclassChineseCoder{ publicstaticvoidmain(String[]args)throwsIOException{PrintWriterout=newPrintWriter("Chinese.csv");//基本汉字for(charc=0x4E00;c<=0x9FA5;c++){out.println((int)c+","+c);}out.flush();out.close(); 从Excel排序过后的Chinese.csv文件来看,排好序的文件还是有一定规律的。在文件的第9行-12行可以看出:逐行扫描的时候,当unicode会变小了,笔画数也就加1。 20059,乛20101,亅19969,丁19970,丂 用下面的Java程序分析吧。 importjava.io.File;importjava.io.IOException;importjava.io.PrintWriter;importjava.util.Scanner; publicclassStroke{ /***@paramargs*@throwsIOException*/publicstaticvoidmain(String[]args)throwsIOException{Scannerin=newScanner(newFile("Chinese.csv"));PrintWriterout=newPrintWriter("ChineseStroke.csv");StringoldLine="999999";intstroke=0;while(in.hasNextLine()){Stringline=in.nextLine();if(line.compareTo(oldLine)<0){stroke++;}oldLine=line;out.println(line+","+stroke);}out.flush();out.close();in.close();} 上面用的这个规律有问题吗?有问题,从ChineseStroke.csv文件抽取最后几个汉字就发现,笔画数不对。为什么呢? 我们要人工核对ChineseStroke文件,但只要核对在笔画变化的那几个汉字的笔画数。最后,我发现,只有笔画数多于30的少数几个汉字的笔画数不对。核对并矫正笔画数后,用Excel按Unicode重新排序,去掉汉字和Unicode两列,只保留笔画数那列,得到Stroke.csv文件。 importstaticorg.junit.Assert.assertEquals; importorg.junit.Before;importorg.junit.Test;importchinese.utility.Chinese; publicclassStrokeTest{ Chinesechinese; @BeforepublicvoidsetUp(){chinese=newChinese();} @TestpublicvoidtestStroke(){assertEquals(1,chinese.stroke(‘一‘));} @TestpublicvoidtestStroke2(){assertEquals(2,chinese.stroke(‘二‘));} @TestpublicvoidtestStroke16(){assertEquals(16,chinese.stroke(‘龍‘));} @TestpublicvoidtestStrokeABC(){assertEquals(-1,chinese.stroke(‘a‘));} publicclassStrokeComparatorimplementsComparator Chinesechinese=newChinese(); for(inti=0;i intstroke1=chinese.stroke(codePoint1);intstroke2=chinese.stroke(codePoint2); if(stroke1<0||stroke2<0){returncodePoint1-codePoint2;} if(stroke1!=stroke2){returnstroke1-stroke2;}} returno1.length()-o2.length();}} importorg.junit.Assert;importorg.junit.Before;importorg.junit.Test; importchinese.utility.StrokeComparator; publicclassStrokeComparatorTest{ privateComparator /***相同笔画数*/@TestpublicvoidtestCompareEquals(){Assert.assertTrue(comparator.compare("一","丨")==0);}/***不同笔画数*/@TestpublicvoidtestCompare(){Assert.assertTrue(comparator.compare("一","二")<0);Assert.assertTrue(comparator.compare("唔","马")>0);}/***长度不同*/@TestpublicvoidtestCompareDefficultLength(){Assert.assertTrue(comparator.compare("二","二一")<0);}/***非汉字的比较*/@TestpublicvoidtestABC(){Assert.assertTrue(comparator.compare("一","a")>0);Assert.assertTrue(comparator.compare("a","b")<0);}} Microsoft在这方面做得比较好。如Sqlserver2000,Word和Excel都能按拼音和笔画排序。而Oracle只能是采取宽松拼音排序法。