import java.util.StringTokenizer;
StringTokenizer wordFactory=new StringTokenizer("A single word can be critical.");
while(wordFactory.hasMoreTokens())
{
System.out.println(wordFactory.nextToken());
}
将会产生下列结果：
A
single
word
can
be
critical. //包括“。”因为句号不是空格，所以不是一个分隔符
用这种方式创建的StringTokenizer对象可用来在一个字符串中产生单个词汇，而这个字符串作为StringTokenizer构造函数的实参。这些单个词汇叫做标记（token）.
当nextToken方法第一次被调用时，返回第一个token(单个词汇)，第二次返回第二个，依次类推。当nextToken返回了字符串中的所有token后，如果还调用它，程序将停止并报错。
hasMoreTokens是一个返回boolean型值的方法。只要nextToken没有返回字符串中所有的token，hasMoreTokens方法将一直返回true;当nextToken返回所有的token后，将返回false.
当要自定义分隔符集合时，可以给出StringTokenize构造函数的第二个实参（是由所有的分隔符组成的一个字符串）如：
StringTokenizer wordfactory2=new StringTokenizer("Give me the word,my friend.","/n.,");
产生如下结果：
Give
me
the
word
my
friend
//句点和逗号不是所产生的token的一部分，因为它们现在是分隔符
public int countTokens()
返回执行nextToken后剩余的token数目
