문자열을 토큰화한다. → 문자열을 나눠 주는 클래스이다.

StringTokenizer(문자열, 구분자, 구분자를 토큰에 포함하는지 여부)

• default

  → StringTokenizer(”i am”) → i, am으로 저장

• 구분자 입력

  → StringTokenizer(”i!am”, “!”) → i, am 으로 저장

• 포함여부 입력

  → StringTokenizer(”i!am”, “!”, true) → i, !, am 으로 저장

split 과의 차이점

• split의 경우 String이라는 클래스에 포함된 “메서드” 이고, StringTokenizer는 엄연한 클래스이다.
• split의 경우 빈 문자열을 토큰으로 인식하지만, StringTokenizer는 토큰으로 인식하지 않는다.
• split을 정규표현식으로, StringTokenizer는 문자 문자열로 구분한다.