java怎么计算字符串的tokencount?

1. java怎么计算字符串的tokencount?

您可以使用Java中的StringTokenizer类来计算字符令牌数量。以下是一个简单的示例代码:

String str = "This is a sample string.";
StringTokenizer tokenizer = new StringTokenizer(str);
int tokenCount = tokenizer.countTokens();
System.out.println("Token count: " + tokenCount);

输出将是:Token count: 5。

这个例子将输入字符串"This is a sample string."分解为单词,并计算单词数量。

您可以使用不同的分隔符来计算不同类型的字符令牌数量。例如,如果您希望使用逗号作为分隔符计算数量,则可以按如下方式修改代码:

String str = "apple, banana, cherry, date, elderberry";
StringTokenizer tokenizer = new StringTokenizer(str, ",");
int tokenCount = tokenizer.countTokens();
System.out.println("Token count: " + tokenCount);

输出将是:Token count: 5。在这个例子中,输入字符串被分解为5个单词,每个单词之间由逗号分隔。

类似文章

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注