使用 LibLinear 进行文本分类

• 从 .arff 文件创建培训实例

private static Instances getDataFromFile(String path) throws Exception{

    DataSource source = new DataSource(path);
    Instances data = source.getDataSet();
    
    if (data.classIndex() == -1){
        data.setClassIndex(data.numAttributes()-1);
        //last attribute as class index
    }
    
    return data;    
}

Instances trainingData = getDataFromFile(pathToArffFile);

• 使用 StringToWordVector 将字符串属性转换为数字表示形式：

  *此过滤器的重要功能：

  1. tf-idf 表示
  2. 词干
  3. 小写的
  4. 停用词
  5. n-gram 表示*

    StringToWordVector() filter = new StringToWordVector();    
    filter.setWordsToKeep(1000000);
    if(useIdf){
        filter.setIDFTransform(true);
    }
    filter.setTFTransform(true);
    filter.setLowerCaseTokens(true);
    filter.setOutputWordCounts(true);
    filter.setMinTermFreq(minTermFreq);
    filter.setNormalizeDocLength(new SelectedTag(StringToWordVector.FILTER_NORMALIZE_ALL,StringToWordVector.TAGS_FILTER));
    NGramTokenizer t = new NGramTokenizer();
    t.setNGramMaxSize(maxGrams);
    t.setNGramMinSize(minGrams);    
    filter.setTokenizer(t);     
    WordsFromFile stopwords = new WordsFromFile();
    stopwords.setStopwords(new File("data/stopwords/stopwords.txt"));
    filter.setStopwordsHandler(stopwords);
    if (useStemmer){
        Stemmer s = new /*Iterated*/LovinsStemmer();
        filter.setStemmer(s);
    }
    filter.setInputFormat(trainingData);

• 将过滤器应用于 trainingData：trainingData = Filter.useFilter(trainingData, filter);

• 创建 LibLinear 分类器

  1. 下面的 SVMType 0 对应于 L2 正则化逻辑回归
  2. 设置 setProbabilityEstimates(true) 以打印输出 probalities

        Classifier cls = null;
        LibLINEAR liblinear = new LibLINEAR();
        liblinear.setSVMType(new SelectedTag(0, LibLINEAR.TAGS_SVMTYPE));
        liblinear.setProbabilityEstimates(true);
        // liblinear.setBias(1); // default value
        cls = liblinear;
        cls.buildClassifier(trainingData);

• 保存模型

    System.out.println("Saving the model...");
    ObjectOutputStream oos;
    oos = new ObjectOutputStream(new FileOutputStream(path+"mymodel.model"));
    oos.writeObject(cls);
    oos.flush();
    oos.close();

• 从 .arff 文件创建测试实例

 Instances trainingData = getDataFromFile(pathToArffFile);

• 加载分类器

Classifier myCls = (Classifier) weka.core.SerializationHelper.read(path+"mymodel.model");

• 使用与上面相同的 StringToWordVector 过滤器或为 testingData 创建一个新过滤器，但请记住使用 trainingData 来执行此命令：filter.setInputFormat(trainingData); 这将使训练和测试实例兼容。或者你可以使用 InputMappedClassifier

• 将过滤器应用于 testingData：testingData = Filter.useFilter(testingData, filter);

• 分类！

  1.获取测试集中每个实例的类值

 for (int j = 0; j < testingData.numInstances(); j++) {
    double res = myCls.classifyInstance(testingData.get(j));
 }

res 是一个 double 值，对应于 .arff 文件中定义的标称类。要获得名义上的类使用：testintData.classAttribute().value((int)res)

2.获取每个实例的概率分布

 for (int j = 0; j < testingData.numInstances(); j++) {
    double[] dist = first.distributionForInstance(testInstances.get(j));
 }

dist 是一个双数组，包含 .arff 文件中定义的每个类的概率

注意。分类器应支持概率分布，并使用：myClassifier.setProbabilityEstimates(true); 启用它们