Abstract
Legal documents pose unique challenges for text classification due to their domain-specific language and often limited labeled data. This paper proposes a hybrid approach for classifying legal texts by combining unsupervised topic and graph embeddings with a supervised model. We employ Top2Vec to learn semantic document embeddings and automatically discover latent topics, and Node2Vec to capture structural relationships via a bipartite graph of legal documents. The embeddings are combined and clustered using KMeans, yielding coherent groupings of documents. Our computations on a legal document dataset demonstrate that the combined Top2Vec+Node2Vec approach improves clustering quality over text-only or graph-only embeddings. We conduct a sensitivity analysis of hyperparameters, such as the number of clusters and the dimensionality of the embeddings, and demonstrate that our method achieves competitive performance against baseline Latent Dirichlet Allocation (LDA) and Non-Negative Matrix Factorization (NMF) models. Key findings indicate that while the pipeline presents an innovative approach to unsupervised legal document analysis by combining semantic topic modeling with graph embedding techniques, its efficacy is contingent upon the quality of initial topic generation and the representational power of the chosen embedding models for specialized legal language. Strategic recommendations include the exploration of domain-specific embeddings, more comprehensive hyperparameter tuning for Node2Vec, dynamic determination of cluster numbers, and robust human-in-the-loop validation processes to enhance legal relevance and trustworthiness. The pipeline demonstrates potential for exploratory legal data analysis and as a precursor to supervised learning tasks but requires further refinement and domain-specific adaptation for practical legal applications.
Abstract (translated)
法律文件的分类对于文本分类来说具有独特的挑战，因为这些文档含有特定领域的语言，并且通常标注数据有限。本文提出了一种混合方法来对法律文本进行分类，该方法结合了无监督的主题和图嵌入与有监督模型。我们利用Top2Vec学习语义文档嵌入并自动发现潜在主题，同时使用Node2Vec通过法律文件的二部图捕捉结构关系。将这些嵌入合并并通过KMeans聚类分析生成一致的文档组群。我们在一个法律文档数据集上的计算表明，结合了Top2Vec和Node2Vec的方法在文本或仅基于图的嵌入方法上提高了聚类的质量。 我们对超参数（如聚类数量和嵌入维度）进行了敏感性分析，并证明我们的方法在基线潜在狄利克雷分配（LDA）和非负矩阵分解（NMF）模型中具有竞争力。关键发现表明，虽然此流程通过结合语义主题建模与图嵌入技术提供了创新的无监督法律文档分析方法，但其有效性取决于初始主题生成的质量以及所选嵌入模型对特定法律语言的表达能力。 战略建议包括探索领域特异性嵌入、更全面地调整Node2Vec中的超参数、动态确定聚类数量以及实施稳健的人机交互验证过程来增强法律相关性和可信度。该流程展示了在法律数据探索性分析和作为监督学习任务之前的前奏方面的潜力，但需要进一步的细化及特定领域的适应以满足实际应用需求。 以下是对原文的主要翻译： 法律文件分类因其领域专有语言及标注数据有限而具有独特挑战。本文提出了一种结合无监督主题与图嵌入以及监督模型对法律文本进行分类的方法。我们使用Top2Vec学习语义文档嵌入并自动发现潜在话题，通过在法律文档二部图中运用Node2Vec捕捉结构关系。我们将这些嵌入合并并通过KMeans聚类生成一致的文档组群。 我们在一个法律文件数据集上的计算表明，结合Top2Vec与Node2Vec的方法相较于仅使用文本或仅基于图的嵌入方法能提升聚类质量。我们对超参数（如聚类数量、嵌入维度等）进行了敏感性分析，并证明该方法在基线潜在狄利克雷分配（LDA）和非负矩阵分解（NMF）模型中具有竞争力。 关键发现表明，虽然此流程通过结合语义主题建模与图嵌入技术提供了创新的无监督法律文档分析方法，但其有效性依赖于初始话题生成的质量及所选嵌入模型对特定语言表达能力。战略建议包括探索领域特异性嵌入、更细致地调整Node2Vec中的超参数、动态确定聚类数量以及实施稳健的人机交互验证过程来增强相关性和可信度。 该流程展示了法律数据的探索性分析和作为监督学习任务前导方面的潜力，但需进一步细化及特定领域的适应以满足实际应用需求。
URL
https://arxiv.org/abs/2509.00990
