潜在的性能问题:在 pandas 2.1 之前, .loc 的性能不可靠

问题描述:

您好。我发现在 pandas 2.1 版本以下的 .loc 函数处理大型 DataFrame 具有非唯一索引时性能下降。当使用 pandas 4 个以上的索引时, .loc 会急剧提高到 X1000 倍。我注意到仓库中的一些部分依赖 pandas 2.1 版本以下。例如, ML Projects/NLP_WebAPP_Twitter_Sentiment_Analysis_knowledge_graph/venv/Lib/site-packages/pandas/_version.py 依赖 pandas 2.0.0, ML Projects/Multi Class News Classification Project/requirements.txt 依赖 pandas 2.0.3。我发现 ML Projects/NLP_WebAPP_Twitter_Sentiment_Analysis_knowledge_graph 中的许多文件都使用了受影响的 API。可能还有更多文件使用受影响的 API。我不确定 pandas 中的性能问题是否会影响这个仓库。以下是与此问题相关的 GitHub 的一些讨论,包括 #54550 和 #54746。