TUhjnbcbe - 2024/10/19 17:19:00
来源：机器之心作者：HamelHusain机器之心编译参与：魔王想提升代码搜索效果？首先你得知道怎么才算提升。GitHub团队创建CodeSearchNet语料库，旨在为代码搜索领域提供基准数据集，提升代码搜索结果的质量。搜索代码进行重用、调用，或者借此查看别人处理问题的方式，是软件开发者日常工作中最常见的任务之一。然而，代码搜索引擎的效果通常不太好，和常规的web搜索引擎不同，它无法充分理解你的需求。GitHub团队尝试使用现代机器学习技术改善代码搜索结果，但很快意识到一个问题：他们无法衡量改善效果。自然语言处理领域有GLUE基准，而代码搜索评估领域并没有适合的标准数据集。因此GitHub与WeightsBiases公司展开合作，并于昨日推出CodeSearchNetChallenge评估环境和排行榜。与此同时，GitHub还发布了一个大型数据集，以帮助数据科学家构建适合该任务的模型，并提供了多个代表当前最优水平的基线模型。该排行榜使用一个query标注数据集来评估代码搜索工具的质量。论文