要點:

1、開源工具Autolabel能用LLM代替人工高效標注數據，效率提升100倍，成本僅1/7。

2、Autolabel支持主流LLM，可快速標注NLP數據集，準確率高達88.4%，超過人工標注。

3、Autolabel可估計標注置信度，不同LLM可平衡成本與質量，大幅降低標注門檻。

微新創想（idea2003.com）9月18日 消息:最近，一家初創公司refuel上線了一個AI標注數據的開源工具Autolabel，它能夠利用LLM（如GPT-4等）自動對數據進行標注，大大簡化了數據標注流程。

Autolabel支持主流的LLM提供商，并可為開源和私有模型提供支持。與人工標注相比，Autolabel可將標注效率提高100倍，而成本僅為人工成本的1/7。

研究表明，Autolabel結合GPT-4進行標注可取得88.4%的準確率，超過了人工標注的準確率。Autolabel還可以估計標注置信度，允許用戶平衡成本和質量。總體來說，Autolabel極大地降低了數據標注的門檻，為訓練高質量模型提供了可能。

在接下來的幾個月中，開發者承諾將向Autolabel添加大量新功能:如支持更多LLM進行數據標注;支持更多標注任務，例如總結等;支持更多的輸入數據類型和更高的LLM輸出穩健性;讓用戶能夠試驗多個LLM和不同提示的工作流程。