談談人(rén)工智能數據标注那些事兒

一(yī / yì ／yí)、什麽是(shì)數據标注

首先談談什麽是(shì)數據标注。數據标注有許多類型，如分類、畫框、注釋、标記等等，我們會在(zài)下面詳談。要(yào / yāo)理解數據标注，得先理解AI其實是(shì)部分替代人(rén)的(de)認知功能。回想一(yī / yì ／yí)下我們是(shì)如何學習的(de)，例如我們學習認識蘋果，那麽就(jiù)需要(yào / yāo)有人(rén)拿着一(yī / yì ／yí)個(gè)蘋果到(dào)你面前告訴你，這(zhè)是(shì)一(yī / yì ／yí)個(gè)蘋果。然後以(yǐ)後你遇到(dào)了(le／liǎo)蘋果，你才知道(dào)這(zhè)玩意兒叫做“蘋果”。類比機器學習，我們要(yào / yāo)教他(tā)認識一(yī / yì ／yí)個(gè)蘋果，你直接給它一(yī / yì ／yí)張蘋果的(de)圖片，它是(shì)完全不(bù)知道(dào)這(zhè)是(shì)個(gè)啥玩意的(de)。我們得先有蘋果的(de)圖片，上(shàng)面标注着“蘋果”兩個(gè)字，然後機器通過學習了(le／liǎo)大(dà)量的(de)圖片中的(de)特征，這(zhè)時(shí)候再給機器任意一(yī / yì ／yí)張蘋果的(de)圖片，它就(jiù)能認出(chū)來(lái)了(le／liǎo)。這(zhè)邊可以(yǐ)順帶提一(yī / yì ／yí)下訓練集和(hé / huò)測試集的(de)概念。訓練集和(hé / huò)測試集都是(shì)标注過的(de)數據，還是(shì)以(yǐ)蘋果爲(wéi / wèi)例子(zǐ)，假設我們有1000張标注着“蘋果”的(de)圖片，那麽我們可以(yǐ)拿900漲作爲(wéi / wèi)訓練集，100張作爲(wéi / wèi)測試集。機器從900張蘋果的(de)圖片中學習得到(dào)一(yī / yì ／yí)個(gè)模型，然後我們将剩下的(de)100張機器沒有見過的(de)圖片去給它識别，然後我們就(jiù)能夠得到(dào)這(zhè)個(gè)模型的(de)準确率了(le／liǎo)。想想我們上(shàng)學的(de)時(shí)候，考試的(de)内容總是(shì)不(bù)會和(hé / huò)我們平時(shí)的(de)作業一(yī / yì ／yí)樣，也(yě)隻有這(zhè)樣才能測試出(chū)學習的(de)真正效果，這(zhè)樣就(jiù)不(bù)難理解爲(wéi / wèi)什麽要(yào / yāo)劃分一(yī / yì ／yí)個(gè)測試集了(le／liǎo)。

我們知道(dào)機器學習分爲(wéi / wèi)有監督學習和(hé / huò)無監督學習。無監督學習的(de)效果是(shì)不(bù)可控的(de)，常常是(shì)被用來(lái)做探索性的(de)實驗。而(ér)在(zài)實際産品應用中，通常使用的(de)是(shì)有監督學習。有監督的(de)機器學習就(jiù)需要(yào / yāo)有标注的(de)數據來(lái)作爲(wéi / wèi)先驗經驗。

在(zài)進行數據标注之(zhī)前，我們首先要(yào / yāo)對數據進行清洗，得到(dào)符合我們要(yào / yāo)求的(de)數據。數據的(de)清洗包括去除無效的(de)數據、整理成規整的(de)格式等等。具體的(de)數據要(yào / yāo)求可以(yǐ)和(hé / huò)算法人(rén)員确認。

二、常見的(de)幾種數據标注類型

1.分類标注：分類标注，就(jiù)是(shì)我們常見的(de)打标簽。一(yī / yì ／yí)般是(shì)從既定的(de)标簽中選擇數據對應的(de)标簽，是(shì)封閉集合。如下圖，一(yī / yì ／yí)張圖就(jiù)可以(yǐ)有很多分類/标簽：成人(rén)、女、黃種人(rén)、長發等。對于(yú)文字，可以(yǐ)标注主語、謂語、賓語，名詞動詞等。