國(guó)網(wǎng)黑龍江電力以數(shù)字化示范為契機(jī),率先利用人工智能平臺(tái)識(shí)別數(shù)據(jù)深層次關(guān)系,自動(dòng)形成數(shù)據(jù)中臺(tái)貼源層各表之間的關(guān)系圖譜,并利用算法模型發(fā)現(xiàn)數(shù)據(jù)異常情況,挖掘出新的數(shù)據(jù)質(zhì)量核對(duì)規(guī)則,有效的提高了數(shù)據(jù)質(zhì)量。

一是數(shù)據(jù)關(guān)系自動(dòng)識(shí)別。基于公司數(shù)據(jù)中臺(tái)貼源層數(shù)據(jù),通過(guò)字段特征識(shí)別、數(shù)據(jù)抽樣比較等算法,自動(dòng)識(shí)別數(shù)據(jù)中臺(tái)現(xiàn)有數(shù)據(jù)之間的拓?fù)潢P(guān)系,為后續(xù)數(shù)據(jù)質(zhì)量比對(duì)奠定基礎(chǔ)。

二是構(gòu)建數(shù)據(jù)質(zhì)量模型。設(shè)計(jì)了多套有監(jiān)督及無(wú)監(jiān)督數(shù)據(jù)質(zhì)量算法模型,并開展了模型驗(yàn)證工作,通過(guò)模型自動(dòng)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量疑似問(wèn)題。采用了線性回歸、支持向量機(jī)和決策樹等模型,通過(guò)深度學(xué)習(xí)進(jìn)行模型集訓(xùn)練,監(jiān)測(cè)單字段間和字段與字段間的異常數(shù)據(jù),降低誤差。

三是對(duì)數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行確認(rèn)和完善。通過(guò)數(shù)據(jù)主人視圖模塊,將疑似數(shù)據(jù)質(zhì)量問(wèn)題直接推送至數(shù)據(jù)主人視圖,并通過(guò)獎(jiǎng)勵(lì)的方式讓數(shù)據(jù)主人對(duì)疑似數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行確認(rèn),對(duì)于確認(rèn)較快的數(shù)據(jù)進(jìn)行額外獎(jiǎng)勵(lì)。人工智能數(shù)據(jù)治理模塊上線以來(lái),訓(xùn)練、擬合數(shù)據(jù)內(nèi)部規(guī)律得到了數(shù)據(jù)模型9個(gè),發(fā)現(xiàn)了13種數(shù)據(jù)質(zhì)量核查規(guī)則,確認(rèn)3.9萬(wàn)個(gè)數(shù)據(jù)質(zhì)量問(wèn)題,有效提升了公司數(shù)據(jù)質(zhì)量。