Minőségbiztosítás a gépi tanuláson alapuló mesterséges intelligenciánál 2.rész

A gépi tanulás nem lineáris, induktív modellezéssel történik.

Az irányelvek alapjai

Az AI rendszerek minőségbiztosítása egyedi aspektusokat képvisel a tradicionális, nem-gépi tanulás alapú alternatívákhoz képest. A gépi tanulás általában sokkal komplexszebb, nem-lineáris, induktív modellezéssel dolgozik, de stakeholderei (érintettek) nem ismerik azok fejlesztési hátterét. A szoftvertervezés lehet induktív és deduktív stílusú is. A deduktív módszer jellemző a tradicionális fejlesztésre, tehát, hogy a mérnökök nagy tudásukra és tapasztalatukra támaszkodva konstruálnak modelleket. De ezen felül, a minőségbiztosításhoz tartozik a folyamatok elemzése, mérése, felügyelése és tesztelése is. A tesztelés az terület, ahol a legnagyobb a szerepe a gépi tanulásnak, mivel a szoftver-tervezésről szóló jelenlegi tudásunk nem alkalmazható a gépi tanulás-alapú rendszereknél, mivel azok önműködően generálják a sokrétű és nem-lineáris modelleket.

Röviden, automatikusan generálódnak azok a modellek, amikhez korábban nagy mérnöki gárda kellett és végül is emberektől származtak. Ebben az esetben a korábbi folyamatmenedzsment-eljárások már nem hatékonyak. (Kivéve az úgynevezett FEET-et, ami a gyakori (frequent), entire (egész) és kimerítő (exhasutive) tesztelés rövidítése.) Az ML rendszerek tesztelésére az induktív és deduktív megközelítés kombinációja szükséges: induktív a maghoz és deduktív a teljes struktúrára nézve.
A konzorcium öt aspektusból értékeli a minőséget: adatok integritása, modellek robusztussága, rendszerek minősége, folyamatok agilitása és vásárlói elvárások.

Input és output minták

Az adatok integritása az input és output mintákra utal, amik ki vannak választva a tréningre és tesztelésre. Ez a kategória sok ellenőrző pontot fed le: statisztikai szempontú titkosítás, szellemi termékhez fűződő jogok, online tanulás és annak hatása, adatgenerálás minősége méretben és költségben, kapcsolat a teljes populáció és a minta között, elfogultság, szennyezettség, komplexitás, multikollinearitás, kiugró és hiányzó értékek és függetlenség az adatok hitelesítésénél.

A robusztusság a generált modell minőségére utal. Ez a következő aspektusokat fedi le: neurális hálózatok, modell teljesítménye, generalizálhatóság, zaj, helyi optimálisság, architektúra, hiperparaméterek, kereszthitelesítés, adatdiverzitás és degradáció.

Rendszerminőség

A rendszerminőség az egész rendszer minőségének a biztosítására utal. Ez jelenti az átfogó teljesítményt, hitelesítés spektrumát, kritikusságát és gyakoriságát a hibáknak vagy baleseteknek, azok kezelhetőségét, funkcionális biztonságot, védelmet, hozzájárulását és lokalizálhatóságát az ML komponenseknek, magyarázhatóságot és biztosíthatóságot.

A folyamat agilitása a minőségbiztosítás fejlesztési szempontból történő elemzésére utal; iterációk gyorsasága, azonnali visszajelzés, skálázhatóság, automatizálhatóság, megfelelő képességek, megértés és csapatmunka.

Vásárlói elvárások

Végezetül, a vásárlói elvárások a különböző, technikai háttérhez annyira nem értő stakeholderek (érintettek) szempontjaira utal. Ide sorolható az elfogadottság, elvárások komolysága és súlya, optimizmus (megbízhatóságba vetett hit) a nagy adatok kezelése terén is, követelmények egyértelműsége, megfelelés (compliance) lineáris- és determinisztikus gondolkodás és bürokrácia. Minél nagyobbak a vásárlói elvárások, annál jobban kell teljesíteni a többi aspektus tekintetében is.

ML rendszer

A gépi tanulás átfogó minőségét úgy kell megítélni, hogy egyensúlyozunk a fent felsorolt vásárlói elvárások között. Az előállítás, gazdaságos megvalósítás szempontjából releváns a többi kategória. Az ML rendszert fejlesztő szervezetnek szüksége van egy kiegyensúlyozott minőségbiztosítási szerkezetre, szervezeti struktúrára és minőségmenedzsmentre. A következő ábra illusztrál egy kiegyensúlyozott (jobbra) és egy kiegyensúlyozatlan (balra) minőség ötszöget (quality pentagon), ami tartalmazza a fenti minőség osztályokat. Továbbá, a gazdasági szempontból sikeres ML prototípusnak, koncepciónak olyan követelményeknek is meg kell felelnie, mint a helytálló elgondolás (proof of concept - PoC), beta release, és az elérhetőség biztosítása a széles közönség számára. Minél későbbi szakaszban van a fejlesztés, annál tökéletesebbnek kell lenni-e a végtermék minőségének, mert a folyamatokba való beavatkozás minél később történik meg, annál költségesebb.

Folytatás következik...

https://www.researchgate.net