Koneoppiminen mahdollistaa asiakkaan liiketoimintaan liittyvien datamassojen uudenlaisen hyödyntämisen ja syvemmän ymmärryksen datan sisällöstä. Koneoppimisen hyödyntämistä suunniteltaessa saavutettavissa olevien konkreettisten hyötyjen havaitseminen on avainasemassa. Millä tavalla nämä kilpailukykyä ja kustannustehokkuutta lisäävät ominaisuudet voi nähdä? Kuinka varmistetaan, että menneisyydestä kerätyllä datalla muodostettu koneoppimismalli toimii liiketoiminnan vaatimalla tasolla?

Koneoppimismallin toimintaan liittyviä ominaisuuksia on syytä tarkastella aktiivisesti sekä kokeiluprojektissa että tuotannossa. Näitä mitattavia koneoppimismallin ominaisuuksia kutsutaan metriikoiksi ja niitä mitataan testaamalla mallia soveltuvalla datalla. Lisäksi mallin opettamisessa ja mallin soveltamisessa käytettävän datan ominaisuuksia on seurattava jatkuvasti, jotta mallin muodostamiseen käytetty data vastaa tuotantotilanteessa käsiteltäviä havaintoja.

Muodostettuun koneoppimismalliin on saatava sisällytettyä datan sisältämä informaatio sopivalla tasolla, ilman että malli ylioppii opetukseen käytettävän datan yksityiskohdat liian tarkasti. Hyvin valitulla testiaineistolla ja iteroinneilla malli saadaan oppimaan opetusaineiston syy-seuraussuhteet juuri oikealla tasolla.  Samalla on muistettava, että opetusdatan täytyy kuitenkin sisältää informaatiota tarkasteltavasta vasteesta eli ennustuksen kohteesta, mutta ylimääräistä ja vasteesta täysin riippumattomia havaintoja ei tule mallinnusdataan sisällyttää. Tämä on mahdollista varmistaa huolellisella datan analysoinnilla ja tulosten läpikäymisellä asiakkaan kanssa.

Koneoppimisen tarjoamat konkreettiset liiketoimintahyödyt asiakkaalle saadaan selville jo kokeiluvaiheen aikana liiketoimintalähtöisesti valittujen metriikoiden avulla. Valittuja tarkastelun kohteita seurataan aktiivisesti myös tuotannossa, millä varmistetaan mallin oikeanlainen toiminta esimerkiksi datan käsittelyputken muutosten jälkeen. Lisäksi tuotannossa oleva malli täytyy opettaa uudestaan datan sisällön tai rakenteen muuttuessa, mikä omalta osaltaan lisää mallin toiminnan seurannan tärkeyttä.

Koneoppimismallin soveltaminen tuotannossa voi tarkoittaa esimerkiksi poistumisvaarassa olevien asiakkaiden havaitsemista etukäteen. Kun ennusteiden lisäksi kerätään talteen myös myöhemmin aidosti havaitut tapahtumat, voidaan halutulla ajanjaksolla tarkastella mallin tarkkuutta ja mallin pohjalta tehtyjen päätösten järkevyyttä. Ajantasaisen seurannan avulla voidaan siis nähdä, missä tilanteissa ennakointi on mahdollista ja milloin se on vaikeaa sekä mitkä asiat ylipäänsä ovat vaikuttaneet vasteeseen. Tätä kautta on mahdollista löytää keinoja datan rikastamiseksi sekä ohjata liiketoimintaa tekemään parempia valintoja, kun syy-seuraussuhteista nähdään syyt aiempaa selvemmin.