En underkategori av maskinlæring, dyp læring, bruker flerlags nevrale nettverk for å automatisere historisk vanskelige maskinoppgaver - som bildegjenkjenning, naturlig språkbehandling (NLP) og maskinoversettelse - i målestokk.
TensorFlow, som kom ut av Google i 2015, har vært det mest populære open source-dyplæringsrammeverket for både forskning og virksomhet. Men PyTorch, som kom ut av Facebook i 2016, har raskt tatt taket, takket være samfunnsdrevne forbedringer i brukervennlighet og distribusjon for et utvidet utvalg av brukssaker.
PyTorch ser spesielt sterk adopsjon i bilindustrien - der den kan brukes på pilot autonome kjøresystemer fra slike som Tesla og Lyft nivå 5. Rammeverket blir også brukt til innholdsklassifisering og anbefaling i medieselskaper og for å hjelpe støtte roboter i industrielle applikasjoner.
Joe Spisak, produktleder for kunstig intelligens hos Facebook AI, fortalte at selv om han har vært fornøyd med økningen i bedriftsadopsjon av PyTorch, er det fortsatt mye arbeid å gjøre for å få bredere adopsjon i bransjen.
"Den neste bølgen av adopsjon vil komme med muliggjør livssyklusadministrasjon, MLOps og Kubeflow-rørledninger og samfunnet rundt det," sa han. "For de som er tidlige på reisen, er verktøyene ganske gode. De bruker administrerte tjenester og noen åpen kildekode med noe som SageMaker hos AWS eller Azure ML for å komme i gang."
Disney: Identifisere animerte ansikter i filmer
Siden 2012 har ingeniører og dataforskere ved mediegiganten Disney bygget det selskapet kaller Content Genome, en kunnskapsgraf som samler innholdsmetadata for å drive maskinlæringsbaserte søke- og personaliseringsapplikasjoner på tvers av Disneys enorme innholdsbibliotek.
“Disse metadataene forbedrer verktøy som brukes av Disney-fortellere til å produsere innhold; inspirere iterativ kreativitet i historiefortelling; kraftbrukeropplevelser gjennom anbefalingsmotorer, digital navigasjon og funn av innhold og muliggjøre forretningsinformasjon, ”skrev Disney-utviklerne Miquel Àngel Farré, Anthony Accardo, Marc Junyent, Monica Alfaro og Cesc Guitart i et blogginnlegg i juli.
Før det kunne skje, måtte Disney investere i et stort prosjekt for innholdsnotering, og henvendte seg til sine dataforskere for å trene en automatisert merkingsrørledning ved hjelp av dype læringsmodeller for bildegjenkjenning for å identifisere store mengder bilder av mennesker, karakterer og steder.
Disney-ingeniører startet med å eksperimentere med forskjellige rammer, inkludert TensorFlow, men bestemte seg for å konsolidere seg rundt PyTorch i 2019. Ingeniører skiftet fra et konvensjonelt histogram av HOG-funksjonsbeskrivelse og SVM-modellen (popular support vector machines) til en versjon av objektgjenkjenningsarkitekturen kalt regioner med revolusjonelle nevrale nett (R-CNN). Sistnevnte var mer befordrende for å håndtere kombinasjonene av live action, animasjoner og visuelle effekter som er vanlige i Disney-innhold.
"Det er vanskelig å definere hva som er et ansikt i en tegneserie, så vi gikk over til dype læringsmetoder ved hjelp av en objektdetektor og brukte transferlæring," forklarte Disney Research engineer Monica Alfaro til. Etter at bare noen få tusen ansikter ble behandlet, identifiserte den nye modellen allerede bredt ansikter i alle de tre brukssakene. Den kom i produksjon i januar 2020.
"Vi bruker bare en modell nå for de tre ansiktsformene, og det er flott å løpe for en Marvel-film som Avengers, der den trenger å gjenkjenne både Iron Man og Tony Stark, eller en hvilken som helst karakter som har på seg en maske," sa hun.
Ettersom ingeniørene har å gjøre med så store mengder videodata for å trene og kjøre modellen parallelt, ønsket de også å kjøre på dyre, høytytende GPU-er når de gikk i produksjon.
Skiftet fra CPU-er tillot ingeniører å trene på nytt og oppdatere modeller raskere. Det økte også distribusjonen av resultater til forskjellige grupper over Disney, og reduserte behandlingstiden fra omtrent en time for en film med langfilm, til å få resultater på mellom fem og ti minutter i dag.
"TensorFlow-objektdetektoren førte til minneproblemer i produksjon og var vanskelig å oppdatere, mens PyTorch hadde samme objektdetektor og Faster-RCNN, så vi begynte å bruke PyTorch for alt," sa Alfaro.
Den bytte fra ett rammeverk til et annet var overraskende enkelt også for ingeniørteamet. "Endringen [til PyTorch] var enkel fordi det hele er innebygd, du kobler bare inn noen funksjoner og kan starte raskt, så det er ikke en bratt læringskurve," sa Alfaro.
Da de møtte problemer eller flaskehalser, var det pulserende PyTorch-samfunnet tilgjengelig for å hjelpe.
Blue River Technology: Ugressdrepende roboter
Blue River Technology har designet en robot som bruker en heftig kombinasjon av digital veifinning, integrerte kameraer og datasyn for å spraye ugress med ugressmiddel mens de lar avlingene være alene i nærmest sanntid, og hjelper bønder mer effektivt med å spare dyre og potensielt miljøskadelige herbicider.
Det Sunnyvale, California-baserte selskapet fanget blikket til produsent av tungt utstyr John Deere i 2017, da det ble kjøpt for $ 305 millioner dollar, med sikte på å integrere teknologien i landbruksutstyret.
Blue River-forskere eksperimenterte med forskjellige dype læringsrammer mens de prøvde å trene datamaskinsynmodeller for å gjenkjenne forskjellen mellom ugress og avling, en enorm utfordring når du har å gjøre med bomullsplanter, som har en uheldig likhet med ugress.
Høytutdannede agronomer ble utarbeidet for å utføre manuelle oppgaver for bildemerking og trene et konvolusjonalt nevralt nettverk (CNN) ved hjelp av PyTorch "for å analysere hver ramme og produsere et pikselnøyaktig kart over hvor avlingene og ugresset er," Chris Padwick, datadirektør visjon og maskinlæring ved Blue River Technology, skrev i et blogginnlegg i august.
"Som andre selskaper, prøvde vi Caffe, TensorFlow og deretter PyTorch," sa Padwick. “Det fungerer ganske mye ut av boksen for oss. Vi har ikke hatt noen feilrapporter eller en blokkeringsfeil i det hele tatt. På distribuert beregning skinner den virkelig og er lettere å bruke enn TensorFlow, som for dataparallelismer var ganske komplisert. ”
Padwick sier at populariteten og enkelheten til PyTorch-rammeverket gir ham en fordel når det gjelder å raskt øke nye ansettelser. Når det er sagt, drømmer Padwick om en verden der “mennesker utvikler seg i hva de er komfortable med. Noen liker Apache MXNet eller Darknet eller Caffe for forskning, men i produksjonen må det være på ett språk, og PyTorch har alt vi trenger for å lykkes. ”
Datarock: Cloud-basert bildeanalyse for gruveindustrien
Den australske oppstarten Datarock ble grunnlagt av en gruppe geoforskere og anvender datasynteknologi til gruveindustrien. Mer spesifikt hjelper de dype læringsmodellene geologene med å analysere borekjerneprøvebilder raskere enn før.
Vanligvis ville en geolog pore over disse prøvene centimeter for centimeter for å vurdere mineralogi og struktur, mens ingeniører ville se etter fysiske egenskaper som feil, brudd og bergkvalitet. Denne prosessen er både treg og utsatt for menneskelige feil.
"En datamaskin kan se bergarter som en ingeniør ville," sa Brenton Crawford, COO i Datarock. "Hvis du kan se det på bildet, kan vi trene en modell for å analysere den så vel som et menneske."
I likhet med Blue River bruker Datarock en variant av RCNN-modellen i produksjon, med forskere som vender seg til dataøkningsteknikker for å samle nok treningsdata i de tidlige stadiene.
“Etter den første oppdagelsesperioden begynte teamet å kombinere teknikker for å skape en arbeidsflyt for bildebehandling for drill core-bilder. Dette innebar å utvikle en serie dype læringsmodeller som kunne behandle råbilder til et strukturert format og segmentere den viktige geologiske informasjonen, ”skrev forskerne i et blogginnlegg.
Ved hjelp av Datarocks teknologi kan klienter få resultater på en halv time, i motsetning til de fem eller seks timene det tar å logge funn manuelt. Dette frigjør geologer fra de mer arbeidskrevende delene av jobben, sa Crawford. Imidlertid, "når vi automatiserer ting som er vanskeligere, får vi litt tilbakeslag, og må forklare at de er en del av dette systemet for å trene modellene og få tilbakemeldingsløyfen til å snu."
Som mange selskaper som trener dyp læring datamaskinsynmodeller, startet Datarock med TensorFlow, men skiftet snart til PyTorch.
"I begynnelsen brukte vi TensorFlow, og det ville krasje på oss av mystiske grunner," sa Duy Tin Truong, leder for maskinlæring hos Datarock. "PyTorch og Detecton2 ble utgitt på den tiden og passet godt inn i våre behov, så etter noen tester så vi at det var lettere å feilsøke og jobbe med og okkuperte mindre minne, så vi konverterte," sa han.
Datarock rapporterte også en 4x forbedring i inferensytelse fra TensorFlow til PyTorch og Detectron2 når de kjørte modellene på GPUer - og 3x på CPUer.
Truong siterte PyTorchs voksende samfunn, godt utformede grensesnitt, brukervennlighet og bedre feilsøking som årsaker til bryteren, og bemerket at selv om “de er ganske forskjellige fra et grensesnittperspektiv, hvis du kjenner TensorFlow, er det ganske enkelt å bytte , spesielt hvis du kjenner Python. ”
