Microsoft og .NET Foundation har gitt ut versjon 1.0 av .NET for Apache Spark, en åpen kildekode-pakke som bringer. NET-utvikling til Spark analytics-motoren for databehandling i stor skala.
Annonsert 27. oktober. .NET for Apache Spark 1.0 har støtte for. NET-applikasjoner rettet mot. NET Standard 2.0 eller nyere. Brukere kan få tilgang til Spark DataFrame APIer, skrive Spark SQL og opprette brukerdefinerte funksjoner UDFer).
NET for Apache Spark-rammeverket er tilgjengelig på .NET Foundation's GitHub-side eller fra NuGet. Andre funksjoner i .NET for Apache Spark 1.0 inkluderer:
- Et API-utvidelsesrammeverk for å legge til støtte for flere Spark-biblioteker, inkludert Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET og Apache Spark MLlib-funksjonalitet.
- .NET for Apache Spark-programmer som ikke er UDF-er, viser samme hastighet som Scala- og PySpark-baserte ikke-UDF-applikasjoner. Hvis applikasjoner inkluderer UDF, er .NET for Apache Spark-programmer minst like raske som PySpark-programmer eller kan være raskere.
- .NET for Apache Spark er innebygd i Azure Synapse og Azure HDInsight. Den kan også brukes i andre Apache Spark-skytilbud, inkludert Azure Databricks.
Den første offentlige versjonen av prosjektet ble kunngjort i april 2019. Å drive utviklingen av .NET for Apache Spark var økt etterspørsel etter en enklere måte å bygge big data-applikasjoner i stedet for å måtte lære Scala eller Python. Prosjektet drives under .NET Foundation og har blitt arkivert som et forslag til forbedring av Spark Project for å bli vurdert for inkludering i Apache Spark-prosjektet direkte.
Ser vi fremover, takler Microsoft hindringer, inkludert å sette opp forutsetninger og avhengigheter og finne kvalitetsdokumentasjon, med eksempler som felleskapsbidragte "ready-to-run" Docker-bilder og oppdateringer til .NET for Apache Spark-dokumentasjon. En annen prioritet er å støtte distribusjonsalternativer, inkludert integrasjon med CI / CD devops rørledninger og publiseringsjobber direkte fra Visual Studio.
