På den internationella toppkonferensen UNENIX FAST i Santa Clara presenterade forskare från RISE SICS och KTH nästa generations skalbara plattform för lagring och bearbetning av mycket stora datamängder.

Docent Jim Dowling leder forskningsgruppen som tagit fram HopsFS.

Den nya plattformen HopsFS arbetar mer än 16 gånger snabbare med en stor realistisk arbetslast från Spotify jämfört med standardplattformen Hadoop, som idag används av ledande företag över hela världen. Dessa uppseendeväckande prestanda kunde visas genom storskaliga tester på ett kluster i RISE SICS eget datacenter SICS ICE.
HopsFS har utvecklats gemensamt av forskare på RISE SICS och KTH, Kungliga Tekniska Högskolan i Stockholm, i samarbete med forskare på Spotify och Oracle, som en mer skalbar och tillförlitlig ersättare för filsystemet HDFS i den populära Big-Data-plattformen Apache Hadoop. Apache Hadoop används idag över hela världen och av ledande företag som Yahoo, Facebook och Spotify. I den vetenskapliga artikeln som presenteras beskrivs hur HopsFS nu kan arbeta med upp till 1,2 miljoner operationer per sekund på en arbetslast från Spotify, vilket är 16 gånger snabbare än i vanliga Hadoop.
Unikt för HopsFS är att använda en skalbar distribuerad databas för metadata, den information som systemet har om filerna, med hjälp av öppen-källkod-databasen MySQL Cluster från Oracle. I Hadoops HDFS hanteras metadata av en enda virtuell maskin i Java, vilket begränsar dess storlek till ett par hundra gigabyte. I HopsFS lagras detta i ett MySQL-kluster som kan skalas upp till många tiotals maskiner och hundra gånger större mängder metadata.
– Denna typ av forskning kräver tillgång till mycket stora beräkningsresurser för testning och utvärdering och där har vi unika möjligheter genom forskningsdatacentret SICS ICE i Luleå, säger Jim Dowling, docent i distribuerade system vid KTH och forskare vid RISE SICS.
– HopsFS erbjuder beräkningsmöjligheter av helt andra dimensioner än tidigare. Tack vare HopsFS kan vi nu på SICS ICE erbjuda världens mest skalbara Hadoop-as-a-Service till alla forskare och företag i Sverige, säger Tor Björn Minde, VD på RISE SICS North AB som driver forskningsdatacentret.
Ett avknoppningsföretag, Logical Clocks AB, med grundare från RISE SICS och KTH, har bildats för att kommersialisera den nya teknologin.

Filed under: SvenskTeknik