Big Data Utmaningar och möjligheter Dr Lilli Japec SCB Big Data http://www.rosebt.com/blog/data-veracity Ny teknologi • • • • Smarta telefoner, bilar och hem Sensorer av olika slag Data generas automatisk Kan data användas till statistikproduktion? Källa: Smart Slab. SapienStone Nya fenomen • Teknologin gör det möjligt att skapa nya plattformar t.ex. Uber, Airbnb, internethandel, tidningar och utbildning på nätet • Hur mäta dessa nya fenomen i statistiken? • Nya beteenden Källa: Florida State University Nya möjligheter • Nya datakällor och möjlighet att mäta fenomen som tidigare inte varit möjliga att mäta • Data är tillgängliga för alla t.ex. Twitter, Airbnb, Centers for Medicare and Medicaid Services och US Department of Transportation Nya aktörer Bortfallet i undersökningar ökar • Speciellt svårt i de undersökningar som kräver omfattande insatser av uppgiftslämnare • Dyrt att samla in data • Med ökat bortfall ökar risken för fel i skattningarna Exempel på hur Big Data kan användas i officiell statistik Konsumentprisindex (KPI) • KPI visar hur de priser som konsumenterna betalar i genomsnitt utvecklar sig i Sverige • Traditionell metod: intervjuare går ut i butiker och mäter priser • Ny metod: ersatt en del av datainsamlingen med skannerdata från t.ex. dagligvaruhandeln • Resultat: bättre kvalitet i KPI och billigare produktion AIS-data • EU-projekt för att utvärdera om AIS-data (Automatic Identification System) kan användas för officiell statistikproduktion • Statistik om sjöfartstrafik för att skatta utsläpp eller för att identifiera områden med tung trafik • Hamnsstatistik för att t.ex. se hur fartyg rör sig mellan olika hamnar Källa: www.marinetraffic.com Data för en dag Källa: Moström and Justesen, SCB Smart meters • • EU-projekt om statistik från smart meters (elmätare) för att skatta elförbrukning både från privatpersoner och företag Exempel från Estland. Källa: Eurostat, Ilves, M. et al., WP 3 Smart meters. Olika typer av Big Data (UNECE) 1. Sociala nätverk t.ex. Facebook, Twitter, bloggar, foton, videofilmer, Youtube och internetsökningar. 2. Traditionella företagssystem t.ex. transaktioner, kundregister, kreditkortsdata, medical records 3. Internet of Things d.v.s. olika typer av sensordata t.ex. väder, trafik, övervakning, mobiltelefoner, bilar och satellitbilder Källa: UNECE classification of Big Data Läs mer på: Tack! Email: [email protected]