Big data

Big data utgörs av digitalt lagrad information av sådan storlek (vanligen terabyte och petabyte), att det är svårt att bearbeta den med traditionella databasmetoder. Big data innefattar tekniker för very large databases (VLDB), datalager (data warehouse) och informationsutvinning (data mining). Termen big data fick sitt genomslag under 2009. Ingen svensk översättning har blivit etablerad, men stora datamängder har använts.

Stora datamängder skapas bland annat inom meteorologi, bioinformatik, genomik, fysik, miljöforskning, handel, avancerade simuleringar, försvaret och vid kommunikationstjänster med många användare, som mobiltelefoni, webbtjänster som Youtube, Flickr, Twitter, Facebook och Google. I många fall skapas datamängderna kontinuerligt (i realtid) och måste även analyseras i realtid.

Framväxten av dessa stora datamängder beror på möjligheten att samla in (bland annat via Internet och digitalkameror) och lagra information (på hårddiskar), och svårigheten att hantera dem beror på att den traditionella tekniken för databaser inte har utvecklats lika fort. Två slag av angreppssätt för big data har varit NoSQL-databaser (som programvaran MongoDB) och ramverket map-reduce (som bland annat implementeras med programvaran Apache Hadoop).

Källor

• Dataexplosionen Hetaste Megatrenden
• Real Time Big Data Access and Total Data Integration