Case Belspo

Uitdagingen

De uitdagingen waarop onze oplossing een antwoord biedt bij Belspo:

• Invoer van grote volumes digitale bestanden, zowel qua aantal als bestandsgrootte (orde 50 terabytes dagelijks)

• Bieden van een gemeenschappelijke oplossing aan de diverse FWIs die elk hun eigen noden en vereisten hebben wat betreft de structuur van de metadata en de invoer

• Veilige oplossing met redundante opslag van alle bestanden en metadata in twee gescheiden datacenters.

• Zeer lange termijn opslag op tape dragers met een initiele capaciteit van 2000 terabytes.

Oplossing

Zeticon heeft de volgende stappen overlopen in overleg met VIAA. De analyse van de oplossing die nodig was want hier gaat het over miljoenen documenten. Daarnaast is de implementatie gebeurd waarbij Zeticon zijn input heeft gehad met de installatie van de hardware. Hierbij is er samen met SMALLS gewerkt om het project op te starten.

Tijdens de implementatie, is naast de infrastructuur, tijd genomen om een zeer uitgebreid aanbod van workflows op te zetten. Voorbeelden zoals hun unzippen van bestanden tot 1 dossier of de intake doen van honderduizenden kleine documenten werden onderzocht.

Er wordt op zeer geregelde tijdstippen (minimum maandelijks) overleg gedaan om verdere stappen te nemen. Er zijn voortkomende uit deze centrale visie heel wat andere mogelijkheden die in een continue proces bekeken worden.

Belspo voert typisch zeer veel documenten toe waarbij de search en database van MediaHaven cruciaal zijn. Een federated search opgesplist per FWI is één van de recente focuspunten. De content is een combinatie van documenten en audiovisueel materiaal waarbij deze content op diverse manieren (volgens instelling) toegevoegd wordt. Dit kan rechtstreeks in de toepassing zijn maar even goed via FTP of via de API.

De hardware architectuur van het LTP platform bestaat uit:

• Het primaire datacenter (main) en het redundante datacenter (backup);

• Een tijdelijk buffer geheugen (harde schijf cluster) in de twee datacenters;

• Opslag voor voorbeeldbestanden (harde schrijf cluster) in de twee datacenters;

• zeer lange termijn opslag op tape dragers in de twee datacenters;

De hardware voor dit project is samen opgezet met SMALS waarbij Zeticon het softwarematige beheer voor zijn rekening houdt. Het hoeft niet gezegd te zijn dit de kostprijs van de project groot is. Het project is sinds 2016/2017 opgeleverd is blijft in een constante operationele fase waarbij bijgestuurd wordt waar nodig.

Een standaard ondersteuning van de volgende interfaces en protocollen is net zoals bij VIAA als bij andere klanten zeer belangrijk:

• SAML 2.0 voor authenticatie

• JSON

• Zeer uitgebreide RESTfull API

• OAI-PMH ondersteuning

• Import met of zonder sidecar (metadata via XML)

• Ondersteuning METS, Dublin core voor metadataprofielen

• QA en live omgevingen

• Diverse ingestmogelijkheden

• PREMIS logging