1 Wat?

De SIP-creator v1.0 is een oplossing om de invoer van dossiers en stukken naar het E-depot te vereenvoudigen. Die invoer gebeurt door het aanmaken van een Submission Information Package (SIP). In de praktijk gaat het daarin om een .zip bestand, dat bestaat uit het metadatabestand met metadata van de dossiers en eventueel van de stukken en de dossiers zelf.

Het aanmaken en opladen van SIP’s in het E-depot gaat vereenvoudigd worden doordat de tool het eigen metadatamodel eenvoudig kan mappen naar het DAV-model, automatisch metadata kan uitlezen en invullen in het importsjabloon, SIPs genereren die conform zijn aan de vereisten van het E-depot en tenslotte de SIP op de FTPS-omgeving van de klant kan plaatsen, waarna deze opgepikt wordt door het E-depot.

In deze documentatie wordt de eerste fase van de ontwikkelde tool beschreven. In deze fase krijgt de SIP-Creator een aantal basisfunctionaliteiten waarop in latere fases verder gebouwd wordt. In de volgende fase zal de tool verder ontwikkeld worden, zodat het ook gebruikt kan worden voor analoog archief.

1.1 Toepassingsgebied

De SIP-creator zal gebruikt kunnen worden in de volgende scenario’s:

Scenario 1: Elk dossier zit reeds geordend in een mappenstructuur. Er is een externe metadatafile aanwezig met extra metadata voor het dossier (deze file is niet conform het DAV-model)
Scenario 2: Er is 1 locatie met daarin ongeordende bestanden/stukken. Er is een externe metadatafile met metadata (niet conform het DAV-model) o.b.v. de externe metadatafile moeten de ongeordende stukken gestructureerd worden in dossiers (mappen).
Scenario 3: Elk dossier zit reeds geordend in een mappenstructuur. Er is geen externe metadatafile aanwezig.

1 De tool

1.1 Installatie

Via de Github kan je onder de SIP-Creator repository de code van de SIP-Creator downloaden en uitvoeren als ontwikkelaar (lees hiervoor zeker de README). Om de laatste release te installeren als gebruiker ga je naar de releases, hier vind je de laatste nieuwe versie van de applicatie.

Om de SIP-Creator uit te voeren als gebruiker, download je het .exe bestand. Dit zet je best lokaal op je computer (en niet in cloudapplicaties als Microsoft OneDrive), in een aparte map die je eerst zelf aanmaakt. Door de .exe aan te klikken start je de applicatie. Je hebt hier geen admin rechten voor nodig. Als je bij het uitvoeren van de applicatie een foutmelding krijgt, werkt het vaak om de tool te installeren in de temporary folder op je C-schijf.

Opgelet! Bij de Vlaamse Overheid (voor entiteiten die gebruik maken van de centrale dienstverlening) moet je de juiste rechten hebben om een .exe-bestand te downloaden. Vraag hiervoor het recht “Palo Alto Firewall – Download potentieel gevaarlijke bestandstypes” aan in Facilipunt.

1.2 Configuratie

In het eerste scherm is het nodig om via de knop “configuratie” de API en FTPS te configureren. Dit kan voor zowel de productie- als de testomgeving. Het is verplicht om de API te configureren, anders geeft de tool een foutmelding. API- en FTPS-credentials kan je bekomen door een ticket aan te maken in onze servicedesk: Inloggen (topdesk.net). De tool werkt als de FTPS niet geconfigureerd is, maar gaat dan een foutmelding geven als een SIP via de tool geüpload wordt. Het is wel mogelijk om dan de gemaakte SIP handmatig op te laden in het E-depot. Als de configuratie gebeurd is, wordt er een JSON-file toegevoegd in de bronmap. Het is dus niet nodig om elke keer de configuratie in te vullen, telkens als de SIP-Creator gebruikt wordt.

Het is mogelijk om via het tabblad “misc” aan te passen voor welke omgeving (test of productie) de SIP aangemaakt moet worden. Automatisch staat de productieomgeving als de actieve omgeving aangeduid. Ten slotte is het onder dit laatste tabblad ook mogelijk om aan te geven waar de SIP-Creator zijn SIP gaat opslaan.

De SIP-Creator zal dan, als de SIP klaar is, een mapje aanmaken met de naam “SIP_Creator” in de bronmap waarin de SIP-Creator staat.

1.3 Invoer

1.3.1 Dossiers toevoegen

Vervolgens zie je drie knoppen staan: “Voeg dossier toe”, “Voeg folder met dossiers toe” en “Start SIP”. Je begint met het toevoegen van dossiers via de knop “Voeg dossier toe” of “Voeg folder met dossiers toe”. De tool stuurt je, bij allebei de knoppen, door naar Windows Verkenner. Hier kan je selecteren van welke dossiers je een SIP wilt maken. Als je via de knop “Voeg dossier toe” (nr. 1 op print screen) gaat, kan je de dossiers één per één toevoegen. Ga je via “Voeg folder met dossier toe” (nr. 2 op print screen), dan kan je een rootfolder selecteren. Onderliggende dossiers worden dan allemaal toegevoegd. Opgelet! Dossiers met eenzelfde naam kunnen niet toegevoegd worden in de SIP-Creator. Dit geld ook voor stukken met dezelfde naam. Binnen één SIP is het niet mogelijk om stukken met eenzelfde naam toe te voegen. De SIP-Creator zal dan een melding geven welke stukken aangepast moeten worden.

Het is ook mogelijk om dossiers op te zoeken via de zoekbalk (nr. 3 op print screen). Opgelet, deze is hoofdlettergevoelig. Je kan vervolgens een aantal dossiers selecteren of je kan ze allemaal selecteren (nr. 4 op print screen). Het is ten slotte mogelijk om de geselecteerde dossiers te verwijderen (nr. 5 op print screen). Om te kunnen starten met het aanmaken van de SIP, selecteer je de dossiers die je in een SIP wilt steken en druk je op de knop “Start SIP”.

1.3.2 SIP bewerken

Je krijgt daarop de mogelijkheid om de naam van de SIP te bewerken. Dit kan je doen door in het bovenste vakje te klikken. In eerste instantie krijgt de SIP de naam “SIP 1”. De tool gaat voor elke SIP die je maakt een oplopende nummering toekennen.

Vervolgens kan je daaronder, via het drop-down venster een serie selecteren. Je kan daarbij kiezen uit gepubliceerde series en ingediende series (die nog niet goedgekeurd zijn door de selectiecommissie). Je kan bovendien in dit veldje zoeken door een tekst in te geven. Als je een serie geselecteerd hebt, druk je op de knop “Haal importsjabloon op”.

Je kan dan een metadatafile selecteren. De tool laat je toe om in je verkenner een metadatafile te gaan zoeken (nr. 1 op de printscreen). Voorlopig is het enkel mogelijk om daarvoor een .xlsx bestand te selecteren. Als je een metadatafile geselecteerd hebt, kan je de metadata mappen met het importsjabloon. In de linkse kader (nr. 2) vind je de metadata die terug te vinden is in de externe metadatafile. Om de metadata te mappen klik je eerst in de linkse kolom de metadata uit de metadatafile aan en vervolgens de gewenste kolom in het importsjabloon in de middelste kolom (nr. 3). Als je klikt op “>>>” gaat de SIP-Creator de metadata aan elkaar linken. In de rechtse kolom (nr. 4) wordt weergegeven op welke manier je gemapt hebt. Als je je tijdens het mappen vergist hebt, kan je de mapping ongedaan maken door op “<<<” te klikken.

Het is mogelijk om je informatie meer te structureren, dit kan je doen door op de knop “Stel mappenstructuur samen” te klikken. Om dit te kunnen doen, moet er eerst een mapping met een externe metadatafile hebben plaatsgevonden. Om met de mapping van start te kunnen gaan, moet een kolom die “Naam” heet in de externe metadatafile gelinked worden met “Naam” in het importsjabloon. De naam moet bovendien, voor stukken ook de bestandsextensie weergeven in de externe metadatafile. Op deze manier herkent de tool dat de stukken in de verkenner dezelfde zijn als de stukken in de externe metadatafile. Opgelet, indien je vergeet om op de knop “stel mappenstructuur samen” te drukken voordat je naar het metadata grid gaat, gaat de tool automatisch door naar het importsjabloon. Het is dan niet meer mogelijk om een mappenstructuur aan te maken, hiervoor zal bijgevolg een nieuwe SIP gemaakt moeten worden. Om een mappenstructuur samen te stellen moet je kiezen welke metadata het hoogste niveau van je mappen moet worden. Deze ga je bovenaan zetten in de lijst “Mapping”(rechtse kolom op afbeelding), door de gewenste metadata te selecteren en op de “>>>” te drukken. Indien je nog onderliggende mappen wilt aanmaken, doe je dit door de gewenste metadata onder het vorige niveau te plaatsen in de “Mapping” lijst. Door op “opslaan” te klikken, ga je de mappen te zien krijgen onder “Path in SIP” in het metadatagrid.

Om naar het metadatagrid te gaan, klik je op de knop “open metadata grid”. Opgelet! Zorg er voor dat het Path in de verkenner niet langer is dan 255 tekens, anders zal de SIP-Creator het metadatagrid niet kunnen openen. Hier zijn al een aantal velden automatisch ingevuld, zelfs als er geen externe metadatafile geselecteerd is. Dit geldt voor de kolommen “Path in SIP”, “Type”, “DossierRef”, “Openingsdatum” en “Sluitingsdatum”. Om de openingsdatum te bepalen, gaat de tool kijken naar het moment waarop het document aangemaakt is. Bij de sluitingsdatum gaat dit het moment zijn waarop het document voor het laatst bewerkt werd. Als de openings- of sluitingsdatum van een stuk aangepast wordt naar een vroegere of latere datum dan de openings- of sluitingsdatum van het dossier, gaat dit zich automatisch aanpassen. Opgelet! Het is belangrijk om dossiers niet te kopiëren en te plakken als je de locatie ervan wilt aanpassen. Je kan het beter verplaatsen of knippen en plakken. Anders gaat Windows Verkenner dit zien als een nieuw document.

Voor “Path in SIP” gaat de tool kijken naar de naam van het dossier/stuk en diens plaats in de mappenstructuur. Bij “Type” en “DossierRef” worden de bestaande formules van het importsjabloon toegepast. Als er verplicht in te vullen velden nog ingevuld moeten worden, geeft de SIP-Creator dit aan door het verplichte vakje rood te kleuren. Als je over het veld gaat, geeft de tool aan wat er juist moet gebeuren om het rode veldje te laten verdwijnen. Zolang er velden in het rood gekleurd zijn, is het niet mogelijk om een SIP te maken. Het kan zijn dat er een hele rij in het geel aangeduid wordt, dit wilt zeggen dat het gaat om een leeg dossier of stuk. De SIP-Creator gaat het maken van de SIP niet blokkeren als er nog velden geel zijn. Hij gaat wel de betreffende dossiers verwijderen als de SIP geüpload wordt naar het E-depot.

Boven het grid staan nog drie filters: “Verwijder file-extensie uit ‘Naam’ kolom geeft je de mogelijkheid om in bulk alle file-extensies weg te halen uit de kolom ‘Naam’. Bij het gebruik van een externe metadatafile die gemapt wordt naar het metadatamodel van DAV, gebeurt dit op basis van de kolom ‘Naam’. Aangezien deze exact overeen moet komen met de naam van de stukken, gaan hierin steeds de file-extensies opgenomen zijn. Deze filter vereenvoudigt het proces om ze er uit te halen. De filter “Toon enkel rijen met fouten” maakt het mogelijk om enkel de rijen weer te geven waarin rode en gele cellen staan. Als een fout opgelost wordt, is deze lijn niet meer zichtbaar met de filter aan. “Toon enkel dossiers” zorgt ervoor dat je enkel dossiers kunt zien. Opgelet! Het is technisch niet mogelijk om deze twee laatste filters gelijktijdig te gebruiken. Er moet dus een keuze gemaakt worden tussen de twee.

1.3.3 Controles

Er zijn een aantal controles die de tool automatisch uitvoert:

Controle of gegevens configuratie juist zijn, zowel voor API als FTPS
Zijn de verplichte velden ingevuld?
Zijn de openings- en sluitingsdata van dossiers/stukken in range van de serie?
Zijn de openings- en sluitingsdata niet in de toekomst?
Zijn de openings- en sluitingsdata in het formaat JJJJ-MM-DD?
Zitten er lege mappen in de selectie?
Zijn alle dossiernamen binnen de SIP uniek?
Is het importsjabloon maximaal 9999 lijnen lang?

1.4 SIP maken

Door, nadat alle problemen opgelost zijn, op de knop “maak SIP” te drukken, gaat de SIP-Creator de SIP aanmaken. Opgelet, het is dan niet meer mogelijk om de SIP opnieuw te openen en te bewerken. Als je dit wel wilt doen, moet je op de knop “opslaan” klikken of het grid sluiten via het kruisje. Je kan vervolgens het grid, dat je gesloten hebt, terug openen door op “open” te klikken in de lijst van de SIPs in het eerste scherm waarin de dossiers geselecteerd moesten worden.

Als je de SIP gemaakt hebt kan je, in datzelfde scherm, onder de naam van de SIP de nieuwe status ervan bekijken: “klaar voor upload”. Je hebt vervolgens een aantal keuzes. Je kan op “upload” klikken. De SIP zal dan automatisch geüpload worden naar het E-depot. Je kan ook naar de bestandlocatie gaan, daar kan je de SIP terugvinden die je zojuist gemaakt hebt en deze eventueel handmatig uploaden in het E-depot. De SIP-Creator zal, als je op “upload” hebt geklikt, aangeven of gelukt is om de SIP op te laden naar het E-depot. Op de achtergrond gaat de SIP via FTPS geüpload worden. Je kan daarbij de status van de SIP zien veranderen. Hij gaat deze nl. elke minuut opnieuw ophalen. Opgelet! Voor werknemers van de Vlaamse overheid is het enkel mogelijk om een SIP op te laden als je VPN opstaat.

Vanaf het moment dat de SIP in verwerking staat bij het E-depot, kan je de locatie ervan in het E-depot opzoeken via de knop “E-depot locatie”. De SIP-Creator gaat namelijk enkel de status van de gehele SIP aangeven. Het kan dus zijn dat de SIP in zijn geheel aanvaard wordt, maar dat daarin wel één of meerdere stukken geweigerd werden. Dit kan nagegaan worden door de SIP in het E-depot zelf te gaan controleren.

Er kan in het eerste scherm ten slotte ook gefilterd worden op de status van de SIP’s.

1.5 Extra functionaliteiten

Volgende functionaliteiten werden eerder nog niet benoemd:

Het is mogelijk om te filteren en sorteren in het grid
Het is mogelijk om te kopiëren en plakken in het grid
Het is mogelijk om gegevens door te slepen in het grid
De SIP krijgt door de SIP-Creator automatisch een naam toegekend, dat volgend patroon volgt: SerieID-Naam.zip
Er wordt een sidecar bestand aangemaakt met MD5-checksum
De tool gaat telkens de nieuwste versie van een serie selecteren.
De tool gaat telkens de nieuwste versie van het importsjabloon selecteren.
De SIP-Creator gaat aanpassingen in het grid bewaren. Dit wil zeggen dat als de tool afgesloten wordt terwijl je een SIP aan het bewerken was, je terug verder kan werken waar je gebleven was.
Eenvoudig te installeren