2.4. Einbindung von S3 als Storage
Goobi workflow erlaubt den Betrieb mit S3-kompatiblem Storage. Dabei ist zu bedenken, dass weiterhin ein lokales Dateisystem benötigt wird, um die Metadaten zu speichern. Das heißt, die Dateien
meta.xml, meta_anchor.xml und ihre Backups, die jeweils für jeden Vorgang vorhanden sind, werden auch weiterhin im Dateisystem gespeichert. Lediglich alle anderen Daten, wie beispielsweise Bilder und OCR Ergebnisse werden auf dem S3-Speicherbereich gespeichert.Um Goobi mit S3 als Storage zu betreiben, müssen die beiden folgenden Einstellungen innerhalb der Konfigurationsdatei
goobi_config.properties gesetzt werden:1
# global config if s3 should be used
2
useS3=true
3
4
# the bucket that is used for the content that would normally live in /opt/digiverso/goobi/metadata/
5
S3bucket=workflow-data
Copied!
Goobi workflow nutzt intern das AWS Java SDK. Das heißt, die Zugangsdaten für den Zugriff auf das Speichersystem werden entweder aus
$HOME/.aws oder aus Umgebungsvariablen gelesen. Wenn statt AWS ein anderer S3-Provider zum Einsatz kommen soll, kann die Anbindung relativ granular konfiguriert werden. Dazu sind noch einige weitere Einstellungen innerhalb der gleichen Konfigurationsdateien benötigt:1
S3AccessKeyID=keyID
2
S3SecretAccessKey=secretkey
3
S3Endpoint=http://s3.mygoobi.tld
Copied!
Ein Einsatz von S3 als Speichersystem sollte grundsätzlich mit allen S3-kompatiblen APIs funktionieren. Während der Entwicklung der S3-Funktionalität kam für die Implementierung sowohl Amazon S3 als auch MinIO zum Einsatz.
Last modified 3h ago
Copy link