Forum Übersicht - Speicher und Organisation » Digitale Langzeitspeicherung

Ich bin bezüglich digitale Fotografie noch ein Anfänger.

Ich habe mir in den letzten Tagen die Frage gestellt, wie soll für ich meine digitalen Fotos die Langzeitarchivierung am besten gestalten.

Analog ist das für mich eigentlich einfach gewesen:
Ich habe in einem Ordner sämtliche Film-Negative abgelegt, die ich bisher gemacht habe, seit ich KB fotografiere.
Dazu kommen von ausgewählten Fotos Papierabzüge, eingeklebt in Fotoalben.


Wie mache es ich digital am besten? Das frage ich mich gerade.
Bisher habe ich mir gedacht, dass ich alle meine RAWs (unbearbeitet+bearbeitet) auf einer externen Festplatte sichere - als so eine Art Negativablage.


Wie macht Ihr das?
Welche Fotos speichert Ihr langfrisitig und wie?
Externe Platte? Auf DVDs gebrannt? Oder auf Speicherkarten?

Ich speicher meine Bilder auf 3(! Festplatten, eine externe und zwei interne. Ich denke, das sollte genügen.

So einfach finde ich das Archivieren der analogen Bilder nicht. Meine ältesten Dias aus meiner Jugend hat's teilweise schon zerbröselt.

ZITAt (Markus_FCB @ 2011-07-06, 23:49) Wie mache es ich digital am besten? Das frage ich mich gerade.
Bisher habe ich mir gedacht, dass ich alle meine RAWs (unbearbeitet+bearbeitet) auf einer externen Festplatte sichere - als so eine Art Negativablage.

Wie macht Ihr das?
Welche Fotos speichert Ihr langfrisitig und wie?
Externe Platte? Auf DVDs gebrannt? Oder auf Speicherkarten?[/quote]
Von der Kamera weg gehen die Daten zuerst auf einen RAID-Server, werden dort gesichtet, aussortiert und bearbeitet. Anschließend gehen die RAW Dateien über ein internes Gigabit-Netzwerk auf ein NAS, wo sie so lange bereitgestellt bleiben, bis keine anstehende Bearbeitung abzusehen ist. Es folgt das Festplatten-Archiv. Dieses wird laufend (automatisiert) auf Band gesichert. Zwei x täglich bekomme ich via EMail einen Statusreport.

TeraStation Activity Report

[TeraStation Information]
TeraStation Name: TERASTATION
IP Address: 192.168.0.248
Time: 2011/07/06 12:00:02
Running Time : 03:59:43

[HDD Usage Status]
RAID Array 1 Usage Rate : 105879396 kbytes / 730312000 kbytes (Usage Rate 15%)

Selbstmurmelnd sind die Systeme örtlich getrennt und jederzeit von überall über Intranet erreichbar.

CD oder DVD Sicherungen mache ich seit Jahren nicht mehr, weil ineffizient, ungewiß, zeitaufwändig und teuer.

Die Infrastruktur ist aus anderen Gründen sowieso vorhanden und die zusätzliche Speicherkapazität wird bei Bedarf laufend erweitert.

Soweit - so kurz! ardon:

Servus
Gerhard

moin, ZITAt (Markus_FCB @ 2011-07-06, 23:49) Welche Fotos speichert Ihr langfrisitig und wie?
Externe Platte? Auf DVDs gebrannt? Oder auf Speicherkarten?[/quote]
Speicherkarten und gebrannte optische Medien sind zu unzuverlässig für die Archivierung, ausserdem zu klein und zu teuer.
Ich sichere alle RAWs und die bearbeiteten Endversionen auf externe Festplatten, mindestens zwei verschiedene (unterschiedliche Hersteller/Baureihen, hatte schon Serienfehler mit Ausfällen ganzer Baureihen).
Die Archivplatten sind USB und hängen nur beim Sichern an Strom und Rechner, allerdings ist so keine Automatisierung ala Gerhard möglich. Für meine rein hobbyistische Tätigkeit, die nie jeden Tag Bilder produziert, reicht die manuelle Variante mit ein wenig Selbstdiziplin. Die Inhalte sind unabhängig, d.h. wenn ein Paar komplett ausfällt, wären nur diese Daten weg. x-TeraByte-USB-Festplatten sind mittlerweile so billig, und mit USB3 oder eSATA auch genau so schnell wie interne, dass sich für private/hobbyistische Zwecke im Moment kaum andere Lösungen aufdrängen.

Aber das Ganze ist nur eine Sicherung.

Archivierung heißt für mich, die Daten über Jahrzehnte und länger verfügbar zu haben. Das erfordert, dass die Daten regelmäßig auf aktuelle Medien umkopiert werden, und zwar samt der benötigten Software incl. dem Betriebssystem. D.h. man muss ggfs. auch die Hardware mit einlagern, wenn BS+SW auf akueller Hardware nicht mehr läuft, dabei die Handbücher, Anleitungen und Formatbeschreibungen nicht vergessen. Damit ist die momentane Lösung, auch die von Gerhard, nur eine Übergangstechnologie. Zur Zeit hat noch niemand eine gute Idee zur echten Archivierung digitaler Daten, das Problem beschäftigt Bibliotheken und Archive jetzt schon seit vielen Jahren.

gruesze, thomas

@Gerhard: welche Bandformate verwendest Du? Bei mir haben sich schon mehrere TeraByte angesammelt, nicht nur Bilddaten. Da sind Bänder schon ein wenig klein, und gesplittete oder inkrementelle Backups sind wertlos (ein Ausfall eines Mediums, und alles ist weg bei den gängigen Backup-Lösungen). Mittlerweile sichern wohl "alle" auf Platten-Arrays, Bänder kommen aus der Mode.

ZITAt (ddd @ 2011-07-07, 9:34) moin, ZITAt (Markus_FCB @ 2011-07-06, 23:49) Welche Fotos speichert Ihr langfrisitig und wie?
Externe Platte? Auf DVDs gebrannt? Oder auf Speicherkarten?[/quote]
Speicherkarten und gebrannte optische Medien sind zu unzuverlässig für die Archivierung, ausserdem zu klein und zu teuer.
[/quote]
Mit Ausnahme vielleicht von PD und DVD-RAM, die wesentlich zuverlässiger als die anderen optischen Medien (CDxyy, DVDxyy, BDxyy in ihren diversen schreib- und wiederbeschreibbaren Formatvarianten) sind, allerdings auch kaum verbreitet und vergleichsweise teuer. Praktisch ist, daß man diese Medien ohne spezielle Software einfach wie eine EIDE- oder SCSI-Wechselfestplatte ansprechen kann, mit wahlfreiem Schreib-/Lesezugriff auf die Dateien.
Die Medien sollen problemlos mehrere Jahrzehnte überdauern, einige sprechen von 20-30 Jahren, andere gar von 50 Jahren - im Gegensatz zu den anderen optischen Medien, deren Lebensdauer deutlich niedriger anzusetzen ist; manchmal sind sie schon nach wenigen Jahren nicht mehr lesbar. (Ich selbst setze PDs seit knapp fünfzehn Jahren ein - später dann auch DVD-RAMs - und hatte in dieser Zeit noch nicht einen einzigen Datenausfall mit solchen Medien zu beklagen, allerdings bin ich auch bestimmt nicht repräsentativ.)

Das Größenproblem bleibt natürlich bestehen; für die massenweise Archivierung von Fotos im Raw-Format sind die Medien deshalb trotzdem ungeeignet. Da gibt es praktisch nur RAID-Festplattenarrays und Bandstreamer (die aber auch langsam aus der Mode kommen).

Viele Grüße,

Matthias

ZITAt (Markus_FCB @ 2011-07-06, 22:49) Externe Platte? Auf DVDs gebrannt? Oder auf Speicherkarten?[/quote]

Optische Medien wie DVDs sind zu unsicher und die Langzeitstabilität ist fraglich. Zudem sind DVDs recht klein, ebenso wie Speicherkarten.

Momentan arbeite ich auf mehreren RAID1-Systemen (gespiegelte Festplatten), sowohl was Software als auch was Daten angeht.

Externe Archive unterhalte ich momentan bei meiner Freundin (RAID1 sowie Lagerung mit USB-HDD) und bei meinen Eltern (USB-HDD). Für wichtige Daten habe ich mit zwei Kollegen eine Art Datensicherungssystem aufgebaut, indem wir uns gegenseitig NAS-Speicherplatz vorhalten.

Das alles ist zwar mit 3-5 Orten etwas aufwendig, dafür aber ziemlich dezentral, somit ist etwaigem Einbruchdiebstahl oder Hausbrand vorgebeugt, zudem sollten durch die mehrfache Redundanz auch lokale Hardware-Ausfälle kompensiert werden.

Den Aufwand betreibe ich primär für senisible Geschäftsdaten. Für einen privaten Bedarf würde ich den Aufwand nicht betreiben, sondern vielleicht mit 2 USB-HDDs sichern, von denen ich eine bei Freunden oder Familie deponieren würde.

Für langzeitstabil halte ich HDDs zwar auch nicht, aber regelmäßiges Umkopieren auf neuere HDD sollte eine gewisse Sicherheit bieten.

Übrigens ist das Retten "alter" digitaler Daten eins meiner Steckenpferde, weshalb ich noch eine kleine Kollektion an alter Hardware bereit halte. Davon ist auch das meiste mehrfach vorhanden, aber was dann kommt, wenn meine letzten 8"- und 5 1/4"-Laufwerke nicht mehr wollen?!? Mich selber betrifft das zwar nicht, da ich auch meine alten Daten "mitschleife", aber einige Kunden dürften dann ganz schön dumm aus der Röhre schauen...

Bei all diesen Überlegungen (redundante Datenspeicherung an unterschiedlichen Orten in unterschiedlichen System) sollte man aber bedenken, daß man schon ein ganzes Stück weiter ist als bei der üblichen Archivierung der analogen Bilder.
Wer legt schon Kopien seiner Negative bzw. Dias an und verwahrt diese an unterschiedlichen Orten?

Hier also ein deutliches Plus für die digitale Technologie, wenn denn alles so auch angewandt wird.

ZITAt (BerndFranzen @ 2011-07-07, 10:45) Bei all diesen Überlegungen (redundante Datenspeicherung an unterschiedlichen Orten in unterschiedlichen System) sollte man aber bedenken, daß man schon ein ganzes Stück weiter ist als bei der üblichen Archivierung der analogen Bilder.
Wer legt schon Kopien seiner Negative bzw. Dias an und verwahrt diese an unterschiedlichen Orten?

Hier also ein deutliches Plus für die digitale Technologie, wenn denn alles so auch angewandt wird.[/quote]
Das ist wohl wahr, aber das größte Manko der Digitalfotografie bleibt, daß man für die Betrachtung der Daten ein passendes Betrachtungsmedium, also Hard- UND Software, braucht. Ohne dies ist jedes Digitalbild schlicht eine Ansammlung von Nullen und Einsen...

EDIT: Gerade die Software könnte zukünftig für "exotische" bzw. herstellerspezifische Rohdatenformate ein Problem werden. Beispielsweise: Welcher Softwareentwickler wird in 10-20 Jahren noch an frühe Rohdatenformate von Minolta denken??
JPEGs halte ich da für unkritischer.
Aber das war ja hier nicht die eigentliche Frage.

Ich fotografiere hauptsächlich analog. Durch die hybride Arbeitsweise halten sich meine Sorgen über die Langzeitspeicherung in Grenzen.
Falls in ferner Zukunft mal ein Verlust der digitalen Sicherung eintreten sollte, kann ich die SW-Negative mit neuster Technik und
in allerbester Auflösung erneut einscannen.

Erst kürzlich habe ich einige Negative gescannt, die ich 1979 in der Foto-AG entwickelt hatte. Die Negative erfreuen sich bester Gesundheit

Ich hab hinsichtlich der Datenspeicherung (inzwischen bei mir knapp 10 TB) auch so einige Experimente mit NAS, Servern und externen Platten hinter mir und bin am Ende doch bei einer ganz naheliegenden, wenn auch auch sehr selten anzutreffenden Lösung gelandet. Damit bin ich nun sehr zufrieden.

Wenn man mal alle Features der gängigen Filesysteme vergleicht sticht das ZFS (Solaris) mit seinen Features doch glasklar als einzigartig hervor und schlägt alles was da an NTFS, EXT, Reiser, XFS, UFS usw. usf. in diversen Systemen zum Einsatz kommt um längen.

Features wie:

* Abartige Kapazität (mit gleichzeitig völlig müheloser Erweiterbarkeit, spart je Menge Umkopiererei)
* Double Parity, Single Parity, Spiegelung usw. je nach Bedarf
* Echte Prüfsummen, die im Filesystem wirklich die Möglichkeit zur Überprüfung geben (scrub)
* Snapshots in Sekundenbruchteilen erstellt
* Echte Data dedublication, d.h ein Datenblock mit bestimmtem Inhalt wird nur einmal gespeichert, damit werden IMHO zahlreiche Snapshots erst praktikabel
usw. usf.

haben mich vor Jahren echt überzeugt.

Also hab ich einen kleinen HP Server angeschafft, mach automatisch täglich Snapshots und die Kiste läuft und läuft und läuft. Ab und zu wird mal wieder ne 2TB Constellation dazugepackt und gut ist.

Das Filesystem kann sich selbst auf entfernte ZFS duplizieren (optimal für örtlich getrenntes Backups), und unter Windows läst sich das ganze in eine Domäne wunderbar einbinden. Durch das implementierte NFS4 Rechteschema stehen sogar alle unter NTFS möglichen Rechte auch im ZFS zur Verfügung, das gibt es sonst in dieser Kombination nirgends.

Also ich finde es einfach nur 1A.

BG Hans

Angesichts der Dateigrößen aktueller DSLR-Bilder bleibt zu Festplatten keine Alternative. Im Zeitalter der 2TB Platten habe ich meinen Bildbestand auf dem Rechner, neben dem ich täglich sitze und zusätzlich auf einer extern gelagerten USB-Platte gesichert (wird 1- 2 mal im Jahr aktualisiert). Für den Fall, dass irgendwann ein unbekannter Virus oder ein EMP den Datenbestand auf den Festplatten vernichten sollte, baue ich gerade noch eine Sicherung ausgewählter Dateien auf Blueray auf. BDs sind zwar nicht super zuverlässig (ich nehme die derzeit offenbar beständigsten BDs von Verbatim), aber nicht so ohne weiteres überschreibbar.

@matthiaspaul
Was ist den ein PD (den Du zur Datensicherung verwendest)?

Hm, ich denke ich werde mir eine zweite externe Festplatte als Back-Up besorgen werde.

Deponierung an unterschiedlichen Orten - das ist eindeutig ein Vorteil der digitalen Technik gegenüber analogen.



Apropos Festplatte, mir ist letzte Woche die Festplatte meines (älteren) Laptops total abgestürzt - sie hat sich regelrecht aufgehängt. Dies führte dazu, dass ich PC-technisch absolut gar nichts mehr tun konnte, außer auf dem Hauptschalter zu drücken.
Durch ein Auf-den-Kopf-stellen des Laptops hat sich der Festplattendefekt zwar (vorrübergehend) behoben.
Aber mir war das eine Lehre, regelmäßig Back-ups zu machen.
Und für meinen Laptop wird nun eine neue interne Platte besorgt.

moin,

das kritischste zuerst:
ZITAt (Markus_FCB @ 2011-07-07, 22:09) Durch ein Auf-den-Kopf-stellen des Laptops hat sich der Festplattendefekt zwar (vorrübergehend) behoben.[/quote]
ziehe die Platte sofort ab! Eine HD, die auch nur einmal spürbar "gemuckt" hat, fällt idR innerhalb kurzer Zeit (wenige Betriebsstunden) völlig aus.
(gilt für alle Platten ab ca. 6-10GByte, davor waren sie robuster. Heute ist zudem die firmware der HD-Elektronik auf der Magnetscheibe gespeichert, d.h. die Platte ist tot, wenn da was klemmt, auch wenn die Datenbereiche völlig unbeschädigt sind. Da hilft dann der alte Trick, die Elektronik einer baugleichen Platte einzusetzen, auch nicht mehr.)

ZITAt (opelgt @ 2011-07-07, 13:12) Erst kürzlich habe ich einige Negative gescannt, die ich 1979 in der Foto-AG entwickelt hatte. Die Negative erfreuen sich bester Gesundheit [/quote]
dafür gibt es keine Garantie. Gelatine ist ein organisches Material, Pilze, Bakterien und chemischer Zerfall nagen ab dem Moment der Produktion daran. Selbst der Acetat-Träger wird zerstört. Und Filme auf Nitrozellulosebasis zerfallen auch unter idealen Lagerbedingungen von selbst (was dann zudem brandgefährlich wird, im direkten Sinne des Wortes). Von daher ist diese Form der Archivierung auch nicht wirklich dauerhaft

ZITAt (fwiesenberg @ 2011-07-07, 11:28) Für langzeitstabil halte ich HDDs zwar auch nicht, aber regelmäßiges Umkopieren auf neuere HDD sollte eine gewisse Sicherheit bieten.[/quote]
HDs mit MTBFs von 500.000 oder 1.000.000 h erreichen diese Werte (welche ca. 50 bzw. 100 Jahren entsprechen) nur dann, wenn die physischen Laufwerke jeweils nach Ablauf ihrer Lebensdauer ausgewechselt werden. Desktop-Platten haben eine Lebensdauer von 3 Jahren (5x9h Betrieb/Woche), Server-Platten von 5 Jahren (24x7-Betrieb). Langzeitstabil wird das Ganze nur, wenn die Daten regelmäßig umkopiert werden, das ist mit allen anderen Archivierungsmethoden incl. Verfilmung oder Ausbelichtung/Ausdruck aber nicht anders! Die meisten antiken Schriften sind nur auf uns gekommen, da sie oft und immer wieder kopiert wurden. Echte Originale gibt es wirklich nur vereinzelt, dann oft nur in Bruchstücken. Wenn man an Archivierung denkt, muss man sich zu aller erst vom Kopierverbot des UhG trennen.

ZITAt (Hans-J. @ 2011-07-07, 14:14) * Abartige Kapazität (mit gleichzeitig völlig müheloser Erweiterbarkeit, spart je Menge Umkopiererei)
* Snapshots in Sekundenbruchteilen erstellt
* Echte Data dedublication, d.h ein Datenblock mit bestimmtem Inhalt wird nur einmal gespeichert, damit werden IMHO zahlreiche Snapshots erst praktikabel
Also hab ich einen kleinen HP Server angeschafft, mach automatisch täglich Snapshots und die Kiste läuft und läuft und läuft.[/quote]
das meinst Du jetzt nicht ernst, oder?
Deine snapshots sind nix weiter als ein audit-trail, damit ist nachvollziehbar (und wiederherstellbar), was an den Daten willentlich verändert wurde. Damit werden gerade keine Kopien der Dateien angelegt. Die ganzen anderen "Nettigkeiten" reduzieren aber die Redundanz und/oder die Häufigkeit des Neuschreibens der Daten und gefährden damit deren Integrität bzw. Robustheit im Falle eines Fehlers. Ein "hit" in einem oft "dedublicateten" Block, und alle diesen referenzierenden Instanzen der Datei sind nur noch Datenmüll. Dazu reicht ein hard-read-error, da liefert die Platte nämlich dann den Inhalt eines Reservesektors, der ist entweder 512x 0xff oder 512x 0x00. Dürfte sehr selten dem Inhalt des ersetzten Blocks entsprechen ...
ZFS ist toll für Produktionsserver unter Last mit sauberem gestaffeltem Backup und ordentlicher Archivierung. Aber es ist keine redundante Speicherung und für Zwecke der Archivierung völlig untauglich.

ZITAt (matthiaspaul @ 2011-07-07, 11:18) Mit Ausnahme vielleicht von PD und DVD-RAM, [...][/quote]
@reisefoto: PD = Phasechanger Device, ausgestorbene Variante, lebt abgewandelt in DVD-RAM und manchen RW-Varianten der übrigen optischen Medien weiter.

Vorteil der PD-artigen Medien: die Aufzeichnungsschicht ist anorganisch und enthält eine magneto-optische Komponente. Damit degradieren diese nicht schon unter optimalen Bedingungen wie dies bei den organischen Aufzeichnungsschichten von *-ROM geschieht. Neben mechanischer Gewalt werden sie theoretisch nur durch Erhitzen über die Curie-Temperatur zerstört. Allerdings zeigt die Erfahrung mit RW-Medien, dass die schwachen Felder dieser integrierten Typen wenig dauerhaft sind. Zu DVD-RAM gibt es nur die Versicherung von Mitsubishi (Verbatim), dass diese 30 Jahre halten, und das gilt nur für die "veralteten" 1x/2x-Medien, nicht für 5x- und erst recht nicht für 12x-Medien. Unabhängige Messungen existieren nicht! PD selbst ist mause-tot, es gibt keine Laufwerke mehr.

Wirklich zuverlässig sind MO = Magneto-Optische Medien. Hier wird eine hartmagnetische Aufzeichnungsschicht mit wesentlich höheren Feldern benutzt. Ein Ändern ist nur möglich, indem ein Laser das bit über die Curie-Temperatur erhitzt und dann beim Abkühlen das angelegte Feld "einfriert". Das Format ist ISO-genormt, die Medien gibt es als RW oder WORM (revisionssicher) und auch zertifiziert für 30/50/100 Jahre. Allerdings auch ausgestorben, ob die riesigen 12"-Vollroboter in Wohnblockgröße noch im Einsatz sind weiß ich nicht. Für den "Hausgebrauch" gab es 5 1/4" und 3 1/2"-Versionen, ich habe hier noch ein 5 1/4" der 1. Generation (600MByte/Medium, 2x300 doppelseitig mit manuellem Umdrehen, immer in Cartridge). Da kann man heißen Kaffee reinschütten, nach dem Reinigen sind die Medien problemlos lesbar und schreibbar. Offenbar war das Prinzip zu gut, jedenfalls ist MO real auch tot. Ok, durch die Art des Schreibvorgangs waren sie etwas gemütlich, pro Spur sind 3 Umdrehungen nötig: 1x 0-bits schreiben, 1x 1-bits schreiben, 1x Verify. Ich lagere jedenfalls sehr wichtige digitale Dokumente auf MO, nicht alles kann man Ausdrucken bzw. darunter leidet die Nutzbarkeit (eine Dokumentdatei ist mehr als der auf Papier sichtbare Inhalt).

Jedenfalls sind alle bisher beschriebenen Methoden der Datenlagerung nur Sicherungsverfahren.
Archivierung im klassischen Sinne stellt wesentlich höhere Anforderungen und dafür gibt es bisher in der digitalen Domain keine anerkannte Lösung.

gruesze, thomas

ZITAt (Reisefoto @ 2011-07-07, 19:06) Was ist den ein PD (den Du zur Datensicherung verwendest)?[/quote]
Oh, ich hoffe, ich habe da jetzt nicht zu viele Hoffungen geweckt. PD steht für Phasewriter Dual oder Phase-Change Disc, meines Wissens ursprünglich von Panasonic entwickelt. Die PD-Medien stecken in Cartridges (nicht entnehmbar), fassen 650 MB (damals absolut konkurrenzfähig) und stellen gewissermaßen den Vorgänger der DVD-RAM dar. Tatsächlich können manche (ältere) DVD-RAM-Laufwerke auch lesend und schreibend mit PDs umgehen. Natürlich sind PD-Medien und -Laufwerke längst vom Markt verschwunden, insofern ist das definitiv kein Format, das man heute noch neu in die Wahl ziehen sollte oder könnte. Das ändert aber nichts daran, daß sich die damals geschriebenen Daten nach wie vor problemlos lesen lassen - einen Rechner mit entsprechendem Laufwerk vorausgesetzt. Heute benutze ich PDs natürlich nicht mehr aktiv für die Datensicherung, aber ich habe halt noch gewisse Altbestände.

Viele Grüße,

Matthias

ZITATZITAt (opelgt @ 2011-07-07, 13:12) Erst kürzlich habe ich einige Negative gescannt, die ich 1979 in der Foto-AG entwickelt hatte. Die Negative erfreuen sich bester Gesundheit [/quote]
dafür gibt es keine Garantie. Gelatine ist ein organisches Material, Pilze, Bakterien und chemischer Zerfall nagen ab dem Moment der Produktion daran. Selbst der Acetat-Träger wird zerstört. Und Filme auf Nitrozellulosebasis zerfallen auch unter idealen Lagerbedingungen von selbst (was dann zudem brandgefährlich wird, im direkten Sinne des Wortes). Von daher ist diese Form der Archivierung auch nicht wirklich dauerhaft
[/quote]


Stimmt, die Wahrscheinlichkeit über 150 Jahre alt zu werden ist relativ gering...

Langzeitarchivierung