Lupinhos Home

Es gab auch ein Problem in HardlinkBackup beim Löschen von symbolischen Links auf Verzeichnisse, bei dem HardlinkBackup teilweise stehen blieb. Dieses Problem ist in 2.0.8 behoben und verbessert evtl. die Performance bei dem einen oder anderen.

Ok, mittlerweile haben wir einen neuen Server (WinServer 2012). Aufgrund der mittlerweile auch gestiegenen Dateianzahl hat sich die Sicherungszeit (und auch die Zeit für das Aufräumen) zunächst noch drastisch erhöht (9 Stunden Backup, 10 Stunden Aufräumen für eine Sicherungsgeneration). Wir haben dann mal (in Verbindung mit zwei weiteren neuen Sicherungsplatten) einige der bisherigen Sicherungen mit der besagten LinkShellExtension als smarte Spiegelkopie umkopiert (zuerst auf die neuen Platten, dann auch von einer alten Plattte auf eine andere).

Dies hat eine Verringerung der Zeit auf ca. ein Drittel gebracht - also scheint da schon ein Unterschied zwischen dem alten und dem neuen ntfs-Format zu sein. Allerdings läuft das ganze mit Aufräumen jetzt immer noch 6-7 Stunden, also ist das noch keine endgültige Entwarnung! Möglicherweise hat aber nur das Umkopieren am Stück die Links jetzt günstiger angeordnet? Mit der ShellLinkExtension läßt sich da übrigens kein nennenswerter Unterschied bei der Anzeige der Links herausfinden - es dauert in beiden Fällen jeweils einige Sekunden, also zuviel für einen komplett gescannten Verzeichnisbaum und zuwenig für einen direkten Zugrifff auf die (in diesem Fall) 64 Hartlinks.

Ausserdem: diese besagte ShellLinkExtension hat für die Kopie einer Sicherungsplatte locker 2-3 Tage gebraucht und gleichzeitig den Rechner dabei unbenutzbar gemacht - offensichtlich zieht sich diese Extension sämtliche Links ins RAM, um dann dort zu sortieren - was man später an der Reihenfolge sieht, in der die Dateien und die Links dazu geschrieben werden. Nur... das braucht (in unserem Fall) mal eben ca. 16 GB RAM - oder vielmehr SWAP, denn soviel haben nunmal die wenigsten Rechner...

Fazit: Es ist mit dem neuen ntfs-Format deutlich besser, aber auf Dauer werden wir noch andere Verbesserungen bei der Performance brauchen.

Zitat von KalleH am June 10, 2013, 23:37
Habt ihr alle noch nicht bemerkt, dass HLB für Datenschaufler eurer Gewichtsklasse ungeeignet ist. Ihr fabriziert x-Millionen von Links, die beim Aufräumen ihre Zeit brauchen, weil sie alle durchgeackert werden müssen.

Kannst du auch technisch präzise ausführen, was genau du mit "durchgeackert werden" meinst? Soo klar ist die Problematik nicht, als dass man sie einfach so leicht abtun kann, wie du. Es ist schon ein sehr interessantes Problem, schließlich sind Dateisysteme zur Aufnahme von Tausenden von Dateien schlicht da.

Zitat von KalleH am June 10, 2013, 23:37
Ein Aufräum-Job der meistens nur Links löscht, und dazu einen ganzen Tag braucht, ist doch in sich faul. Das Erstellen von Hardlinks und das Bereinigen der Backups ist kein Problem schneller Festplatten oder des Betriebssystems, sondern einfach ein Mengen-Problem.

Ganz so einfach ist es dann doch nicht, denn beim Löschen beispielsweise einer einzelnen Datei interessiert es auch herzlich wenig, ob ein Dateisystem nur 500 andere oder doch eher 500'000 weitere gespeichert hat. Man muss sich also schon sehr genau ansehen, wo denn die Flaschenhälse beim Löschen massenhafter Dateien und Links aus alten Sicherungen sind.

Zitat von KalleH am June 10, 2013, 23:37
Es gibt so viele (sogar kostenlose) Backups die das bei riesigen Datenmengen sehr viel schneller können. Inkrementell ist das Zauberwort. Diese Programme müssen sich um leeren Daten-Müll überhaupt nicht kümmern, weil es ihn nicht gibt. Bei Backups ist HardlinkBackup auch etwas langsamer als andere Programme, weil er Links schreibt, wo es nichts zu sichern gibt.

Grundsätzlich ist es schlicht Unsinn, dass es so viele bessere kostenlose Backup-Anwendungen gibt, du kannst gern versuchen deine Behauptung mit Fakten zu untermauern und ich werde mein bestes tun, dir die Programme virtuell um die Ohren zu hauen. 😉 Backup ist ein hoch komplexes Thema und nur weil irgendwer eine GUI um robocopy gebastelt hat, hat man damit kein taugliches Backup. Was genau meinst du überhaupt mit inkrementeller Arbeit und leerem Daten-Müll? Links sind kein Datenmüll, sondern einfach dem Anspruch geschuldet, wie leicht HardLinkBackup Zugriff auf alte Datenbestände geben möchte. Genau da trennt sich sehr schnell die Spreu vom Weizen, irgendwas durch die Gegend kopieren kann jeder, aber schnellen, einfachen, vor allem übersichtlichen Zugriff auf die komplette Sicherungshistorie zu bieten ist schon eine Kunst für sich. Wie machen das deine Alternativen, die ohne Links arbeiten denn so?

Inkrementelles Backup heißt normalerweise, dass nur geänderte Dateien gesichert werden, ohne die Nutzung von Links stehste also mit irgendwelchen Sicherungsverzeichnissen dar, in denen immer nur ausschließlich bis zu diesem Zeitpunkt geänderte Dateien sind und darfst dich im Falle einer Wiederherstellung durch alle alten Verzeichnisse klicken und gucken, wann Dateien das letzte Mal gesichert wurden. Tolle Wurst. Wie sehr du dich irrst siehst du übrigens daran, dass die Nutzung von Links intern in aktuellen Windows absolut Standard, auf anderen Systemen, insbesondere Mac OSX mit Timemachine, auch für Backups schon lange etabliert ist. Es ist einfach wesentlich bequemer, immer durch einen vollständigen Verzeichnisbaum navigieren zu können.

Zitat von KalleH am June 10, 2013, 23:37
Und beim automatischen oder manuellen Aufräumen kannst du dir einen Wolf sitzen. Wer braucht schon Millionen von Links, das sind Einträge im File-System, von denen alle nur auf ein Original zeigen? Und sage mir keiner, dass HardLinks keinen Speicherplatz benötigen, im Gegenteil, hier wird unnötiger Speicherplatz verbraten.

Natürlich verbrauchen Hardlinks Speicher, aber meines Wissens nach nicht so wie du denkst, sprich als normale Datei, sondern lediglich in der MFT als zusätzlicher Dateieintrag und stellen damit von der Größe her einen eigentlich vernachlässigbaren Faktor da. Der Witz ist ja gerade, dass keine Blöcke wie bei normalen Dateien verbraucht werden und selbst bei Dateien werden sehr kleine bis zu einer bestimmten Größe schon direkt in der MFT gespeichert und der Speicherbedarf damit optimiert.

Oder welche Speicherverschwendung meinst du genau?

Zitat von KalleH am June 10, 2013, 23:37
Ihr müsst entweder öfter aufräumen, oder euch etwas anderes überlegen.

Der Witz an Backups ist doch aber, wenn man so viele hat, wie die Hardware hergibt. Warum sollte man sich mit weniger zufrieden geben? Es gibt Leute, die haben Versionsverwaltungssysteme wie SVN für Backups angepasst oder committen ihre Systeme tatsächlich komplett in eine Versionsverwaltung. Hat auch seine Berechtigung, je nach Anwendungszweck.

Zitat von KalleH am June 10, 2013, 23:37
Ein Aufräum-Job der meistens nur Links löscht, und dazu einen ganzen Tag braucht, ist doch in sich faul. Das Erstellen von Hardlinks und das Bereinigen der Backups ist kein Problem schneller Festplatten oder des Betriebssystems, sondern einfach ein Mengen-Problem.
:::::
Ganz so einfach ist es dann doch nicht, denn beim Löschen beispielsweise einer einzelnen Datei interessiert es auch herzlich wenig, ob ein Dateisystem nur 500 andere oder doch eher 500'000 weitere gespeichert hat. Man muss sich also schon sehr genau ansehen, wo denn die Flaschenhälse beim Löschen massenhafter Dateien und Links aus alten Sicherungen sind.

Rechne doch einfach mal nach, anstatt phantastische Theorien zu entwickeln. Ein Dateisystem ist eine 'Datenbank' die Dateinamen, Position und Größe der Daten, Zugriffsrechte (und vieles mehr) enthält. Auch die Hardlinks enthalten diese Infos. Allein das braucht Platz, ohne die Daten zu berücksichtigen. Das spielt heutzutage meistens keine große Rolle mehr, aber das muss geschrieben, gelesen und ausgewertet werden. Das Löschen macht HLB auf Verzeichnis-Ebene, das geht relativ flott. Vom Betriebssystem wird aber jeder Link, jede Datei einzeln gelöscht.

Rchenbeispiel:
Ich habe nur 10.000 Dateien und sichere fünf bis 10 Mal am Tag. Viele von euch könnten das gar nicht, weil ihr vielleicht 200.000 Dateien oder mehr zu sichern habt. Das macht bei mir am Tag ca. 50.000 bis 100.000 Links, das ergibt im Monat ca. 1.500.000 bis 3.000.000 Links. So, und das mache ich jetzt ein Jahr lang, dann lande ich irgendwo bei 30.000.000 Links.

Aber ich bin ja schlau, darum räume ich mit den verfügbaren Funktionen in HLB immer wieder auf, und das meine ich mit 'durchackern'. Da macht jedes Dateisystem die Krätsche, und Unix sowieso. Dort hatte ich das 'Mengen' Problem schon vor 25 Jahren, und ich konnte keine vollständigen Backups mehr durchführen. Seit ich Heute wie damals wieder auf inkrementelle Sicherung echter Dateien umgestellt habe, habe ich auch keine Probleme mehr, selbst in die Cloude geht das wunderbar. Und ich sage es gerne noch einmal, ich habe nicht ein Mal in den letzten 35 Jahren inkrementelle Daten verloren.

Für Privat-Anwender oder ganz kleine Unternehmen ist HLB aber trotzdem eine gute Lösung.
Das war es endgültig und abschließend von mir zu diesem Thema.
Grüße an alle, Kalle.

Zitat von KalleH am June 14, 2013, 15:11
Rechne doch einfach mal nach, anstatt phantastische Theorien zu entwickeln. Ein Dateisystem ist eine 'Datenbank'[...]

Nicht alle strukturiert gespeicherten Daten sind deswegen gleich Datenbanken, das ist Unfug. Weißte, wie das Inhaltsverzeichnis von NTFS heißt? Master File Table, nicht Database oder so. 😉 Abgesehen davon gibt es massenhaft verschiedene Dateisysteme mit ganz verschiedenem Aufbau, die man nicht alle ausschließlich in den gleichen Hut werfen kann. Sie teilen zwar in der Regel Konzepte, trotzdem unterscheiden sie sich auch zu einem guten Teil.

Zitat von KalleH am June 14, 2013, 15:11
Allein das braucht Platz, ohne die Daten zu berücksichtigen. Das spielt heutzutage meistens keine große Rolle mehr, aber das muss geschrieben, gelesen und ausgewertet werden.

Betriebs- und Dateisystem haben heutzutage eine Menge Caches und schreiben nicht mal eben nur einzelne Byte direkt auf die Platte, wenn es nicht unbedingt sein muss. Die beim Löschen von Dateien anfallenden Datenmengen sind gering, problematisch sind die Serialisierung in MFT, Aktualisierung von Journals usw.

Zitat von KalleH am June 14, 2013, 15:11
Rchenbeispiel:
Ich habe nur 10.000 Dateien[...]

Dafür können wir doch aber nichts. 😉

Zitat von KalleH am June 14, 2013, 15:11
Aber ich bin ja schlau, darum räume ich mit den verfügbaren Funktionen in HLB immer wieder auf, und das meine ich mit 'durchackern'. Da macht jedes Dateisystem die Krätsche, und Unix sowieso. Dort hatte ich das 'Mengen' Problem schon vor 25 Jahren, und ich konnte keine vollständigen Backups mehr durchführen.

Vor 25 Jahren kann man wohl kaum mit heute vergleichen, Millionen von Dateien sind einfach kein Problem mehr für Dateisysteme. Sofern sie richtig dimensioniert sind, unter Linux-Dateisystemen kann es beispielsweise zu wenige Inodes geben und solche Dinge. Aber bei Dateisystemen einer vernünftigen Größe spielt sowas praktisch keine Rolle.

Zitat von KalleH am June 14, 2013, 15:11
Seit ich Heute wie damals wieder auf inkrementelle Sicherung echter Dateien umgestellt habe, habe ich auch keine Probleme mehr, selbst in die Cloude geht das wunderbar. Und ich sage es gerne noch einmal, ich habe nicht ein Mal in den letzten 35 Jahren inkrementelle Daten verloren.

Schön zu hören, ist aber nicht der Punkt. Die Frage ist, wie man im Ernstfall einer Wiederherstellung möglichst schnell und einfach an die Daten kommt und bei deiner inkrementellen Methode müsste man sich normalerweise erst mal durch zig Ordner klickern und gucken, wann eine Datei das letzte Mal gesichert wurde. Das will man eigentlich nicht.