Lupinhos Home

Kann sein, dass die Datei ersetzt werden würde und zwischenzeitlich die Platte vollläuft. In späteren Versionen baue ich ein, dass alte Backups während des Backups gelöscht wenn der Speicherplatz knapp wird. Momentan geht das leider nicht. Ich würde also zunächst - per Hand oder mit dem mitgelieferten Kommandozeilentool RemoveDir - ein altes Backup und das abgebrochene Backup löschen. Dann bitte nochmal probieren. Wenn Du übrigens massenhaft Dateien verschoben hast, mag es wirklich sein, dass nicht alle ersetzt werden. Das hängt damit zusammen, dass HardlinkBackup einen Cache mit Checksummen hält, der nicht beliebig groß werden kann. Dabei werden aber große Dateien gegenüber kleinen priorisiert.
Gruß,
Lupinho.

Ich habe spaßeshalber mal mit Python die index.hbi eingelesen und daraus ein dictionary gemacht:

import re, sys
from datetime import datetime

checksums = {}
start = datetime.now()

print("Reading file...")
i = 0
with open('index.hbi', 'rt', encoding='latin-1') as file:
  for line in file:
    name = re.search(r'name="(.*?)"', line)
    checksum = re.search('checksum="(.*?)"', line)
    if name and checksum:
      checksums[checksum.group(1)] = name.group(1) + name.group(1) + name.group(1) + name.group(1) + name.group(1) + name.group(1) + name.group(1) + name.group(1) + name.group(1) + name.group(1)
      # added the name several times because I don't read directory information and I want more realistic lengths.
      i += 1
      if i % 10000 == 0:
        print('Read {:,d} checksums'.format(i))
      
print("Size of dictionary: {:,d}, ({:,d} elements)".format(sys.getsizeof(checksums), len(checksums)))
end = datetime.now()
print("Duration: {}".format(end - start))
start = datetime.now()
print("Now try to identify some checksums...")
print(checksums['53e04d59389b35d8308c265630a4bcb4f29c5ce06c6377a12c41e87e802fbb94'])
print(checksums['aa38e98bbfd6b7440536e87c85b49d432e80f4d057a4915be866c023b2399b88'])
print(checksums['563e063321190a5cc17ba69df586ee5eeb833883571f147a01abe0692ce92597'])
end = datetime.now()
print("Duration: {} microseconds.".format((end - start).microseconds))
input("ENTER to continue...")

Python braucht dafür laut Task-Manager ca. 135 MB bei 413.000 Dateien. Das Einlesen dauert bei mir etwa 6 Sekunden. Der Zugriff auf Checksummen (quer in der Datei verteilt) geht so schnell, dass Windows inkl. Ausgabe nur etwa 1000 mikrosekunden benötigt.

135 MB finde ich jetzt nicht so schrecklich viel. Wie groß ist denn dein Cache, der die Checksummen vorhält?

BTW: In der document type definition https://www.lupinho.net/dtd/fileindex.dtd fehlt übrigens die Definition für "hardlink".

Das ganze Verfahren kann ich vermutlich in einem Wartungsrelease nicht einfach so komplett umbauen...

Das ist klar 😉 Was will ich sagen: Mein Problem sollte kein Problem sein. Mich hat mal interessiert, wie groß so ein Cache wäre und wie schnell er arbeitet. Ja, ich wüsste auch gern, ob die Dateien später noch umbenannt würden.

Du könntest ja eine Version zusammenstricken, die hin und wieder ins Log schreibt, wie viele Checksummen sich aktuell im Cache zum Vergleichen befinden... Oder so... Ich würde dem Problem auch gern auf den Grund gehen.

Welche Möglichkeiten habe ich, dass das Backup mal durchläuft? Hast du Ideen? Mir fällt ggf. folgendes ein, sag mal, ob ich da Denkfehler habe:

Größere Festplatte als Ziellaufwerk kaufen.
Könnte ich in den Backup-Einstellungen auch einfach bei auszuschließenden Dateien einen Großteil der Ordner ausschließen?
Ich verschiebe haufenweise Daten vom Quelllaufwerk irgendwoanders hin.

Ich befürchte nur, dass man mit Punkten 2 und 3 schon so viel verändert, dass es kein echter "Test" mehr ist. Ich habe leider keine größere Festplatte parat, die müsste ich erst kaufen, und nur zum Testen fänd ich das etwas übertrieben...
Hast du noch Ideen, was ich machen kann?

Sorry, dass ich erst jetzt zum antworten komme:
Du kannst es mit einem eingeschränkten Backupsatz probieren (vorher abgebrochene Backups per Hand löschen). Allerdings brauchen wir noch "genügend" verschobene Dateien, um zu sehen, ob welche nicht erkannt werden, weil der Cache zu klein ist.
Bzgl. der Checksummen: Die stehen ja auch in der neuen Index-Datei. Solange das Backup noch am Laufen ist, wird die Index-Datei unter "C:\ProgramData\Lupinho.Net\HardlinkBackup\CachedBackupSets" local gecached. Allerdings wird die Datei beim Abbruch wieder gelöscht; außerdem wird die Index-Datei verzögert geschrieben (nicht sofort, wenn die Datei kopiert wurde). Daher müsste eben mal ein Backup durchlaufen.

Was auch immer ich versuche, es scheitert, da ich nicht genug Platz frei habe. 🙁 Wie es scheint brauche ich eine weitere/größere externe Festplatte...

Mal eine Frage: Wie finde ich heraus, wie viel Speicher freigegeben wird, wenn ich einen bestimmten Backupsatz lösche? Also, im Grunde müsste man ja die Anzahl an Bytes aller Dateien aufsummieren, auf die es im Dateisystem keine weiteren Links gibt. Geht das? Oder hat HLB diese Funktionalität irgendwo und ich finde sie nicht?