Transkribus

[Silberpunze]

ich träume einfach mal laut.

Bei der Erforschung der einzelnen Städte, muss man oft in die alten Quellen des 16.-19. Jh. eintauschen und das sind häufig also Handschriften, wie Bürgerbücher und Kirchenbücher. Wenn man dann von einer Stadt 10 Bücher mit je 500 Seiten, Seite für Seite nach Gold- und Silberschmieden durchsucht, kann schnell mal einer übersehen werden und es dauert in der Regel ca. 1 min, um eine Seite eines Kirchenbuches zu durchsuchen.

Doch nun gibt es eine technische Lösung. Seit einigen Jahren versucht das Projekt Transkribus eine KI zu entwickeln, die alte Handschriften lesen kann. Das kann dieses Programm noch längst nicht, da die Transkriptionen extrem viele Fehler haben, aber es reicht bereits jetzt, um das sogenannte Keyword-Spotting zum Einsatz zu bringen.

Hier kann man praktisch seitenweise die Bilddateien mit Hilfe einer Software einlesen und es dauert dann auch einige Zeit, bis das Programm die Seiten vollständig transkribiert hat, aber dann kann ich nach einzelnen Suchbegriffen Ausschau halten.

So beispielsweise
gol* gel* gul* silb* jube* auri* ...
und dann wirft mit das Programm all jene Seiten aus, in denen es glaubt, eines dieser Wörter gelesen zu haben, mit einem kleinen Vorschau-Text, um die falsch positiven Fundstellen auszuschließen.
So kann ich mich dann gezielt auf die Seiten stürzen, die das enthalten, was ich suche. Das spart eine Menge Zeit.

Leider liegen mir die meisten Bücher nicht als jpg oder pdf vor, um sie untersuchen zu lassen. Aber es wäre ein tolles Projekt, wenn sich eine Landeskirche man daran beteiligen würde.

Mich würde nun interessieren:
Was haltet ihr von der Idee? Habt ihr selbst schon Erfahrungen mit Transkribus sammeln können?
Kennt jemand jemanden, der einem helfen könnte, ein solches Projekt anzustoßen?

[cornetto]

Wow - kannte diese KI bisher nicht, aber ein excellenter Tipp zum Ausprobieren.
Ich sammele seit Jahren alte handschriftliche Rezeptbücher, meine Frau alte Poesiealben, tlw. 18.Jhd., Fraktur, Kurrent, Sütterlin, alles dabei, teilweise sehr "dahin gekliert", so dass man mit den Standardkenntnissen der alten Schriften oft an seine Grenzen kommt - bin gespannt, was die KI da erkennen kann...

Leider liegen mir die meisten Bücher nicht als jpg oder pdf vor, um sie untersuchen zu lassen.

Den Punkt verstehe ich allerdings nicht so ganz - jede x-beliebige Vorlage kann doch relativ einfach in jpg und pdf umgewandelt werden, ggf. mit Umweg über ein Grafikprogramm, aber möglich ist das doch?
Auf jeden Fall werde ich Transkribus ausprobieren.
Gruß Bernd

[Silberpunze]

Den Punkt verstehe ich allerdings nicht so ganz - jede x-beliebige Vorlage kann doch relativ einfach in jpg und pdf umgewandelt werden, ggf. mit Umweg über ein Grafikprogramm, aber möglich ist das doch?

Nun, mein Anliegen ist es, Zeit zu sparen. Archion ist sehr restriktiv, was Downloads betrifft und auch die AGB verbieten wohl eine solche Nutzung. Bei familysearch kann man Downloads machen, dauert aber auch, jede Seite einzeln aufzurufen.
Ich war mal in einem Leseraum mit den originalen Büchern einer kleinen Stadt und hatte dann jede Seite mit meinem Smartphone fotografiert. Dann habe ich ca. 100 Seiten dieser Bilder genommen und mit Transkribus hochgeladen, was nach wenigen Minuten fertig war. Anschließend die Transkription, die mit Transkribus etwas über eine Stunde gedauert hat.

Die Fehlerrate ist noch immer sehr hoch und um die Texte anschließend zu lesen, dürfte Dir wenig Vergnügen bereiten, aber für meine Anwendung ist das Programm schon sehr gut geeignet, auch wenn ich einige typische Lesefehler mit abdecken muss, wenn ein Gold als Geld gelesen sind oder auf der anderen Seite ein Gottfried als Goldfried.

[cornetto]

Die Fehlerrate ist noch immer sehr hoch und um die Texte anschließend zu lesen, dürfte Dir wenig Vergnügen bereiten

...natürlich, die KI ist ja auch noch in der Grundschule. Sie bezieht ihre Informationen bisher wahrscheinlich nur aus den im Netz vorhandenen Vorlagen aus städtischen Aufzeichnungen, Kirchenbüchern, usw. - alles Quellen, gezeichnet von Menschen, die eine vergleichsweise gute und gut leserliche Handschrift in der jeweiligen Schrift geschrieben haben.
Lernen muss und kann die KI nur anhand der schlecht leserlichen Handschriften - ich werd' das am kommenden Wochenende einmal mit ein paar richtig fiesen handschriftlichen Aufzeichnungen in Sütterlin probieren... :grimacing:

[Silberpunze]

Lernen muss und kann die KI nur anhand der schlecht leserlichen Handschriften - ich werd' das am kommenden Wochenende einmal mit ein paar richtig fiesen handschriftlichen Aufzeichnungen in Sütterlin probieren...

und was kam nun dabei raus?
Ich schrieb ja schon, dass du wohl viele Fehler im Text haben wirst, aber zur Stichwortsuche kann man es nutzen.

[cornetto]

und was kam nun dabei raus?

Also, ich muss ganz ehrlich sagen, dass ich einigermaßen erstaunt bin, was diese KI kann...
Ich habe zunächst etwas "einfacheres" hochgeladen - siehe hier:

süt-test1.jpg (46.96 KiB) 989 mal betrachtet

Das Transkribus-Ergebnis war 100%ig richtig:
Edel sei der Mensch
Hilfreich und gut.
Zur Erinnerung
an
Deinen Mitkonfirmanden.

Danach eine etwas schwierigere Handschrift:

süt-test2.jpg (47.44 KiB) 989 mal betrachtet

Das Ergebnis war:
Komm Elly reichher die Hand,
Wir wollen Abschied nehmen,
Es ist der letzte Schuleganz
In unserm ganzen Leben.
Die Rose welkt der Dornsticht
Drum lebe wohl Vergißmeinicht
Zum Andenken an deine

Fehler von Transkribus waren hier lediglich "Schuleganz" statt richtig "Schulegang" sowie die fehlende Trennung bei "Dorn sticht".
Der im Text vorhandene Rechtschreibfehler "Vergißmeinicht" statt der richtigen Schreibweise "Vergißmeinnicht" mit Doppel-n wurde, trotz der sehr schwer entzifferbaren Schreibweise am Wortende erstaunlicherweise richtig erkannt.

Ich werde das in jedem Fall noch mit anderen Schriften probieren... :grimacing:

PS: Beide Texte aus einem Poesiealbum von 1917 von Elly W. (Namen aus datenschutzrechtlichen Gründen nicht mit abgebildet).

Gruß Bernd

[cornetto]

...nun kommt der fiese Teil, Handschrift 1893:

tk-test3.jpg (73.22 KiB) 981 mal betrachtet

Transkribus-Ergebnis:
Der weise Vater kennt
Die Stunden wanen
Trübsal oder Freude nütze
hat er dich doch getreu
erfunden, so glaubt
1
duch schützt
fest, daß
e
h den
E
troct
er.
Päne
ein
es
9
ab-
i
dem
un
n
e |
E
Mar
an
Lilt.
Lenhof

Es sieht so aus, als würde sich die KI am Anfang richtig anstrengen und nach ein paar Zeilen die Lust verlieren... vllt. ist das aber auch so vorgesehen (für nichtzahlende User) , weil
Zum Gedenken
an
Marie Lühmann
Neuhof 1893
am Ende ist definitiv leichter zu lesen als die ersten Zeilen.
Das Ergebnis der ersten fünf Zeilen zeigt, welche Möglichkeiten diese KI hat - das Ergebnis der letzten fünf Zeilen zeigt, dass es diese Ergebnisse wohl nicht für lau gibt.
Ein weiterer spannender Test wäre, die jpg / die Zeilen in Abschnitten von Transkribus scannen zu lassen - wer es probieren möchte, ich gebe euch meine in diesem Thread geposteten Bilder zur Nutzung frei.

[Silberpunze]

Das war jetzt die Online-Funktion ohne Anmeldung. Also ja, teilweise liefert der schon gute Ergebnisse, auch wenn es immer wieder Fehler gibt.
Ich hatte ja bereits geschrieben, dass sich dieses Programm eigentlich kaum zum Transkribieren von Texten eignet, da die Nachkorrektur mehr Zeit in Anspruch nimmt, als wenn man es gleich selbst transkribiert (sofern man Erfahrung hat mit dem Lesen alter Texte).
Was aber recht gut funktioniert ist das Keyword-Spotting, was besonders dann zum Tragen kommt, wenn man nicht eine einzelne Seite, sondern einen ganzen Ordner mit über 100 Seiten hochlädt.
Warum bei Deiner einen Probe der Text auf einmal abgeschmiert ist, muss man mal prüfen. Vielleicht mochte er den Lichtkegel in der unteren Hälfte nicht.
Versuch es mal mit gleichmäßiger Beleuchtung.