Umlaute bei der Migration von CSV

[ak59]

Hallo zusammen,

ich bin neu hier und bin bei der Suche nach einem neuen Vereinsverwaltungsprogramm auf JVerein gestoßen. Auf den 1. Blick fand ich nichts, das uns fehlen würde und ich habe unsere bestehenden Daten so umgestellt, daß ich sie über die Migrationsfunktion ohne Fehler importieren kann.

Kurz zu meiner Systemumgebung:
MacOS, Monterey
Python3.13.2
Excel 16.16.27
LibreOffice 25.8.2.2
Windows 11
Office 2016

Nur die Umlaute bereiten enorme Probleme. Die 1. Umstellung erfolgte über ein Python-Script. Ich habe verschiedene Codecs ausprobiert und natürlich auch IOS-8859-1, leider alles ohne Erfolg - in JVerein werden die Umlaute je nach Exportformat verschieden falsch/kryptisch dargestellt. Öffne ich die Datei z.B. mit Excel werden alle Umlaute richtig dargestellt, je nach vorherigem Export über Python danach auch mal kryptisch. Auch alles ohne Erfolg. Das selbe gilt für ähnlicher Versuche unter Windows 11 mit Excel oder mit LibreOffice unter MacOS. Ich sehe dafür:

% file Import_Test.csv
Import_Test.csv: ISO-8859 text

bzw.:

Eine einzeilige Beispieldatei habe ich angehängt.

Die einzige Möglichkeit die Daten zu korrigieren scheint die manuelle Veränderung der Daten, gefolgt von einem Neustart zu sein. Aber ich kann kaum glauben, daß man keine Daten mit Umlauten importieren kann und gehe eher von einem Fehler bei mir aus.

Viele Grüße,

Andreas

Import_Test.csv

(412 Bytes) 59-mal heruntergeladen

[accoman]

Hallo,

welche Codecs hast du denn versucht? Würde mich aus zwei Gründen interessieren:
1. weil ich - in verschiedenen Programmen - auch immer wieder vor solchen Problemen stehe
2. vielleicht liegt da ja die Ursache

[ak59]

Hi,

UTF-8, UTF-8-BOM, UTF-16, UTF-8-SIG, ISO-8859-1, ISO-8859-15 ... evtl. noch ein paar mehr und wie erwähnt aus Excel unter MacOS und Win11 auch diverse. Ich hatte auch versucht die "locale" zu ändern, auch ohne Erfolg.

Ich werde die 30-40 Änderungen nun manuell vornehmen.

Viele Grüße,

Andreas

P.S.: Wenn ich wüsste, welche Zeichen denn nun genau akzeptiert würden, wäre ich sicher in der Lage mein Script umzustellen. Ist in grob 40 Jahren mit Scripting das 1. Mal, das ich das nicht hinbekomme. Evtl. steht das irgendwo im SourceCode, aber bis ich das finde hab ich's manuell geändert.

[accoman]

Nochmals ein Versuch:
Verwende mal den alten Code Windows-1252 (wenn du das nicht auch schon gemacht hast). Der unterscheidet sich von 8859-1 durch die Zeichen über "80", da er dort auch druckbare Zeichen enthält. Nachzulesen z. B. in https://de.wikipedia.org/wiki/ISO_8859-1.

Ich muss in phpMyAdmin beispielsweise CSV-Dateien zwingend in diesem Code importieren.

[ak59]

Hallo zusammen,

langsam habe ich den Verdacht, daß die Software nicht ganz ausgegoren ist und nicht wirklich verlässlich nutzbar ist. Bei einem Versuch die Umlaute manuell zu ändern stürzt die Software bei jeder 2. oder 3. Änderung ab. Das mag auch damit zusammenhängen, daß eine Änderung des Namens nicht zu einer direkten Änderung des Mitgliedskontos führt.

Um zu sehen, ob mein Import evtl. an MacOS lieg, habe ich JVerein unter Windows 11 installiert. Dort ist die IBAN Pflicht, unter MacOS nicht - wir haben Mitglieder, die vom Beitrag befreit sind und dafür wollten wir keine IBAN eingeben müssen. Das lässt sich zwar durch Test-IBANs umgehen, aber inkonsistent ist es trotzdem.

Korrektur: die erwähnten Unterschiede liegen in der unterschiedlichen Version - 3.2.0 unter MacOS und 2.8.23 unter Win11.

Viele Grüße,

Andreas

[lenilsas]

Moin,
wir haben heute einen Fehler gefunden und soeben behoben. Ich habe gerade die Version 3.2.1 rausgegeben mit der es nun nicht mehr zum Absturz kommen sollte.
Die Kodierungsprobleme scheue ich mir heute Abend nochmal an.
Grüße
Nils

[lenilsas]

Moin,
Bei mir funktioniert der Import mit der Datei von dir problemlos. Alles wird richtig dargestellt.
Verwendest du die integrierte Datenbank H2 oder mySql/Mariadb?
Grüße
Nils

[ak59]

Hallo Nils,

sorry, hatte noch nicht eingestellt über Antworten informiert zu werden.

Ich denke, ich gehe über die integrierte Datenbank, wenn ich keinen Server dafür nutze.

Viele Grüße,

Andreas

[ak59]

Hallo nochmal,

rein theoretisch könnte ich per Python auf die lokale SQL-DB zugreifen und dort die Umlaute einstellen (hab schon viel mit Python SQL-Dateien gearbeitet), aber da scheint ein Passwort drauf zu sein, sonst hätte ich das mal versucht.

Ich habe auch die neue Version 3.2.1 probiert - keine Änderung.

Außerdem habe ich das Python-Script, das die Daten erzeugt auf den Win11-PC migriert und die Migration erfolglos wiederholt. Solange die Beispieldatei Unterschiede zeigt, liegt's irgendwie an meinen Systemen, oder an irgendeiner Version, die bei mir anders ist. Ich versuche mal zusätzlich zu den obigen noch einige andere aufzuführen.

Viele Grüße,

Andreas

P.S.: Inzwischen alles nochmal neu auf einem Win10-Rechner installiert. Auch hier zeigt die Testdatei keine Umlaute.

Edit: Noch eine Idee: rein theoretisch sehe ich mögliche Unterschiede 1. bei der Migration und 2. bei der Darstellung. Wenn ich es richtig sehe, stecken die Daten in den beide Dateien im h2db-Verzeichnis. Wenn mir jemand eine Dummy-Datei mit darstellbaren Umlauten schicken kann, probier ich das aus. Sehe ich die immer noch nicht, liegt's an der Darstellung, sonst am Import. Ich hätte meine eigene Datei geteilt, aber da ich schon einige Kontodaten eingetragen hatte und nicht sicher bin, wie ich das alles sicher platt machen kann, wollte ich das vermeiden. Gerne per Privatnachricht.

Jameica: 2.10.5
OpenJVerein: 3.2.1
Hibiscus: 2.10.27

Locale (Mac 1):
LANG=""
LC_COLLATE="C"
LC_CTYPE="de_DE.ISO8859-1"
LC_MESSAGES="C"
LC_MONETARY="C"
LC_NUMERIC="C"
LC_TIME="C"
LC_ALL=

[lenilsas]

Moin,
Ich hab gerade nochmal in einer ganz neuen Datenbank deine Datei probleos importiert. Ich schicke dir die Datenbank im Anhang, dann kannst du es einmal testen. Ich musste ein .txt hintendranhängen, damit ich es hochladen kann. Bitte erst wieder entfernen und dann ins Verzeichnis .jameica/jverein/h2db kopieren. Die Vorhandene Datei dort umbenennen.
Grüße Nils