CSV-Parser

[Little John]

xxx

[Kiffi]

Hallo Little John,

erstmal vielen Dank für Deinen Code!

Derzeit komme ich leider nicht dazu, ihn intensiver zu testen. Ich habe gestern Abend mal ganz bräsig
eine eher kleine CSV-Datei (26 MB) parsen lassen. Nach 5 Stunden habe ich dann vorzeitig abgebrochen

Den meisten Strom wird sicherlich das Erstellen des XML benötigen.
Der Code wird in dieser Form für größere CSV also nicht praktikabel sein.

Noch was:

Code: Alles auswählen

[...]
ElseIf Char = #LF
 Break                 ; Ende des Datensatzes
[...]

stimmt so nicht.

Sowas ist auch möglich:

Code: Alles auswählen

1;2;3
1;"Das ist ein Text
mit Zeilenumbruch";3
1;2;3

da musstu nochmal ran

Grüße ... Kiffi

[Little John]

Hallo Kiffi,

danke für Dein Feedback!

Ich habe gestern Abend mal ganz bräsig
eine eher kleine CSV-Datei (26 MB) parsen lassen. Nach 5 Stunden habe ich dann vorzeitig abgebrochen

Den meisten Strom wird sicherlich das Erstellen des XML benötigen.
Der Code wird in dieser Form für größere CSV also nicht praktikabel sein.

Oh gottogott
Um die Geschwindigkeit hatte ich mich noch nicht so gekümmert, weil ich zunächst "kugelsicheren" Code schreiben wollte. Aber so geht's natürlich nicht.
Ich werde demnächst eine Version mit Linked Lists anstelle eines XML-Baums schreiben, und dann mal die Geschwindigkeiten vergleichen.

Noch was:

Code: Alles auswählen

[...]
ElseIf Char = #LF
 Break                 ; Ende des Datensatzes
[...]

stimmt so nicht.

Sowas ist auch möglich:

Code: Alles auswählen

1;2;3
1;"Das ist ein Text
mit Zeilenumbruch";3
1;2;3

Ich weiß, das ist doch in meiner kleinen Testdatei "csv_demo.csv" auch so.
Die Stelle die Du oben zitiert hast findet nur Zeilenumbrüche außerhalb von Quotes. Zeilenumbrüche innerhalb von Quotes werden hier behandelt:

Code: Alles auswählen

char = ReadCharacter(fn)
While char <> #QUOTE And Eof(fn) = #False
   content$ + Chr(char)
   char = ReadCharacter(fn)
Wend

Vielleicht kann ich das noch vereinfachen.

Inzwischen ist mir aber noch was anderes aufgefallen. Syntaktisch falsche Felder wie

Code: Alles auswählen

12"3

oder

Code: Alles auswählen

"Huhu" xy

werden z.Z. nicht als fehlerhaft erkannt.
Ich habe nirgendwo eine Empfehlung gelesen, wie man damit umgehen sollte. Ich denke am besten bricht die Prozedur die Verarbeitung des Datensatzes an der Stelle ab und liefert einen Fehlercode zurück. Ich habe den Code schon fast fertig entspr. geändert, aber schneller ist er dadurch auch nicht gerade geworden.

Gruß, Little John

[Kiffi]

Die Stelle die Du oben zitiert hast findet nur Zeilenumbrüche außerhalb von Quotes.

au weia! Nicht richtig hingeguckt. Mea culpa!

Grüße ... Kiffi

[Little John]

Mea culpa!

Ego te absolvo.

Gruß, Little John

[Little John]

xxx

[Little John]

2Kiffi:
Bei mir läuft's "ein bisschen" schneller als bei Dir. Was hast Du denn da angestellt?

Ernsthaft: Ich vermute, dass das Programm bei Dir in einer Endlosschleife hängengeblieben ist. Vielleicht kannst Du da nochmal nachkucken? Wenn das stimmt, würde ich den Bug natürlich gern beseitigen. Allerdings ist der Code jetzt gegenüber der "5-Stunden-Version" schon verändert (bessere Syntaxfehler-Erkennung).

Gruß, Little John

[Kiffi]

@Little John:

LinkedList-Variante:

Lesen: 24 Sekunden
Schreiben: 5 Sekunden

Respekt!

2Kiffi:
Bei mir läuft's "ein bisschen" schneller als bei Dir. Was hast Du denn da angestellt?

in der Tat: die 13.2 Sekunden bei Dir sind schon beeindruckend.

Ich habe offensichtlich einen lahmeren Rechner als Du (siehe Zeiten oben).
Allerdings sollte der Unterschied bei der XML-Variante nicht so krass sein.

Ich teste grade Deinen neuen XML-Code. Ich melde mich in
ein paar Stunden wieder.

Grüße ... Kiffi