Extrahieren des reinen Textes aus einer HTML-Seite.

brigitte2018 · Beitrag von **brigitte2018** » 15.11.2023 17:47

@NicktheNick:

Ich halte nur fest: Austeilen kannst Du, aber Einstecken nicht. - Ich habe nur reagiert.

Im übrigen kannst Du doch nicht Dein Verständnis von einer Sache zum Maßstab für wahr oder falsch machen. Aber Schwamm 'drüber'.
Wenn Du Deine beruflichen Erfahrungen argumentativ benennst, dann will ich mit meinen auch nicht zurückhalten. Bevor ich mich selbständig gemacht habe, war ich EDV-Leiter in einem Unternehmen mit mehr als 500 Mitarbeitern. Da hat es auch schon 'mal gerummst..., aber dann war auch alles wieder gut. In meinem ALTER (ich bin über achtzig mittlerweile) kann man nicht mehr so einfach eine neue Programmiersprache professionell erlernen.
Und deshalb bin für jede Hilfestellung dankbar. Wenn Du das nicht mehr tun kannst, respektiere ich das, und es ist gut.

Gruß, Brigitte.

DarkDragon · Beitrag von **DarkDragon** » 15.11.2023 18:23

brigitte2018 hat geschrieben: 15.11.2023 17:47 @NicktheNick:

Ich halte nur fest: Austeilen kannst Du, aber Einstecken nicht. - Ich habe nur reagiert.

Nichts für ungut, aber ausgeteilt hast du schon länger (wie war das mit den Wölfen?). Die meisten Beiträge hier enthalten entweder nur zugrundeliegende Daten ohne Erklärung dazu, oder eine Lebensgeschichte nach dem Motto "ich hab mehr Erfahrung als ihr, ihr seid nichts, ich bin ein Übermensch, weil ich THEOS kenne und nicht mehr ganz so jung bin, beantwortet meine Frage, aber wenn ihr was falsch macht erkläre ich nicht konkret was falsch daran sein soll". Dir hat aber auch niemand die Erfahrung abgesprochen, dennoch hattest du ständig das Bedürfnis dich beweisen zu müssen, anstatt mal auf das Problem einzugehen. Du wolltest den Text aus dem Html, die Lösung hast du bekommen. Dann meintest du das wäre aber nicht das, was du willst, du zeigst dann HTML Dateien als Beispiel, aber nichts konkretes was daraus werden soll. Wenn wir dir eine Lösung präsentieren willst du nicht sagen was damit konkret nicht stimmt, sondern du fängst wieder von vorne an und holst teilweise komplett andere Aufgabenstellungen heraus, die mit der ursprünglichen Beschreibung nicht mehr viel zu tun haben.

brigitte2018 hat geschrieben: 15.11.2023 17:47Im übrigen kannst Du doch nicht Dein Verständnis von einer Sache zum Maßstab für wahr oder falsch machen.

Bool'sche Algebra ist doch genau das?!

brigitte2018 hat geschrieben: 15.11.2023 17:47Wenn Du Deine beruflichen Erfahrungen argumentativ benennst, dann will ich mit meinen auch nicht zurückhalten.

Brauchst du nicht, hast du ja schon die ganze Zeit, anstatt mal auf das Problem einzugehen. Zur Vollständigkeit: ich bin in einem Unternehmen mit 700-1000 Mitarbeitern. Eine große Menge meiner direkten Kollegen haben einen Doktortitel, viele hatten auch noch Kontakt zu Transputern und manch einer sogar mit Lochkarten.

brigitte2018 hat geschrieben: 15.11.2023 17:47Da hat es auch schon 'mal gerummst..., aber dann war auch alles wieder gut. In meinem ALTER (ich bin über achtzig mittlerweile) kann man nicht mehr so einfach eine neue Programmiersprache professionell erlernen.

Mit dem Alter hat das nicht so viel zu tun, eher mit der Willensstärke oder der körperlichen Verfassung. Ich kenne genug Leute, die im hohen Alter noch neues lernen und das mit voller Absicht.

H.Brill · Beitrag von **H.Brill** » 15.11.2023 19:07

<In meinem ALTER (ich bin über achtzig mittlerweile) kann man nicht mehr so einfach eine neue Programmiersprache professionell erlernen.>

Damit anfangen (egal welche Sprache) mußt du aber, wenn du mit deinem Projekt voran kommen möchtest. Man muß PB ja nicht
professionell können. Kleine Hilfestellungen, wie oben das Parsen einer HTML zu eigentlichem Text, sind ja kein Problem für uns.
Da das Projekt aber doch größer zu werden scheint, wird dir hier kaum jemand eine fertige Lösung präsentieren können. Du bist halt
hier in einem Programmierforum und nicht in einem Freewareforum, wo du fertiges runterladen kannst. Natürlich muß man geistig noch
einigermaßen fit sein, um da anzufangen. Aber das hast du ja mit deinen Postings wenigstens teilweise bewiesen. Besonders der Wille zu
Neuem muß da sein. Ich käme mit den vielen GOTOs in deinem gezeigten Code auch nicht mehr zurecht, obwohl ich damals auch damit
zu programmieren angefangen hatte. Aber alles verändert sich und so bin ich auch mit in die neue heutige Zeit hineingewachsen. Neues
kann ja auch Gutes sein. Ich hatte diese Woche noch daran gedacht, als ich Anfang der 80iger in Listen auf Papier Buch führen mußte.
Ach, wäre ich froh gewesen, wenn ich damals ein PC, Windows und eine Programmiersprache in der Firma gehabt hätte. Der ganze Aufwand
mit den damaligen Papierlisten wäre z.b. dank editierbarer Gridboxen auf ein Minimum gesunken, ganz zu schweigen von einer Datenbank,
Drucker o. ä.. Da hätte ich mehr Zeit für Wichtigeres in Sachen Ausbildung im Betrieb gehabt.

Sehe es auch mal von dieser Seite aus.
Beschreibe uns doch mal dein konkretes Vorhaben, wie das alles auszusehen hat. Was hast du zum Beispiel mit den extrahierten Texten
genau vor, wie sollen sie für was gespeichert werden (Wiedervendbarkeit) usw. ?

brigitte2018 · Beitrag von **brigitte2018** » 15.11.2023 20:28

... nun gut. Ich möchte aus einer beliebigen Textdatei (also auch HTML-Datei) die Zeichen, die von "<.?.?.?>" eingeschlossen sind von den übrigen Zeichen separieren und zwar in eine neue Textzeile mit "CR" abgeschlossen (also carriage return)

Beispiel:

von:

<TD WIDTH=150 BGCOLOR="#e6e6e6">Lohnsteuer</TD><TD WIDTH=57 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=58 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=57 BGCOLOR="#e6e6e6" SDVAL="38874" SDNUM="1031;0;@">222.954,58

nach:

<TD WIDTH=150 BGCOLOR="#e6e6e6">Lohnsteuer</TD><TD WIDTH=57 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=58 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=57 BGCOLOR="#e6e6e6" SDVAL="38874" SDNUM="1031;0;@">222.954,58

Das wars. Danke Brill für Deine erneute Kontaktaufnahme. Weshalb ich dieses in welchem Zusammenhang gern hätte, habe ich ja benannt, aber das wurde mir ja sogar vorgeworfen. Es sind quasi Daten-Eingabe-Masken zur AUFNAHME von Daten für weitere Zwecke und gelangen auch in Datenbanken. MEHR möchte ich auch nicht und mehr brauche ich auch nicht.
Guten Abend!

H.Brill · Beitrag von **H.Brill** » 15.11.2023 21:22

Ist halt schwierig, aus so einer HTML-Datei mit vielen spitzen Klammern <>
sowas : "<.?.?.?>"
rauszufiltern. Zumal denn auch
>Lohnsteuer<
noch in anderen spitzen Klammern statt <..> so >..< drinnen steht, also genau umgekehrt. Ist das nun ein Tippfehler von dir
oder ist es so gewollt ? Wenn diese HTML-Datei von dir selber stammt bzw. gemacht wurde, würde ich eine andere Strategie
empfehlen. Zur besseren Auffindbarkeit durch einen regulären Ausdruck könntest du den Text, der später extrahiert werden
soll in andere, nicht in HTML verwendete Zeichen einbetten. Hier wäre das unsichtbare Blank (ALT + 255 auf der Nummerntastatur)
eine gute Wahl
< Lohnsteuer >
Das sieht man nicht und ist andererseits gut zu finden, da es nirgendwo sonst benutzt wird. Durch rekursives Suchen findet man
schnell alle Texte.
Kopier das hier mal in den normalen Windowseditor :

hallo das ist Test 1 , der hier gezeigt wird.
hallo das ist Test 2 , der hier gezeigt wird.

Setze den Cursor vor Test 1 und gib ALT+255 ein und nach 1 das gleiche. Das gleiche dann mit der 2. Zeile.
Jetzt setzt du den Cursor wieder an den Anfang und gehst unter Bearbeiten auf Suchen und gibst das ALT+255 als Suchbegriff ein.
Jetzt siehst du, daß die Suche die Begrenzer von Test 1 und Test 2 sicher findet.

Ich hoffe mal, daß du jetzt den Sinn dieser ganzen Geschichte besser begreifst.
Was weitere Daten-Eingaben betrifft, sind Eingabemasken mit einem Label und einem einzeiligen Editfeld
am besten geeignet. Das ganze Gedöns über HTML-Eingabemasken würde ich mir da sparen. Ist so doch
viel einfacher.

DarkDragon · Beitrag von **DarkDragon** » 15.11.2023 21:54

Im Discord hat Bitblazer gerade noch eine weitere Lösung genannt:

Bitblazer hat geschrieben:kann ihr jemand vorschlagen, dass die korrekte methode die nutzung des htmlagility packs ist (https://html-agility-pack.net/) aber die schnelle purebasic methode wäre schlicht einen textmode html browser zu nehmen (z.b. lynx) und dann die ausgabe umzuleiten in eine textdatei und die dann schlicht mit nem purebasic programm zu verarbeiten? danke - ich kann mich aktuell im deutschen forum nicht einloggen

brigitte2018 · Beitrag von **brigitte2018** » 16.11.2023 20:07

Guten Abend!
Ich habe ein gutes Programmbeispiel zur Lösung meiner Aufgabenstellung gefunden (hier im Forum, allerdings vor Jahren und es war mir nicht mehr geläufig). Es stammt wohl aus 2007. Leider kann ich dem Autor nicht danken, da er sich nicht im Programm genannt hat. Vielleicht weiß ja einer, wer das war. Hier aber der Programm-Code:

Code: Alles auswählen

; Alle Kommentare im HTML-Format in eine TXT-Datei umwandeln. 
EnableExplicit
InitNetwork()
Define Url$ = "https://daserste.ndr.de/common/apps/php/sophorum/thread/view?cmsid=5f5a9397-2dcd-45e6-ada0-53960678a7f7&id_page="
Define AnzahlSeiten=190 
Define ZielDatei$="WillAnne170707.txt" ; notepad++ zeigt 6178 Zeilen, zum Teil sehr lange. 
Define AlleSeiten$=""
Define i
For i = 1 To AnzahlSeiten
  Debug "Seite:"+Str(i)
  Define *Speicher=ReceiveHTTPMemory(Url$+Str(i))
  If 0=*Speicher 
    Debug "Verbindungsfehler bei Seite: "+Str(i) 
  Else
    Define Antwort$=PeekS(*Speicher,MemorySize(*Speicher),#PB_UTF8) ; Inhalt von *Speicher in String umwandeln. 
    ; Suche alle Texte zwischen <HTML-Tags>.
    Define KlammerAufPosition = FindString(Antwort$,"<",1)           ; Suche eckige Klammer zu 
    Define Temp$=Left(Antwort$,KlammerAufPosition-1)                ; Sollte es Text vor der ersten Klammer geben.
    While KlammerAufPosition>0                                      ; Wenn es noch eine eckige Klammer auf gibt. 
      Define KlammerZu=FindString(Antwort$,">",KlammerAufPosition+1); Suche die eckige Klammer zu. 
      If KlammerZu>0
        KlammerAufPosition=FindString(Antwort$,"<",KlammerZu)         ; Suche eckige Klammer zu, wenn es keine gibt 0. 
        Temp$=Temp$+Mid(Antwort$,KlammerZu+1,KlammerAufPosition-KlammerZu-1) ;Speicher Text zwischen > und < in Temp$.
      Else
        KlammerAufPosition=0
      EndIf 
    Wend                                                                   ; Wenn die Schleife fertig ist steht der Text der Seite in Temp$ 
    Temp$=ReplaceString(Temp$,#TAB$+"Dieser Kommentarbereich ist geschlossen","")
    Define ZuSeite=FindString(Temp$,"Zu Seite: &lt;") ; Finde Verweise auf andere Seiten. 
    If ZuSeite=0                                      ; wenn Zu Seite nicht gefunden wurde. 
      Zuseite=Len(Temp$) 
    EndIf 
    AlleSeiten$ = AlleSeiten$+Left(Temp$,ZuSeite-1) ; Füge die Antwort$ dieser Seite AlleSeiten$ hinzu. 
    FreeMemory(*Speicher)
  EndIf 
Next
Debug AlleSeiten$
Define Datei=CreateFile(#PB_Any,ZielDatei$) ; Schreibe das Ganze in eine Datei. 
If 0=Datei ; Wenn die Datei sich erzeugen läßt, z.B. wegen Schreibschutz.
  Datei=CreateFile(#PB_Any,GetUserDirectory(#PB_Directory_Documents)+ZielDatei$) ; Versuche Datei im Dokumentenverzeichnis zu erzeugen.
  If 0=Datei ; Im Fehlerfall kommt eine Meldung und Programmende. 
    Debug "Kann "+ZielDatei$+" und "+GetUserDirectory(#PB_Directory_Documents)+ZielDatei$+" nicht öffnen."
    End
  EndIf 
EndIf 
WriteString(Datei,AlleSeiten$)
CloseFile(Datei)
End

;-----------------------------------------------------------------------------------------

Guten Abend, Brigitte.

Edit by NicTheQuick: Code-Tags gesetzt

HeX0R · Beitrag von **HeX0R** » 16.11.2023 20:23

Source

Sicro · Beitrag von **Sicro** » 16.11.2023 20:49

Eine Lösung mit RegEx:

Code: Alles auswählen

#RegExPattern$ = "(?:(?:<(?!/))|/).+?(?:(?=>[^<])|>\z)" + ; Für die HTML-Tags um '>text<' herum
                 "|" +
                 ">[^<]+<" ; Für '>text<'

Define regEx = CreateRegularExpression(#PB_Any, #RegExPattern$)
Define text$ = GetClipboardText()

If regEx
  If ExamineRegularExpression(regEx, text$)
    While NextRegularExpressionMatch(regEx)
      Debug RegularExpressionMatchString(regEx)
    Wend
  EndIf
  FreeRegularExpression(regEx)
EndIf

Den HTML-Code unten in die Zwischenablage kopieren und obigen Code ausführen.

brigitte2018 hat geschrieben: 15.11.2023 20:28<TD WIDTH=150 BGCOLOR="#e6e6e6">Lohnsteuer</TD><TD WIDTH=57 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=58 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=57 BGCOLOR="#e6e6e6" SDVAL="38874" SDNUM="1031;0;@">222.954,58

Ergebnis:

<TD WIDTH=150 BGCOLOR="#e6e6e6">Lohnsteuer</TD><TD WIDTH=57 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=58 BGCOLOR="#e6e6e6">222.954,58</TD><TD WIDTH=57 BGCOLOR="#e6e6e6" SDVAL="38874" SDNUM="1031;0;@">222.954,58

brigitte2018 · Beitrag von **brigitte2018** » 17.11.2023 10:38

Herzlichen Dank für die Codes, die alle das Ziel erreichen. Es war Freude, ja Vergnügen. Sie entzaubern HTML ohne es abzuwerten und machen es einfach demokratischer und im Hinblick auf die Anwendungsentwicklung auch produktiver. Darüber hinaus wird klassisches Fachwissen wieder attraktiver. Man schaue nur einmal auf die größtenteils ungenutzte Rechenkapazität eines einzelnen PC's ....., da kriegen alte EDV-Leiter Tränen in die Augen. Nochmals ein ganz großes Dankeschön.
Mein besonderer Dank geht aber an NicTheQuick, der wahre Größe gezeigt hat, recherchierte und mir damit den Weg zu meinem so wichtigen Zwischenziel ermöglichte. LG, Brigitte.

PureBoard

Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.

Re: Extrahieren des reinen Textes aus einer HTML-Seite.