Seite 1 von 1
Fließkommaverarbeitung
Verfasst: 10.04.2016 18:29
von Stephan-X
Hallo Leute, beim Spaltensummieren mit großen Zahlen kam mir da was komisch vor. Da hab ich einfach mal Zahlen in eine Fließkommavariable gesetzt und anzeigen lassen. Hier mal der Code zum Probiern, schaut mal auf die DEBUG Ausgabe.
Code: Alles auswählen
a.f = 245456.45
Debug StrF(a,2)
a.f = 2245456.45
Debug StrF(a,2)
a.f = 44245456.45
Debug StrF(a,2)
a.f = 442450456.45
Debug StrF(a,2)
Das kommt bei mir raus:
Debug1 245456.45
Debug2 2245456.50
Debug3 44245456.00
Debug4 442450464.00
Wo hab ich da einen Denkfehler ?? Sollte ich Double nehmen ??
Mein Rechner PC 4 GB RAM, X-Ubuntu 15.04 32 Bit, Pure 5.42 (LTS)
Re: Fließkommaverarbeitung
Verfasst: 10.04.2016 18:35
von mk-soft
Floats und Doubles sind strukturieren Zahlen und können nur eine begrenzte Genauigkeit den Wert ablegen.
Link
https://de.wikipedia.org/wiki/Gleitkommazahl
Re: Fließkommaverarbeitung
Verfasst: 10.04.2016 21:44
von GPI
das zweite größere Problem ist, das die float/doubles die Basis 2 haben und nicht 10.
Also wo bei uns 10^1,10^0,10^-1,10^-2 (10, 1, 0.1, 0.01) den Wert der Stellen angibt, sind es bei float/double 2^1, 2^0, 2^-1, 2^-2 (2, 1, 0.5, 0.25).
Versuch da mal den Wert 0.4 nachzubilden - es wird dir nicht gelingen! Das ist aber kein Fehler in System, der Bruch 1/3 lässt sich auch nicht in 10er Zahlensystem darstellen.
Wenn man also exakte Ergebnisse braucht, sind Floats/Doubles völlig ungeeignet. Geldbeträge bspw. sollte man lieber in der kleinesten Einheit umrechnen und speichern.
Re: Fließkommaverarbeitung
Verfasst: 11.04.2016 18:05
von mk-soft
Bei Berechnungen von Geldbeträge Zinsen oder Währungsumrechnungen sind aber mehre nach Komma stellen zu beachten.
Da sollte man sich vorher erkundigen.
Re: Fließkommaverarbeitung
Verfasst: 01.05.2016 13:33
von Stephan-X
OK .. Danke erst mal
Es geht hier
nur um Baumassen und Kalkulation, aber auch die Milionensummen sollten stimmen !
Na dann werd ich da mal wege suchen das hinzukriegen.