maximale HTML-Dateigröße?

    Hallo erstmal

    Nachdem ich nach meinem Problem über google gesucht, und auch die Suchfunktion hier im Forum benutzt habe, muss ich meine Frage dann wohl doch mal öffentlich stellen. Und zwar dreht es sich um folgendes.

    Bei meinem Projekt bei meiner Arbeitstelle habe ich ein C++-Programm entwickelt, welches automatisch größere mathematische Berechnungen durchrechnet und die Ergebnisse in einem HTML-Berechnungsprotokoll abspeichert. Nun habe ich das Problem, dass gerade bei umfangreicheren Berechnungen (bei welchen ein 3 Ghz-Prozessor schon mal eine Woche lang beschäftigt ist) die HTML-Protokolldatei schon mal über 50 MB groß werden kann (Beispiel eines Berechnungsprotokolls; ZIP-Datei, 6 MB). Zwar kann ich die Datei mit Firefox noch öffnen. Aber sobald die Datei offen ist scheint Firefox ein Speicherleck oder etwas ähnliches zu haben, da Firefox im Sekundentakt immer mehr Arbeitsspeicher in Anspruch nimmt (Screenshot des Taskmanagers). Und während die HTML-Protokolldatei offen ist, kann man auch nur auch ca. das erste Viertel des Protokolls zugreifen, bzw. sich anzeigen lassen. Das Problem tritt übrigens an jedem bisher getesteten Rechner auf.

    Meine Frage währe also, ob es für dieses Problem schon eine Lösungsmöglichkeit gibt, was ich eher nicht glaube. Oder ob man den Phänomen vielleicht schon auf der Spur ist, so dass vielleicht eines der nächsten Updates Abhilfe schafft. Oder noch anders formuliert, wenn irgendjemand etwas weiß was mir weiterhelfen könnte, dann raus damit :)

    Aber zumindest eine "gute" Nachricht habe ich dann doch noch. Mit dem IE lässt sich die Datei noch nicht einmal öffnen... :D


    Natürlich habe ich auch schon daran gedacht das Protokoll in einzelne Teilprotokolle zu zerlegen und habe mein Programm auch schon entsprechend angepasst. Aber ganz so glücklich bin ich damit nicht, einfach weil ein Protokoll meines erachtens in eine Datei gehört und nicht in drei oder vier.

    Edit:
    Ach ja, ich nutze Firefox 3.0.7
    Ansonsten zu meinem PC: P4M, 2 GHz, 2 GB

    Zitat von Black Lion

    ...Aber sobald die Datei offen ist scheint Firefox ein Speicherleck oder etwas ähnliches zu haben, da Firefox im Sekundentakt immer mehr Arbeitsspeicher in Anspruch nimmt ...Und während die HTML-Protokolldatei offen ist, kann man auch nur auch ca. das erste Viertel des Protokolls zugreifen, bzw. sich anzeigen lassen.

    Kein Speicherleck. Der FF ist mit der Darstellung einfach noch nicht fertig. Du muß einfach noch solange warten, bis er fertig ist. Hoffentlich hast du die maximale Größe der Auslagerungsdatei groß genug gewählt, sonst kackt dir der FF ab, wenn die Grenze erreicht ist (So wie mir!). Ein Browser ist nun mal kein geeignetes Programm zur Darstellung solcher Datenmengen. Um die Aufteilung wirst du nicht herumkommen, wenn du nicht eine geeignetere Protokollierungmethode findest. Z.B. als CSV, und dann von einer Tabellenkalkulation anzeigen lassen. Ist mit Sicherheit nicht so speicherintensiv.

    Kein Problem hier. FF braucht halt seine 2.1 GByte Speicher und auch "etwas" Zeit um diesen zu füllen.

    Zitat von Black Lion

    [...] das Protokoll in einzelne Teilprotokolle zu zerlegen und habe mein Programm auch schon entsprechend angepasst.

    Dann benutze es auch. Eine sinnvolle Auswertung schreit ja direkt danach. Eine verteilte Speicherung eines Protokolls ergibt noch lange keine Teilprotokolle.

    Zitat von Black Lion

    Aber ganz so glücklich bin ich damit nicht, einfach weil ein Protokoll meines erachtens in eine Datei gehört und nicht in drei oder vier.

    Dann verabschiede dich mal von dem Gefühl. Einzig die Brauchbarkeit zählt und die ist in der vorliegenden Form nicht gegeben.

    Gestern Abend war ich etwas müde. So eine Menge Daten gehört meines Erachtens überhaupt nicht eine HTML-Datei, sondern in eine Struktur, die für das Handling solcher Datenmengen ausgelegt ist - eine Datenbank. Die Darstellung kann dann trotzdem in einem Browser erfolgen, z.B. mittels eines PHP-Scripts, das dann resourcenschonend nur 20...30 Datensätze auf einmal ausgibt. Oder Alternativ, und ohne die Notwendigkeit eines Servers, sollte sich das mittels Ausgabe als XML und Transformation mit Hilfe von XSLT realisieren lassen. Wobei ich mir da Bezüglich der Begrenzung der Ausgabe auf browsertaugliche Häppchen nicht ganz sicher bin.

    Zitat von .Ulli

    FF braucht halt seine 2.1 GByte Speicher

    Dann hat ja nicht viel gefehlt und ich hätte es komplett anzeigen können. Incl. Auslagerungsdatei stehen 2.5 Gbyte speicher zur Verfügung, davon waren etwas über 700 MByte beim Öffnen der Datei schon belegt.

    Ohne Vorgabe einer Auswertemöglichkeit ist es nur ein großes Datengrab.
    Aber dazu sollte das Pflichtenheft, incl. dessen Ersteller, auch eine Meinung haben.

    Ersteinmal vielen Dank für die Antworten und es ist für mich ja schon einmal erfreulich, dass man selbst so große Dateien doch noch öffnen kann (genügend Arbeitsspeicher mal vorausgesetzt).

    Der Grund, warum ich mich damals für ein HTML-Protokoll entschieden habe war, dass der Benutzer sich dort über interne Links besser zurechtfinden kann, bzw. sich gezielt bestimmte Abschnitte des Protokolls anzeigen lassen kann. Und da ich, was das Programm angeht, ein Ein-Mann-Entwickler bin und andere Erweiterungen momentan auch wesentlich wichtiger sind, werde ich wohl bei der Unterteilung in mehrere Dateien bleiben. Und zum Glück sind solche umfangreiche Berechnungen auch nicht die Regel, so dass ich mit der Lösung dann wohl doch leben kann.

    Die Auswertung der Ergebnisse erfolgt natürlich, über eine entsprechend anschauliche Grafik, durch das Programm selber, so dass das Protokoll wirklich nur zu Archivierungszwecken oder dem genauen nachlesen der Werte dient.

    Wie gesagt, ging es mir ja auch hauptsächlich darum, ob FF solch große Dateien überhaupt händeln kann, was ja anscheinend auch der Fall ist. Insofern, nochmals danke für die Antworten. :)