Wie am besten große Datenmengen verwalten

[Morty]

Danke an alle für die Anregungen.

Okay, dass das Unsinn ist alle Daten als Rohdaten in die DB zu schreiben hatte ich ja schon im Gefühl. Davon bin ich jetzt auch weg.

Jetzt besteht aber folgendes Problem, welches ich anfangs nicht so erleutert hab:
Die Datenbank soll als Schnittstelle zwischen User und den eigentlichen Daten auf dem Server dienen. Der User fragt (indirekt) die Datenbank, was hab ich für Dateien. Gibt (indirekt) über die Datenbank Befehle wie Löschen, Umbenennen und so.
Auf der anderen Seite muss das Programm welches die Datenbankkommunikation übernimmt auch vorher entscheiden, darf der User die Datei auf den Server legen?! Programmiertechnisch nicht das Problem, nur wie löse ich das Problem im Netzwerk?
Der Server ist ein via Netzlaufwerk verbundener Ordner. Ich schaue da so in Richtung - Rechtverwaltung, Lese/Schreib Zugriffe.

Hat einer eine Idee, oder kennt sich damit ein bissl aus?

Danke und Gruss, Morty

[Kaeru Gaman]

Für eine Medienfirma ist das doch relativ wenig
...
Die Daten bleiben im Dateisystem. Gespeichert werden lediglich Meta-Informationen der Daten

da widersprichst du dir doch (und auch ne menge andere postings in diesem thread)

wenn ich sinnvollerweise keine riesigen BLOBs in eine Datenbank packe,
dann wird das verdammt schwierig, 600GB zusammen zu bekommen.
deswegen habe ich ja gefragt, was für Daten die verwalten.
da könnte man nämlich die Adressen der gesamten Weltbevölkerung drin speichern.

wenn es sich aber um eine Medien-Firma handelt (was auch vorher nicht gesagt wurde, gell, selber ),
dann gehören diese vielen Daten auch nicht in die Datenbank,
sondern auf ein paar extra-festplatten,
mit zusätzlich mehreren Backups auf verschiedenen externen Datenträgern.
(von jedem Film oder Song zwei kopien auf verschiedenen DVDs und auf mindestens einem StreamBand)

in die Datenbank gehören eben nur Verwaltungsinformationen,
und da sind ein paar hundert MB garantiert genug,
wenn an Mediendaten nur 600GB anfallen.
600GB Verwaltungsdaten sind auch für eine Medienfirma unsinnig viel.
die CIA oder die NSA haben vielleicht so große Datenbanken, wenn überhaupt.

selber

[Deluxe0321]

@Morty
Hab gerade zeit da ich nicht schlafen kann (gewitter ist mir zu laut).
Deswegen ein paar Überlegungen von mir:

Muss das über einen freigegebenen Ordner laufen? Ich meine das selber
zu schreiben wäre ja auch nicht der Akt (ich weis, es ist ein haufen arbeit),
aber zumindest in der Theorie dürfte das doch einfach sein.

Schreibe einen Server der die Rechteverwaltung sowie Dateinverwaltung
(vll. noch Ordnerstruktur?) übernimmt. Somit kannst du auch mehrere
User an einer Datei arbeiten lassen ohne das größere Probleme auftreten.
Stell dir einen automatisierten FTP vor. Umständlich wäre im dem Fall,
dass die Umgebung nicht direkt in das OS integriert ist (was sicherlich
auch lösbar wäre, aber auch genauso sicher schwer umzusetzten wird).

Eine andere möglichkeit wäre das ganze zu überwachen. Nach der
Anmeldung läd sich der Client die Liste der Dateienberechtigungen runter
(darunter fallen nur die veränderbaren bzw. lesbaren Dateien). Durch
einen Hook überwachst du was im Netzlaufwerk passiert & lässt die Datei
nicht öffen etc. Wobei sich das als schwierig erweisen dürfte da ihr sicher
ein paar Mac's im betrieb stehen habt.

Die letzte überlegung meinerseits wäre einfach die in's OS integrierte
Rechteverwaltung zu benutzen.

Gruß Marvin

[bobobo]

Wenn der kunde ne MySQL-datenbank haben will und darin seine daten
komplett halten will, dann soll er doch. Gehen tut es und es ist letztlich
nur eine kostenfrage (hardware, büroinfrastruktur,..)

ich halte das sogar für ne gute lösung, weil es den verwaltungsaufwand
minimiert. Letztlich etwas sql-hexerei und gut ist. Gedatensichert is 'n
DB-Server auch recht angenehm.

Meine erste Frage wäre die nach dem Finanzrahmen.

[Morty]

Du hast recht, bobobo. Wenn der Kunde das so haben will, dann soll er es auch so bekommen.
Natürlich werde ich ihm auch noch einige andere Möglichkeiten aufzeigen. Hauptsache es springt für mich am Ende ein bissl Arbeit und ein bissl (mehr) Geld raus.

@Deluxe0321 aka Marvin:
Danke für Deine Anregungen, in diese Richtung werde ich auch mal weiter überlegen. Vielleicht lässt sich ja das ganze auch mittels einen kleinen Server/Client Tool realisieren.

Gruss, Morty

[Daniel P.]

da widersprichst du dir doch (und auch ne menge andere postings in diesem thread)

Nö, warum?

wenn ich sinnvollerweise keine riesigen BLOBs in eine Datenbank packe,
dann wird das verdammt schwierig, 600GB zusammen zu bekommen.

Das war IMHO auch gar nicht das Ziel. Es wurde die Frage gestellt, ob es Sinn macht, 600 Gigabyte Daten, die auf einem Netzlaufwerk gelagert werden, in eine MySQL-Datenbank zu speichern. Oder hab ich was falsch verstanden?

wenn es sich aber um eine Medien-Firma handelt ,
dann gehören diese vielen Daten auch nicht in die Datenbank,
sondern auf ein paar extra-festplatten,
mit zusätzlich mehreren Backups auf verschiedenen externen Datenträgern.
(von jedem Film oder Song zwei kopien auf verschiedenen DVDs und auf mindestens einem StreamBand)

Verwaltung != Datensicherung

600GB Verwaltungsdaten sind auch für eine Medienfirma unsinnig viel.
die CIA oder die NSA haben vielleicht so große Datenbanken, wenn überhaupt.

Nö, eine Datenbank mit 600 Gigabyte (sinnvollen) Daten zu befüllen, ist keine Kunst. Es gibt viele Firmen, die sehr große Datenbanken mit sehr viel Daten verwenden. Nicht die Datenmenge ist entscheidend, sondern die Relationen und die Indizes. Nur muss man sich fragen, was gehört in die Datenbank und was nicht. Und das war die Ausgangsfrage...

(was auch vorher nicht gesagt wurde, gell, selber )

selber

Der Smiley bezog sich nicht auf dich, sondern auf den Umstand, dass 600GB nicht viel sind. Das hier alles sofort persönlich genommen werden muss...

Wenn der kunde ne MySQL-datenbank haben will und darin seine daten
komplett halten will, dann soll er doch. Gehen tut es und es ist letztlich
nur eine kostenfrage (hardware, büroinfrastruktur,..)

Unsere Kunden (wir entwickeln auch Datenbanken mit MySQL) bekommen sowas sicherlich nicht. Bei solch einer Beratungs-Resistenz verlässt man lachend ganz schnell den Raum. Und wenn der Kunde verlangt, für Geld aus dem Fenster ... ne, irgendwo steht man schließlich hinter seinem Produkt und mit so einer Datenbank wollte ich mich nicht schmücken

[THEEX]

Unsere Kunden (wir entwickeln auch Datenbanken mit MySQL) bekommen sowas sicherlich nicht. Bei solch einer Beratungs-Resistenz verlässt man lachend ganz schnell den Raum. Und wenn der Kunde verlangt, für Geld aus dem Fenster ... ne, irgendwo steht man schließlich hinter seinem Produkt und mit so einer Datenbank wollte ich mich nicht schmücken

Genau!

[bobobo]

@daniel p. und theex : Deshalb hat morty ja auch den job und nicht ihr.

[THEEX]

@bobobo
Da liegst aber auch wieder falsch, denn einen ähnlichen Job hab ich....