Backup-Download-Dateien-Dienst

Hier kann alles mögliche diskutiert werden. Themen zu Purebasic sind hier erwünscht.
Flames und Spam kommen ungefragt in den Mülleimer.
pyromane
Beiträge: 276
Registriert: 09.09.2010 14:10

Re: Backup-Download-Dateien-Dienst

Beitrag von pyromane »

Also einen Dienst der meinen Server Spiegelt oder bestimmt Verzeichnisse fände ich Top. Aber eher für mich als Backup. Ich hatte auch schonmal an ein PureBasic Programm gedacht welches das macht aber das Problem dabei ist meine Internet Verbindung. Weil wenn ich das Programm zum Beispiel in den Autostart verfrachte wird mein PC beim start langsam da er einiges runterladen darf.

Also so ein Projekt kann ich nur unterstützen. Wenn es euch was nützt könnte ich 500-100 MB beisteuern.
PureBasic 5.21 LTS auf Windows 7 x64 (Intel i5 2500K, 8GB Ram, Nvidia GTX 780)
Benutzeravatar
TomS
Beiträge: 1508
Registriert: 23.12.2005 12:41
Wohnort: München

Re: Backup-Download-Dateien-Dienst

Beitrag von TomS »

Heyho.
Wie schaut's aus, wird daran gearbeitet oder nicht?
Wenn nicht, dann würd ich mich mal dran machen. Unterstützung von PHP'lern oder wer sonst seinen Senf dazu geben will, ist willkommen.

Ich schildere mal kurz, wie ich mir das vorstelle und dann könnt ihr kommentieren, Hilfe anbieten etc...

Das Script nutzt die cUrl-lib. Das hat auf Anhieb gut geklappt mit dem Dateien von anderen Servern kopieren. Ich denke cUrl ist auf den meisten Servern installiert.

Alle Mirror sind gleichwertig. Man sollte schauen, dass man alle Mirror gleich bewirbt.
Wenn jeder immer nur M1 benutzt, kennt bald niemand mehr die Adresse von M2
und dann muss man wieder warten, bis irgendwem die anderen Adressen einfallen,
bevor man die Daten kommt.

Jetzt zum eigentlichen Ablauf:
Dateien werden nur vom Serverbetreiber hochgeladen.
Damit wird hoffentlich verhindert, dass alles mit MP3's und so vollgemüllt wird.
Dateitypen überprüfen bringt's nicht wirklich, weil man seine PB-Projekte ja gerne mal zippt.
Vor allem Spiele mit vielen Graphiken etc.
MP3 etc gezippt würde dann auch hochgeladen werden können.
Die Zip auf dem Server zu entpacken um den Inhalt zu kontrollieren, halte ich für zu aufwändig.

Datei wird also hochgeladen.
Dateiliste auf dem Server wird aktualisiert.
Mit Checksumme (erlaubt Updates der Files mit gleichem Dateinamen und der Upload von identischen Dateien wird abgelehnt).
Das Script schickt dann ein Signal an die übrigen Mirrors.
Diese holen sich die daraufhin die Dateiliste von dem Server, der das Signal geschickt hat,
gleichen sie mit der eigenen ab und holen sich die neuen/updated Dateien.

Fragen, Kommentare und arbeitswütige PHP-Progger melden sich bitte JETZT :)
pyromane
Beiträge: 276
Registriert: 09.09.2010 14:10

Re: Backup-Download-Dateien-Dienst

Beitrag von pyromane »

Das mit dem Uplaoden vom Admin halte ich für eine schlechte Idee. Lieber eine maximale Dateigröße und erlaubte Dateiformate. Denn Der Admin kann mal offline sein oder wird auch nicht immer Lust haben. Ich dachte auch das man komplette Website spiegeln kann?
PureBasic 5.21 LTS auf Windows 7 x64 (Intel i5 2500K, 8GB Ram, Nvidia GTX 780)
Benutzeravatar
TomS
Beiträge: 1508
Registriert: 23.12.2005 12:41
Wohnort: München

Re: Backup-Download-Dateien-Dienst

Beitrag von TomS »

pyromane hat geschrieben:Denn Der Admin kann mal offline sein oder wird auch nicht immer Lust haben.
Deswegen gibt's ja die Mirror. z.B. realsource.de/mirror und rsbasic.de/mirror und mirror.meinereiner.tld
Jetzt können ts-soft, edel, und Kiffi (ich hoffe ich hab keinen vergessen) eine Datei auf realsource hochladen oder RSBasic lädt sie auf seinen Server hoch, oder ich auf meinen etc... Es gibt also mindestens so viele Leute mit Uploadberechtigung wie es Mirrors gibt.

z.B. könnte RSBasic auch STARGATE Upload-Rechte geben. Dann hätten wir also 3 Mirror und 6 Uploader.
Es geht nur darum, kein öffentliches Upload-Formular zu haben, wo dann jeder seinen Müll hochladen kann.

Auch eine maximale Dateigröße halte ich für Quatsch.
Z.B. kann eine MP3-Datei (um bei dem Beispiel zu bleiben) 4MB "klein" sein und ein Spiel mit vielen Graphiken und sounds schonmal 20 oder 50MB haben.
pyromane
Beiträge: 276
Registriert: 09.09.2010 14:10

Re: Backup-Download-Dateien-Dienst

Beitrag von pyromane »

Mit Uplaod Begrenzung mein ich auch nicht 20 MB sondern eher 100 MB. Und mit dem Enpacken/Analysieren sehe ich kein Problem.
PureBasic 5.21 LTS auf Windows 7 x64 (Intel i5 2500K, 8GB Ram, Nvidia GTX 780)
Benutzeravatar
TomS
Beiträge: 1508
Registriert: 23.12.2005 12:41
Wohnort: München

Re: Backup-Download-Dateien-Dienst

Beitrag von TomS »

100MB. Das bringt's ja dann voll. Da kann ich ja die ganze Bravo hots CD 1 hochladen.
Erstens dauert das Entpacken lang und zweitens: Wie soll man unterscheiden, ob die EXEs oder MP3s oder Videos oder PDF-Files raubkopierte Dateien sind, oder zum Spiel gehören?

Lieber haben nur ein paar Leute Uploadrechte. Wer sein Zeug hochgeladen haben will, kann ja z.B. in einem extra dafür erstellten Thread posten.
Einen Kompromiss sehe ich darin, dass Leute ihre Datei dann selber updaten können.
Benutzeravatar
edel
Beiträge: 3667
Registriert: 28.07.2005 12:39
Computerausstattung: GameBoy
Kontaktdaten:

Re: Backup-Download-Dateien-Dienst

Beitrag von edel »

Ich hatte mir das so vorgestellt :

Ein Server auf dem die Software laeuft, dort kann ein User sich anmelden und seine "Softwarepakte" verwalten. Der Admin der Serversoftware kann ein Mirror hinzufuegen.
Wird ein neuer Mirror hinzugefuegt, wird das den anderen Servern mitgeteilt. Ebenfalls wird ihnen mitgeteilt wenn ein neues Paket online geht, es geloescht wird, oder einfach nur ein Update erfolgte, ob nun vom User oder Admin. Am besten schoen in einem "Ring", also ein Server teilt nur einem anderen Server etwas mit, antwortet dieser nicht, wird der Naechste genommen. So verteilt sich der Traffic besser.

Ob man einen User manuell freischaltet oder nicht, sollte erstmal nicht die grosse Rolle spielen, auf jeden Fall soll er sich aber selber um sein Krempel kuemmern.

Bei der Serversoftware kann leider keiner von uns dreien helfen, da wir alle, mehr oder weniger, php-nieten sind. Vorzugsweise koennte man aber auch gleich alles fuer eine kleine client-api vorbereiten, so kann man dann auch mit PB z.b. ein CLient-Programm schreiben.
Benutzeravatar
TomS
Beiträge: 1508
Registriert: 23.12.2005 12:41
Wohnort: München

Re: Backup-Download-Dateien-Dienst

Beitrag von TomS »

Hm.
Ich befürchte halt, dass weit mehr als die Hälfte des Platzes für nicht-PB Zeug drauf geht.
Und nachdem es für Bilder- und Videohosting genug Anbieter gibt,
werden die unbekannten Dienste für Filesharing etc benutzt.

Das mit dem Ring ist allerdings ne gute Idee. Ich werde mal sehen, wie sich das umsetzen lässt.

Wie meinst du das mit "einen PB-Klient schreiben"?
Die Software hat an sich ja kein UI. Bis auf ein upload-Interface und die öfftl. Dateiliste.
Im Hintergrund ist ja alles selbst-verwaltend.
Im Grunde muss man später nur noch Server hinzufügen und Dateien hochladen.
Ansonsten braucht man sich um nichts zu kümmern.
Deswegen weiß ich grade nicht, welche Funktionen die Api bieten soll.
Benutzeravatar
ts-soft
Beiträge: 22292
Registriert: 08.09.2004 00:57
Computerausstattung: Mainboard: MSI 970A-G43
CPU: AMD FX-6300 Six-Core Processor
GraKa: GeForce GTX 750 Ti, 2 GB
Memory: 16 GB DDR3-1600 - Dual Channel
Wohnort: Berlin

Re: Backup-Download-Dateien-Dienst

Beitrag von ts-soft »

Wie wäre es mit nur einem Server, der die Dateien per Torrent zur Verfügung stellt? So nimmt jeder aktiv Teil.
PureBasic 5.73 LTS | SpiderBasic 2.30 | Windows 10 Pro (x64) | Linux Mint 20.1 (x64)
Nutella hat nur sehr wenig Vitamine. Deswegen muss man davon relativ viel essen.
Bild
Benutzeravatar
TomS
Beiträge: 1508
Registriert: 23.12.2005 12:41
Wohnort: München

Re: Backup-Download-Dateien-Dienst

Beitrag von TomS »

Das ist ja ein ganz neuer "Vertriebsweg".
Mit Magnet-URLs könnte man dsa ganze doch sogar ohne extra Server direkt hier im Forum machen, oder?
Antworten