Embedded Files
Verzeichnis dieser Seite
Verzeichnis dieser Seite
Upload ohne vorheriges Einpacken in ein ZIP-Archiv
Upload ohne vorheriges Einpacken in ein ZIP-Archiv
Mein Webserver ist bei Goneo, Minden gemietet. Der Webserver läuft mit PHP-Version: 7.2
Der Upload der über 93.000 Dateien mit Filezilla dauerte bis Juli 2020 etwas über 60 Minuten.
Das Upstream-Tempo erreichte im Schnitt 3,3 Mbit/s.
Die mögliche Upload-Geschwindigkeit war nur zu 28% genutzt. Nachprüfbare Ursache für das geringe Tempo sind die vielen kleinen html-Dateien des Ortsfamilienbuchs.
Diese 60 Minuten zum Hochladen der Dateien sind ersetzt worden durch
Einpacken der vielen Dateien 25 Sekunden
Hochladen der Zip-Datei 200 Sekunden
Auspacken auf dem Webserver 15 Sekunden
Summe 240 Sekunden = 4 Minuten
Abb. 24: Automatisiert im Workflow mit BatchRun. Startet als letzte Zeile “OFB_7z_WinSCP.bat”.
Einpacken mit 7z
Einpacken mit 7z
Die vier Sprachen = 93.328 Dateien werden eingepackt innerhalb von 25 Sekunden.
OFB_7z_WinSCP.bat
OFB_7z_WinSCP.bat
@ECHO OFFrem OFB_7z_WinSCP.batSET titel=Komprimieren und Upload der OFB-Dateien SET log="C:\Krasna-Personenbericht\kpc-zip\Protokoll.log"SET prog="C:\Program Files (x86)\7-Zip\7z.exe"SET ziel="C:\Krasna-Personenbericht\kpc-zip\"SET basis="C:\Krasna-Personenbericht\krasna\"title %titel%ECHO %titel% > %log%ECHO ON
rem Abschnitt mit 7z --------------------------------------ECHO Beginn mit 7z %date% - %time% >> %log%del %ziel%ofb-alles.zi*%prog% a %ziel%ofb-alles.zip %basis%* >> %log%ECHO Fertig mit 7z %date% - %time% >> %log%
rem Abschnitt mit WinSCP ----------------------------------ECHO Beginn mit WinSCP %date% - %time% >> %log%@ECHO OFF"C:\Program Files (x86)\WinSCP\WinSCP.com" ^ /log=%log% /ini=nul ^ /command ^ "open ftpes:// ... @otto-riehl.de:990/ -certificate="" ...:..."" -rawsettings ProxyPort=0" ^ "put "C:\Krasna-Personenbericht\kpc-zip\ofb-alles.zip"" ^ "put "C:\Krasna-Personenbericht\kpc-zip\Protokoll.log"" ^ "exit" title Upload mit WinSCP ist fertig.set WINSCP_RESULT=%ERRORLEVEL%
ECHO ONECHO Errorlevel von WinSCP ist %WINSCP_RESULT% >> %log%if %WINSCP_RESULT% equ 0 (echo Erfolgreich mit WinSCP hochgeladen)>> %log% else (echo Error)
ECHO Fertig mit WinSCP %date% - %time% >> %log%ECHO OFFECHO -------------------------------------------------------------------------- >> %log%
rem Kopie für FamilyGTG auf Smartphone-------------------------------ECHO Für FamilyGTG auf Smartphone Kopie von "..\GedMapPro\krasna gedcom_u_adt_mpl.ged" auf (G:)Google Drive File Stream >> %log%Copy "R:\Archiv\GEDCOM OFB\GedMapPro\krasna gedcom_u_adt_mpl.ged" "G:\Meine Ablage\FamilyGTG\krasna gedcom_u_adt_mpl.ged"
rem Abschnitt öffnen Unzip----------------------------------%log%
"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" "https://personreport.krasna-photo-collection.de/zip/unzip.php"
rem Abschnitt mit 7z --------------------------------------ECHO Beginn mit 7z %date% - %time% >> %log%del %ziel%ofb-alles.zi*%prog% a %ziel%ofb-alles.zip %basis%* >> %log%ECHO Fertig mit 7z %date% - %time% >> %log%
rem Abschnitt mit WinSCP ----------------------------------ECHO Beginn mit WinSCP %date% - %time% >> %log%@ECHO OFF"C:\Program Files (x86)\WinSCP\WinSCP.com" ^ /log=%log% /ini=nul ^ /command ^ "open ftpes:// ... @otto-riehl.de:990/ -certificate="" ...:..."" -rawsettings ProxyPort=0" ^ "put "C:\Krasna-Personenbericht\kpc-zip\ofb-alles.zip"" ^ "put "C:\Krasna-Personenbericht\kpc-zip\Protokoll.log"" ^ "exit" title Upload mit WinSCP ist fertig.set WINSCP_RESULT=%ERRORLEVEL%
ECHO ONECHO Errorlevel von WinSCP ist %WINSCP_RESULT% >> %log%if %WINSCP_RESULT% equ 0 (echo Erfolgreich mit WinSCP hochgeladen)>> %log% else (echo Error)
ECHO Fertig mit WinSCP %date% - %time% >> %log%ECHO OFFECHO -------------------------------------------------------------------------- >> %log%
rem Kopie für FamilyGTG auf Smartphone-------------------------------ECHO Für FamilyGTG auf Smartphone Kopie von "..\GedMapPro\krasna gedcom_u_adt_mpl.ged" auf (G:)Google Drive File Stream >> %log%Copy "R:\Archiv\GEDCOM OFB\GedMapPro\krasna gedcom_u_adt_mpl.ged" "G:\Meine Ablage\FamilyGTG\krasna gedcom_u_adt_mpl.ged"
rem Abschnitt öffnen Unzip----------------------------------%log%
"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" "https://personreport.krasna-photo-collection.de/zip/unzip.php"
Protokoll.log
Protokoll.log
Komprimieren der OFB-Dateien Beginn 12.08.2020 - 10:18:49,64 7-Zip 19.00 (x64) : Copyright (c) 1999-2018 Igor Pavlov : 2019-02-21Open archive: C:\Krasna-Personenbericht\kpc-zip\ofb-alles.zip--Path = C:\Krasna-Personenbericht\kpc-zip\ofb-alles.zipType = zipPhysical Size = 27234993864-bit = +Characteristics = Zip64Scanning the drive:16 folders, 93328 files, 1336080561 bytes (1275 MiB)Updating archive: C:\Krasna-Personenbericht\kpc-zip\ofb-alles.zipAdd new data to archive: 16 folders, 93328 files, 1336080561 bytes (1275 MiB)Files read from disk: 93328Archive size: 272349938 bytes (260 MiB)Everything is OkFertig 12.08.2020 - 10:19:14,50
Upload mit vorherigem Einpacken in ein ZIP-Archiv
Upload mit vorherigem Einpacken in ein ZIP-Archiv
Variante 1) Manuell starten mit Filezilla
Variante 1) Manuell starten mit Filezilla
In Filezilla ist ein Lesezeichen eingerichtet für ”KPC - Alle vier Personenberichte”.
Abb. 25: Ordnerstruktur von %basis%: in Filezilla.
Abb. 26: Fritz.box zeigt für den Upstream die volle Nutzung der verfügbaren Bandbreite.
Filezilla zeigt die benötigte Zeit und die durchschnittliche Upload-Geschwindigkeit.
1,4 Mebibyte (MiB) = 11744,1 Kilobit (kbit)
Die Zip-Datei wird hochgeladen innerhalb von 199 Sekunden.
Variante 2) Automatisch starten mit WinSCP
Variante 2) Automatisch starten mit WinSCP
Abb. 27: Die Zip-Datei wird mit WinSCP innerhalb von 197 Sekunden hochgeladen.
Abb. 28: WinSCP unterstützt sehr komfortabel den Code für eine Batch-Datei zu generieren.
Siehe in WinSCP unter Sitzung > Sitzungs-URL/-Code erzeugen.
Die Übertragung erfolgt mit dem verschlüsselten Protokoll FTPES. File Transfer Protokoll over SSL (Expliziter Modus).
Abb. 29: Meine angepasster Stapeljob “OFB_7z_WinSCP.bat”.
Abb. 30: Bildschirmanzeige vom OFB_7z_WinSCP.bat.
Batchrun-1_cmd.log (Schnipsel)
Batchrun-1_cmd.log (Schnipsel)
14.08.2020 15:52:49: Start Verarbeitung
50 Einträge zur Verarbeitung
14.08.2020 16:06:07: Ende Verarbeitung
Protokoll.log (Schnipsel)
Protokoll.log (Schnipsel)
Komprimieren und Upload der OFB-Dateien
Beginn mit 7z 14.08.2020 - 16:06:07,25
…
Files read from disk: 93328
Archive size: 272356567 bytes (260 MiB)
Everything is Ok
Fertig mit 7z 14.08.2020 - 16:06:38,90
Beginn mit WinSCP 14.08.2020 - 16:06:38,90
. 2020-08-14 16:06:38.995 WinSCP Version 5.17.7 (Build 10640)
…
. 2020-08-14 16:06:39.330 Copying 1 files/directories to remote directory "/" - total size: 272.356.567
. 2020-08-14 16:10:03.603 Hochladen erfolgreich
…
Errorlevel von WinSCP ist 0
Erfolgreich mit WinSCP hochgeladen
Fertig mit WinSCP 14.08.2020 - 16:10:03,66
Feststellung: Start Verarbeitung mit BatchRun 15:52 Fertig mit WinSCP 16:10 = Zeitbedarf 18 Minuten
Entpacken auf dem Webserver
Entpacken auf dem Webserver
Verzeichnisschutz .htaccess
Verzeichnisschutz .htaccess
Der Ordner personreport.krasna-photo-collection.de/zip/ ist mit einem Verzeichnisschutz (.htaccess) gegen unberechtigten Zugriff gesichert.
Das Programm Unzip entpackt überall hin. Der Anwender sollte schon wissen, was er vorgibt. Deshalb muss der Anwender Sorge tragen, dass die Anwendung nicht öffentlich erreichbar ist.
Abb. 31: Abfrage in Google Chrome
Abb. 32: Abfrage in Mozilla Firefox
PHP-Unzip-Script
PHP-Unzip-Script
Die Batch-Datei “OFB_7z_WinSCP.bat” startet mit der letzten Zeile auf dem Webserver das PHP-Unzip-Script “unzip.exe”.
Systemvoraussetzungen auf dem Webserver:
Ab PHP 5.2.0, PHP 7
Das PHP-Modul "zip" muss am Server installiert und aktiviert sein.
Im Konfigurationsbereich des php-Scripts können Variablen vorgegeben werden. Ich nutze diese:
$quelldatei_manuell = 'ofb-alles.zip';
$zielverzeichnis = '../';
Abb. 33: Anzeige von Unzip
Page updated
Report abuse