XF2.3 Wie größere Menge AddOns zeiteffizient/im Batch installieren/updaten?

[smallwheels]

Mit dem Erscheinen von 2.3.8 möchte ich den Schritt von 2.2 auf 2.3 machen. Dazu müssen auch zahlreiche AddOns upgedated werden und es kommen eine kleine Menge neue hinzu - insgesamt sind es zwsichen 20 und 30, die gegenüber der letzten 2.2er Version hochgezogen werden müssen oder neu dazu kommen. Das Testen vorab hat gezeigt: Die Installation des XF-Updates selbst geht ziemlich flott, überraschenderweise. Die anschliessende Updaterei der AddOns ist hingegen eine wahre Klickorgie und dauert aggregiert zudem ziemlich lang. Kann man das irgendwie automatisieren/beschleuningen etc.? Ich las irgendwo immer mal wieder was von CLI-Tools, habe aber keine vernünftige Beschereibung eines Vorgehens oder Dokumentation der Tools/Befehle gefunden. In der Developer Doku

Development tools | Developer Documentation | XenForo

Developer documentation for XenForo

xenforo.com

steht ein bisschen was, viel schlauer hat mich das aber nicht gemacht. Indirekt habe ich etwas einem Bug Report von @Kirby entnehmen können:

xf-addon:upgrade causes fatal error if cwd is inaccessible by the user

If xf-addon:upgrade ist started via sudo from a directory that is inaccessible for the user a fatal error is triggered Upgrading XenForo Media Gallery from 2.3.5 to 2.3.5... Confirm upgrade? (y/n)y In Process.php line 356: [Symfony\Component\Process\Exception\RuntimeException] Unable to...

xenforo.com

Neben der Tatsache, dass das für mein Wissensniveau nicht als Doku reicht ;-) macht der Bug auch eher nervöser als zu ermutigen.

Zweck der Übung ist es, die Downtime, die bei diesem recht fetten Update zwangsläufig entsteht, so kurz wie möglich zu halten. Im Idealfall verringert es auch das Fehlerrisiko, daher die Bonusfrage: Kann man etwaige Konfigurationen von einem Template-/Testsystem, auf dem das Upgrade durchgeführt wurde, runterziehen und auf dem Livesystem am Stück einspielen (ggf. nach Anpassung des Configfiles)?


Das alles macht natürlich. nur Sinn, wenn der Arbeitsaufwand zur Vorbereitung nicht gen unendlich geht - ich muss ja nur ein Forum deployen und nicht hunderte... ;-)

Der Sicherheit halber: Bis dato habe ich Addons per sFtp auf den Server kopiert (typischerweise die jeweiligen src/js/etc. Verzeichnisse aus dem Upload-Folder der Addons). Spricht angesichts der Addonmenge was dagegen, bereits lokal src, js, etc. anzulegen, die Daten der zweiligen Addons da reinzuverklappen und das dann auf einen Schlag hochzuladen? Sollte ja eigentlich unproblematisch funktionieren, würde ich erwarten. Oder doch nicht? Die AddOns in ihren jeweils passenden Versionen habe ich bereits hier liegen vorbereiteterweise. Gibt es ein schlaueres Vorgehen? Die Variante via Uplad eines Zipfiles und installieren aus dem ACP klappte in der Vergangenheit eher mässig (evtl. aufgrund shared hosting) - löst mein Batchproblem aber ja eh nicht.

Bonusfrage: Ist es möglich bzw. eine gute oder doch eher eine blöde Idee Idee, mit mehreren Instanzen des ACP parallel zu arbeiten? D.h. während bei Nutzung via GUI in dem einen eine Templateanpassung läuft parallel in einem zweiten z.B. Konfigurationen vorzunehmen?

 

[otto]

Echt jetzt - wegen 20-30 Addons?
Ich würde das nicht mal in Erwägung ziehen zusammen zu fassen schon um mitzubekommen welches Addon ggf. Probleme macht.
Da bin ich vielleicht auch einfach old scool - eins nach dem anderen und zwischendrin schon mal grob schauen obs korrekt läuft. So mach ich das.

Bonusfrage: Ist es möglich bzw. eine gute oder doch eher eine blöde Idee Idee, mit mehreren Instanzen des ACP parallel zu arbeiten? D.h. während bei Nutzung via GUI in dem einen eine Templateanpassung läuft parallel in einem zweiten z.B. Konfigurationen vorzunehmen?

Aus bereits gesagtem schlussfolgernd hielte ich das nicht für die beste Idee. ;-)

 

[Hoffi]

Bonusfrage: Ist es möglich bzw. eine gute oder doch eher eine blöde Idee Idee, mit mehreren Instanzen des ACP parallel zu arbeiten? D.h. während bei Nutzung via GUI in dem einen eine Templateanpassung läuft parallel in einem zweiten z.B. Konfigurationen vorzunehmen?

Möglich? Technisch, ja. Funktioniert das immer reibungslos: Vermutlich nicht. Ich würde da dringend von abraten. Wenn zum Beispiel in zwei tabs gleichzeitig die Styles geupdated werden kann das unvorhergesehen folgen haben.

 

[smallwheels]

Ich las irgendwo immer mal wieder was von CLI-Tools, habe aber keine vernünftige Beschereibung eines Vorgehens oder Dokumentation der Tools/Befehle gefunden.

Mittlerweile habe ich immerhin ier eine Übersicht der möglichen CLI-Befehle gefunden:

XF 2 Command Line Functions - Updates

xenforo.com

Der Sicherheit halber: Bis dato habe ich Addons per sFtp auf den Server kopiert (typischerweise die jeweiligen src/js/etc. Verzeichnisse aus dem Upload-Folder der Addons). Spricht angesichts der Addonmenge was dagegen, bereits lokal src, js, etc. anzulegen, die Daten der zweiligen Addons da reinzuverklappen und das dann auf einen Schlag hochzuladen? Sollte ja eigentlich unproblematisch funktionieren, würde ich erwarten.

Mittlerweile habe ich das Update auf 2.3.8 durchgezogen und das dabei ausprobiert. Funktioinert (erwartungsgemäß), eine große Zeitersparnis ist es aber nicht (bei einer noch halbwegs überschaubaren Menge an Addons) und natürlich sollte man das nur machen, wenn der Pool an hochzuladenden Addons und deren Versionen fix ist, sonst kann man sich prima in den Fuß schiessen (i didn't). Falls das lokale Kopiertool kein Merging von Ordnerinhalten kann sondern überschreibt wird's noch lustiger - da ist der web das über einen sFTP-Client zu machen, der das kann, erheblich sicherer. Also wirklich nur begrenzt zu empfehlen.

Bonusfrage: Ist es möglich bzw. eine gute oder doch eher eine blöde Idee Idee, mit mehreren Instanzen des ACP parallel zu arbeiten? D.h. während bei Nutzung via GUI in dem einen eine Templateanpassung läuft parallel in einem zweiten z.B. Konfigurationen vorzunehmen?

Möglich? Technisch, ja. Funktioniert das immer reibungslos: Vermutlich nicht. Ich würde da dringend von abraten. Wenn zum Beispiel in zwei tabs gleichzeitig die Styles geupdated werden kann das unvorhergesehen folgen haben.

Das ist klar. Mir ging es um Zeitersparnis, weil einzelne Dinge ewig und drei Tage brauchen, z.B. der Import von Sprachen/Phrasen o.ä. und die Frage war, ob man die Zeit nutzen kann, um derweil an anderen Stellen z.B. Konfigurationen vorzunehmen. Es zeigt sich: geht problemlos. Take it with a grain of salt. Dass man nicht gleichzeitig parallel an denselben Stellen rumdengeln sollte ist klar.

Echt jetzt - wegen 20-30 Addons?
Ich würde das nicht mal in Erwägung ziehen zusammen zu fassen schon um mitzubekommen welches Addon ggf. Probleme macht.
Da bin ich vielleicht auch einfach old scool - eins nach dem anderen und zwischendrin schon mal grob schauen obs korrekt läuft. So mach ich das.

Das ist ja auf dem Testsystem, das zu 99,5% identisch ist, vorab geprüft worden. Ablaufen tut das so oder so ja seriell und mit passendem Skripting kann man den Prozess ja auch semiinteraktiv gestalten - z.B. mit laufender Logausgabe, was gerade passiert (falls die CLI-Tools das unterstützen - oder einem Prompt in Case of Error, einem break nach jedem Addon oder einem Logfile etc. etc. . Meiner Erfahrung nach ist ein sauber gescriptetes, zuvor getestetes automatisiertes Vorgehen weniger fehleranfällig als ein manuelles. Weil man beim manuellen was vergessen kann, was falsch machen oder spontan auf die Idee kommt, doch was anders zu machen als zuvor getestet - mit gelegentlich fatalen Folgen. Deswegen war damals [tm], als ich noch jung war und eine Weile lang beruflich Unix-Kisten der etwas sensibleren Sorte administriert habe, Skripten von Updates und Installationen auf Produktivsystemen der Normalzustand und alles andere eine Ausnahme. Anders kommst Du nicht zu einem verlässlich definiertem Zustand. Nur war das halt damals eine andere Liga an Kritikalität und in der Regel auch beliebig viele mehr als eine Kiste, die da betüddelt werden wollte (und GUI-Zugriff gab es eh auf kaum eine davon - die meisten hatten ohnehin gar keine). Und da Verlässlichkeit und Eindeutigkeit extrem wichtig waren konnte (und musste) man beliebig viel Zeit in die Vorbereitung, die Dokumentation, die Automatisierung und das Testen stecken. Die eigentliche Installation war dann immer harmlos, risikofrei und hat immer reibungslos funktioniert. War toll - aber eben anderere Voraussetzungen und Bedingungen. Nur weiss ich dadurch halt um den Charme von sowas im Vergleich zu den Klickaffen auf Webinterfaces zu geben und nutze das heute noch, wenn es mit vertretbarem Aufwand zu machen ist.

In meinem speziellen Fall (shared Hosting) kommt noch dazu, dass die Scriptlaufzeiten limitiert sind und das Frontend/ACP bei manchen Aufgaben eine lustige Animation zeigt, aber keine detaillierte Ausgabe, was genau es gerade tut. Manchmal hängt das Ding dann und es ist unklar, ob was auch immer es gerade im Hintergrund tut, sehr anstrengend ist und känger dauert (also alles ok ist), ob die ganze Chose abgeschmiert ist oder ob man z.B. in eine Laufzeitlimitierung des Hosters gerannt ist. Da lobe ich mir doch die Kommandozeile, zumal bei ssh die Laufzeiten eben deutlich großzügiger sind...

Auf dem Testsystem habe ich z.B. die Konvertierung der Attachment Thumbnails auf Retina ausprobiert. Waren etwas über 21.000 - das hat mehrere Stunden gedauert. Solange wollte ich die GUI ungern blockiert haben, wenn es denn überhaupt durchläuft.

 

[otto]

Normal testet man in einem Parallelsystem und bügelt das dann rüber auf die Produktivseite.

Mir pers. für mich gesprochen wäre das mit dem Scripting schon zu viel Aufwand, mit Schreiben, testen, korrigieren, testen, ... und dann musst jedes Addon ja doch ggf, alle Einstellungen prüfen.

Hut ab wenn du dass alles automatisieren kannst, mir wäre das zu heikel.

 

[smallwheels]

Normal testet man in einem Parallelsystem und bügelt das dann rüber auf die Produktivseite.

Und dann vergisst Du was oder beschliesst spontan ein Setting anders zu machen und schon sitzt Du in der scheisse. Wenn Du das bei einem Forum machst ist das ja noch überschaubar - wenn Du das z.B. auf 80 Firewalls oder anderen gehärteten Hochsicherheitssystem machst kannst du nie sicher sein, einen wirklich gleichen, zuvor definierten Zustand zu haben und im schlimmsten Fall hast entweder ein Loch drin oder Dich komplett ausgesperrt und dann muss im allerschlimmsten Fall einer auf einen anderen Kontinent fliegen und das manuell wieder grade ziehen. Mal ganz abgesehen vom zeitaufwand sowas bei x Systemen manuell einzeln zu machen.

Mir pers. für mich gesprochen wäre das mit dem Scripting schon zu viel Aufwand, mit Schreiben, testen, korrigieren, testen, ... und dann musst jedes Addon ja doch ggf, alle Einstellungen prüfen.

Das Skripting ist keine Rocket Science, wenn es die entsprechenden Befehle in sinnvoller Ausprägung gibt. Deshalb ja die Frage danach und auch danach, die Settings per Skript reinzuschiessen statt rumzuklicken. Ist halt eine Frage der Risikoabwägung: Wie wichtig ist mir ein eindeutig definierter Zustand und ein zu 100% reproduzierbares Setup? Wie viel Aufwand bin ich bereit dafür in Kauf zu nehmen? Was ist das Risiko, wenn der Zustand nicht eindeutig ist? Und was der daraus entstehende Zeitaufwand und ggf. finanzielle Schaden? Ich kenne kein professionelles Deployment, wo irgendwer manuell hinterher rumklicken müsste - viel zu aufwändig, viel zu risikoreich.

Hut ab wenn du dass alles automatisieren kannst, mir wäre das zu heikel.

Wie gesagt: Das Gegenteil ist der Fall und das mehr als eindeutig. Seit Dekaden. Ob das bei einem hobbymässig betriebenen kleinen Forum nötig und gerechtfertigt ist darüber wiederum kann man lange diskutieren.

 

[smallwheels]

Mittlerweile habe ich immerhin ier eine Übersicht der möglichen CLI-Befehle gefunden:

XF 2 Command Line Functions - Updates

xenforo.com

Der Vollständigkeit halber: Von Xon gibt es noch ein AddOn mit einem weiteren Set an CLI Befehlen für addons:

Extra CLI tools

atelieraphelion.com

 

[otto]

wenn Du das z.B. auf 80 Firewalls oder anderen gehärteten Hochsicherheitssystem machst

Ja, nee, is klar...

Mal ganz abgesehen vom zeitaufwand sowas bei x Systemen manuell einzeln zu machen.

Du sprachst von einem Forum und nun bist du bei ner Forum Farm in ner Hochsicherheitsumgebung angekommen?
Mich dünket, ich darf mich veralbert fühlen.

Das Skripting ist keine Rocket Science, wenn es die entsprechenden Befehle in sinnvoller Ausprägung gibt. Deshalb ja die Frage danach und auch danach, die Settings per Skript reinzuschiessen statt rumzuklicken. Ist halt eine Frage der Risikoabwägung: Wie wichtig ist mir ein eindeutig definierter Zustand und ein zu 100% reproduzierbares Setup? Wie viel Aufwand bin ich bereit dafür in Kauf zu nehmen? Was ist das Risiko, wenn der Zustand nicht eindeutig ist? Und was der daraus entstehende Zeitaufwand? Ich kenne kein professionelles Deployment, wo irgendwer manuell hinterher rumklicken müsste - viel zu aufwändig, viel zu risikoreich.

Wärend du hier die letzten Tage philosopiert hast, wie man es machen könnte, hab ich eines meiner Foren entspannt nach der Arbeit geupdatet - 42 Addons inside.
Wie weit ist dein Script?
Wie viele hochsicherheits Foren hast schon geupdatet damit?
Wie oft wirst du das dann erneut bzw. später beim nächsten Update anwenden können?
Wie safe ist es wenn Addons Updates bekommen haben in der Zwischenzeit oder musst das dann jedes mal erneut durchtesten und ggf. korrigieren?
By the way - Hochsicherheitsumgebung und zig Addons in den Foren, das beist sich schon a weng, meinst nicht?

Wie gesagt: Das Gegenteil ist der Fall und das mehr als eindeutig. Seit Dekaden. Ob das bei einem hobbymässig betriebenen kleinen Forum nötig und gerechtfertigt ist darüber wiederum kann man lange diskutieren.

Oh, verzeihe er mir kleinem Wicht meine Unwissenheit...
Wie wäre es wenn du deine Rahmenbedingungen (Hochsicherheitssystem mit 80 ? Firewalls und zig, wenn nicht gar tausenden offenbar extrem wichtigen Foren) vorab mal klar kommuniziert hättest? Du bist hier in nem Hobby-Forum unterwegs, nur mal so als Anmerkung.



Was ich halt weiterhin als Problem ansehe sind die Unterschiede bei größeren Versionssprüngen. In den Einstellungen der Addons, in Verträglichkeiten mit anderen Addons usw. Das ist ein wenig wie Chemie - je mehr Mischungspartner desto überraschender das Ergebnis am Ende.

Viel Glück beim scripten und updaten/upgraden dann noch!

 

[smallwheels]

Ja, nee, is klar...

Du sprachst von einem Forum und nun bist du bei ner Forum Farm in ner Hochsicherheitsumgebung angekommen?
Mich dünket, ich darf mich veralbert fühlen.

Wärend du hier die letzten Tage philosopiert hast, wie man es machen könnte, hab ich eines meiner Foren entspannt nach der Arbeit geupdatet - 42 Addons inside.
Wie weit ist dein Script?
Wie viele hochsicherheits Foren hast schon geupdatet damit?
Wie oft wirst du das dann erneut bzw. später beim nächsten Update anwenden können?
Wie safe ist es wenn Addons Updates bekommen haben in der Zwischenzeit oder musst das dann jedes mal erneut durchtesten und ggf. korrigieren?
By the way - Hochsicherheitsumgebung und zig Addons in den Foren, das beist sich schon a weng, meinst nicht?

Oh, verzeihe er mir kleinem Wicht meine Unwissenheit...
Wie wäre es wenn du deine Rahmenbedingungen (Hochsicherheitssystem mit 80 ? Firewalls und zig, wenn nicht gar tausenden offenbar extrem wichtigen Foren) vorab mal klar kommuniziert hättest? Du bist hier in nem Hobby-Forum unterwegs, nur mal so als Anmerkung.

Kannst Du nicht lesen oder bist Du vorsätzlich desktruktiv?

1. Ich habe gefragt, ob es Erfahrungswerte mit dem Skripten und Automatisieren von XF-Installationen gibt um herauszufinden, ob das a) überhaupt geht und b) mit erträglichem Aufwand machbar ist.
2. Gefragt habe ich das deswegen, weil ich das aus meiner beruflichen Vergangenheit kenne und als sehr nützlich kennengelernt habe. Und genau die habe ich daher kurz angerissen.
3. Das Vorgehen ist seit Jahrzehnten der Standard beim Rollout von Clients und Servern, bei der Administration und seit mindestens 15 Jahren auch beim Betrieb und der Entwicklung bzw. dem Deployment von Webapplikationen. Eine solche ist XenForo.
Damit Du nicht dumm sterben musst: Nicht nur die Software sonderna auch die Konfiguration zu zu deployen nennt man übrigens "configuration as code". Und das macht man deswegen, weil man beim manuellen Vorgehen x-fach immer wieder auf die Schnauze geflogen ist und mittlerweile hat (fast) auch der dümmste Webentwickler kapiert, dass Automatisierung hier dramatische Vorteile hat.
4. Der typische Hobbyadmin hat davon vielleicht noch nie was gehört (muss er ja auch nicht) und es wäre ihm eh zu aufwändig (sein gutes Recht). Gibt auch hauptberufliche Admins, die so agieren, die nennt man dann "Turnschuhadmin" (aus Gründen) und sie geniessen diplomatisch gesagt nicht gerade den besten Ruf.
5. Das ändert nichts daran, dass es im professionellen Umfeld der Standard ist aus Gründen der Effizienz (bei vielen oder wiederhlten Installationen - kann einem bei nur einem Forum egal sein) und der Verlässlichkeit und Reproduzierbarkeit der Installation - sollte einem lieber nicht egal sein.
6. Ein Update bzw. eine Administration über CLI statt über Webfrontend ist unabhängig von Automatisierung typischerweise effizenter und risikoärmer, weil eine Komponente, die hängenbleiben kann und eigentlich nur ein völlig unnötiger Abstraktionslayer ist (nämlcih die GUI) entfällt. Und da die Gui bei mir speziell beim Updaten der Phrases nach Sprachinstallation gerne mal hängenbleibt hat die Frage nach CLI einen sehr konkreten und begründeten Anlass.
7. Die Frage, ob das Skripten/Automatisieren bei einem einsamen Hobbyforum not tut und den Aufwand wert ist habe ich selbst in den Raum gestellt :

Ob das bei einem hobbymässig betriebenen kleinen Forum nötig und gerechtfertigt ist darüber wiederum kann man lange diskutieren.

Lustigerweise hat der hier durchaus geschätzte @Kirby just gestern drüben bei XF einen Featurerquest zum Import von Sprachen vie CLI gestellt:

Import & Expore langues via CLI

As of now it is possible to import & export style archives via CLI. This is great to prepare customizations on a development system and easily import them into staging / production. Unfortunately there currently is no import (and export) command for languages. If there are a bunch of Add-ons...

xenforo.com

Aber wahrscheinlich ist der auch nur ein Idiot, genau wie ich. Und auch wie Xon, der seine zusätzlichen CLI-Tools wohl auch nur geschrieben hat, weil er ein Depp ist, der die Maus nicht bedienen kann. Jedenfalls Deiner Meinung nach.

Vermutlich glaubst Du auch, dass die XF Kollegen bei ihrem Cloud-Angebot jedes einzelne gehostete Forum mit einer Mausklickorgie updaten oder installieren. Machen sie ganz bestimmt...

Was ich halt weiterhin als Problem ansehe sind die Unterschiede bei größeren Versionssprüngen. In den Einstellungen der Addons, in Verträglichkeiten mit anderen Addons usw. Das ist ein wenig wie Chemie - je mehr Mischungspartner desto überraschender das Ergebnis am Ende.

Hat halt genau null mit dem Threadthema zu tun. Das wird vorher auf dem Testsystem manuell geregelt (dafür ist es da) und die funktionierende Konfiguration gescripted und automatisiert deployed incl. der Konfiguration.

Viel Glück beim scripten und updaten/upgraden dann noch!

Du hast vor Deiner Pöbelorgie offenkundig eh nichtmal gelesen, was hier im Thread steht, sonst wüsstest Du, dass ich am vergangenen Wochenende bereits auf 2.3.8 upgedatet habe:

Mittlerweile habe ich das Update auf 2.3.8 durchgezogen

Wenn Du das alles per Mausschubserei mit all den dran hängenden Risikoen machen willst ist Dir das unbenommen. Funktioniert ja meistens auch. Hoffentlich. Auf die Frage nach der Möglichkeit für ein problemloseres Vorgehen, wie es seit Jahrzenten erwiesen und erprobt besser funktioniert mit so einer radikalen Ablehung und Pöbelei zu reagieren, wie Du das tust, zeugt dann doch von heftiger Engstirningkeit und sehr beschränktem Horizont, auf den Du offenbar auch noch stolz zu sein scheinst. Nicht mein Problem.


PS: Dass ich das Thema hier gepostet habe anstatt drüben war auch der Versuch, hier im forum mal wieder eine qualitiativ hochwertige Diskussion mit Mehrwert in Gang zu bringen und das Forum so mal wieder ein wenig zu beleben, nachdem u.a. Du die Ruhe hier beklagt hast. Nächstes mal frage ich lieber drüben nach Erfahrungswerten - da gibt es zwar vielleicht auch ein paar dumme Kommentare, aber wenigstens keine so strunzdoofen ignoranten Pöbeleien - und vermutlich ein paar Leute, die sich mit dem Thema schon beschäftigt haben.

 

[Hutschenreuter]

Nächstes mal frage ich lieber drüben nach Erfahrungswerten - da gibt es zwar vielleicht auch ein paar dumme Kommentare, aber wenigstens keine so strunzdoofen ignoranten Pöbeleien - und vermutlich ein paar Leute, die sich mit dem Thema schon beschäftigt haben.

Geht das auch freundlicher? Für mich kommst Du total arrogant rüber. Und andere aktive Teilnehmer so zu beleidigen, muß nicht sein. Ich habe von Otto in seinen Beiträgen immer wertvolle Tipps bekommen und er ist einer der wenigen, die dieses Forum noch am Laufen hält mit seinen Kommentaren.

Ist das ein Versuch, dieses Forum zu zerstören?

Als Super-Administrator sollte man sich wirklich fragen, ob das hier der richtige Umgang ist, weil wir anderen ja nur unwissende Idioten sind. Du magst vielleicht ein Fachmann sein (was ich nicht überprüfen kann), aber Anstand hast Du keinen.

 

[McAtze]

Ordnungsruf…

@smallwheels jetzt mach mal ein wenig langsamer mit deinen Aussagen.
@otto bitte auch du weniger harsch im Ton
@all wir bleiben beim Thema.