streamWriter

Fuzzlix

44 Posts

wrote on 30.07.15 at 12:38

Hallo zusammen.

Ich habe versucht für den Sender
WSHE She's Only Rock'n Roll (192kbps)
die Regex-Ausdrücke auf Eurem Server zu aktualisieren. Ich konnte die neuen Regex eintragen und der generierte Artist/Titel stimmt nun bei allen Titeln, die ich überprüfen konnte. Allerdings ist die Regex-Liste mit 8 Filterausdrücken recht lang und die ersten 2 Ausdrücke könnten entfernt werden, da redundant.

Wenn ich nun in dem Webformulat diese 2 ersten Ausdrücke mittels der Buttons entferne und danach die Speichern-Button drücke, bekomme ich vom Server eine Fehlermeldung und die beiden Ausdrücke werden nicht gelöscht.

Grüßerweisung.
Fuzzlix.

Yo24hua

727 Posts

wrote on 30.07.15 at 16:26 last edited by Yo24hua on 30.07.15 at 16:39

Hallo Fuzzlix,

Freut mich mal wieder von dir zu hören, ähmm zu lessen :-)

Da hast du dir ein besonders Schweres Thema ausgesucht was so wie du dir das vorstellst so einfach nicht lösbar ist. Ich befasse mich ja schon seit vielen Jahren sehr stark mit der Thematik und versuche sogar lösungen für Automatisierte Mechanismen zu erforschen.

Ein ganz grosses Problem weshalb solche scheinbar "veralteten" RegEx dort stehen ist in diesem Beispiel das man nur ein begrenzten Zeitausschnitt zu sehen bekommt. Der Sender gehört zu einer Sparte in denen mehrere Leute Arbeiten und jeder Schreibt nach seinen gedünken das Titelmuster in das Playlistenmanagement und das wechselt sich von Tag zu Tag, von Woche zu Woche. Deswegen wird einem die Sinnigkeit solcher RegEx auch nicht immer sofohrt Klar.

Ein Problem besteht allerdings Tatsächlich das Leute voreillig RegEx setzen die eine überschneidung bewirken bzw. sich sogar mit der zeit als sehr Schädlich Erweisen.

Somit ist unsereins mehr oder weniger dazu genötigt vor einer endgültigen Setzung von Parametern den Sender auch mal längere Zeit zu beobachten und zwischenotizen (so in der Art wie ich sie in meiner Datensammlung führe) zu machen. Ich Persönlich habe Mittlerweile ein sehr grosse Datensammlung angelegt in dennen viele Probleme auch deutlich erkennbar sind. Dies Datensammlung ist mittlerweile sogar von jeden hier "Einsehbar" und ist über meine Webseite zu finden.

Da ich nun mittlerweile sehr stark mit hochentwickelten "RegEx-Formeln" Arbeite kann ich in vielen fällen solche Multiblen Sendeformate recht gut ausmerzen. Das gelingt mir natürlich auch nicht immer Perfekt, denn auch ich mache natürlich Fehler. In einigen Fällen gelingt es mir trotzdem "Veraltete" Einträge gut zu überschatten.

Jedenfall das "Entfernen" scheinbar veralteter RegEx sollte so ohne weiteres auch gar nicht machbar sein. Ich stehe Persönlich sogar dazu, Alleine aus dem grund weil ich selber etwa 20 Jahre lang mit Datenverarbeitung zu tun hatte. Selbst Google und viele andere sperren sich im Prinzip aus benannten Gründen gegen eine Dauerlöschbarkeit defekter Einträge innerhalb ihrer Datenbanken.

Nun, wie kann man das Problem bewältigen:
Das ganze Allein auf Alex sitzen zu lassen ist bekanntlicherweise nicht mein Ding.

Eine möglichkeit wäre es solche Problematische Sender vor setzung von Parametern miteinander zu koordinieren. Das geht wohl auch nicht immer auf da es immer Leute geben wird die spontan etwas machen möchten.

Das ganze nur mir als Experte zu überlassen ist natürlich auch gar nicht gewollt, habe ich auch nicht die muse zu.

Andere wege fallen mir auch nicht ein die, Alex sowohl als auch mich, nicht übermässig belasten würden.

Automatisierung - Gedankengänge die zu einem Ausweg führen können:

1. Abgleichung: Automatischer abgleich mit der Titelsuchedatenbank.
2. Backsaving: Defekte RegEx werden vom Server markiert und entsprechende ebenen tiefer eingeordnet (nicht gelöscht falls der Sender das Format wieder nutzt).

Das ist nur ein winziger Ausschnitt meiner Gedankenprozesse, der allerdings so wie hier dargestellt wird auch wieder neue Probleme generiert. Das bringt auch nichts meine Entwicklungsgedanken hier vollständig darzulegen (zu komplex was dabei alles zu beachten ist - zuviel Arbeit die letztendlich "Nur" auf Alex liegen würde).

Man kann das vieleicht ein wenig Automatisieren in dem Schritt 1. vom Server durchlaufen wird und dem Benutzer eventuelle Probleme auf der "Daten setzen" seite angezeigt werden bevor ein endgültiges setzen erlaubt wird.

So ich beende das mal bevor ich hier noch mehrere DIN A4 Seiten gedenke schreiben zu wollen.
Lg Yoshi

P.S.:
Der Grundmechanismuss den Alex dafür schon gebaut hatte ist ja schon mal eine "Sehr" Gute sache.
Das muss an dieser Stelle wirklich noch mal gelobt werden ;-)

Legalität, Radio Verzeichnisse, Diskographie Verzeichnisse, Reguläre Ausdrücke, Videos...:
Yo24hua's streamWriter Special: > > > https://sites.google.com/site/yo24hua < < <

Alles mit Ruhe & Muse, denn Unmöglich sind nur die Dinge, die man nicht tut!
Befreie dich, Befreie dich, Befreie dich und du wirst deinen Weg finden!
··· ¥oæhua ···

Fuzzlix

44 Posts

wrote on 30.07.15 at 22:44

Ja, ich bitte darum, meinen Post auch nicht als Kritik zu verstehen. Wäre ich Alex, würdet Ihr mich standig sehen, wie ich mir voller Stolz mit der rechten Hand auf die linke Schulter klopfe ;)

Ich verstehe auch, dass regex mitunter etwas zickig ist. Einmal im Ton - ääh Zeichen - vergriffen und schon zickt es rum. Und gerade der von mir angesprochene Sender ist eine echt harte Nuss.

Wie sehne ich mich da nach meinem LPEG!
(Wie Ihr seht bin ich LUA-Fan. 8-)

Natürlich verstehe ich dass es zu viel Arbeit macht, extra einen LUA-interpreter in Streamwriter einzubauen. Aber vielleicht wäre es interessant die LPEG Möglichkeiten einmal auszutesten indem per stdio-pipe einem externen Consolmode-Programm die Filterarbeit überlassen wird? Das könnte ja eine Zeile von stdin lesen und 3 Zeilen für artist/album/titel nach stdout ausgeben.

Fuzzlix.

Yo24hua

727 Posts

wrote on 30.07.15 at 00:16

Nee, Ich habe dein Post auch nicht als Kritik angesehen! Mag sein das meine Ausdrucksweisen vieleicht ein wenig daneben getreten wirken, sind aber nicht so gemeint :-[

Diese LUA Angelegenheit ist mir bei meinen Recherchearbeiten auch schon öfters mal über den Weg gelaufen. Direkt befasst habe ich mich noch nicht damit, nur schon öfters mal flüchtig Doof dreingeschaut und ein wenig gelesen. Die Technikgrundlagen kommen mir jedenfalls recht bekannt vor. Insgesammt betrachtet macht mir das nicht den Eindruck das man damit zig Tausende verschiedene Stringformatierungen wirklich vollautomatisch und so einfach lösen könnte.
Ich denke man wird auch da Mehrfach Abgleiche mit vorhandenen Einträgen aus der Titelsuche-Datenbank mit einbeziehen müssen ohne dem sehe ich da kaum eine Chance.

Aber du hast mich jetzt doch mal Neugierig gemacht:
Hast du mal ein Beispiel Script mit dem Speziel der von dir genannte Sender gelöst werden kann?
Ich komme aus der C++ Ecke und verstehe die Materie recht flüssig.

Gruss & Nix für Ungut
Yoshi

Fuzzlix

44 Posts

wrote on 31.07.15 at 09:51 last edited by Fuzzlix on 31.07.15 at 10:14

Also mal ganz allgemein:
LPEG ist ein Zusatzmodul für LUA gedacht um Zeichenketten zu durchsuchen, zu filtern, zu konvertieren, usw.
Wenn ich LPEG mit regex vergleichenm will dann kann ich sagen: LPEG kann alles was regex kann und VIEL mehr. Denn die Philosophie dahinter ist eine ganz andere. Du schreibst nicht irgend einen filterausdruck der dann abgearbeitet wird sondern du schreibst mithilfe der Funktionen des LPEG-Modules eigene kleine LUA-Programmschnipsel, die deine Eingabezeichenkette verwursten. Die Philosophie dahinter war mir komplett neu und es brauchte ein paar Tage des Einarbeitens. Wenn Du aber erst einmal das Prinzip verstanden hast, dann gibt es nichts was nicht geht. (Naja jedenfalls habe ich noch nichts unmögliches gefunden.) Die menge der LPEG-Funktionen ist klein und damit schnell zu lernen. Das Geniale ist die Kombinierbarkeit der Möglichkeiten, sodass das eigendlich Begrenzende Deine Vorstellungskraft ist.

Im Endeffekt heist das dann, dass wir wo wir heute einen regex-Ausdruck schreiben in Zukunft ein kleines LUA-Programmschnipsel schreiben müssten, welches die LPEG-Funktionen aufruft. Da könnten 10..20 Programmzeilen pro Sender zusammen kommen. Eventuell können widerkehrende Pattern schon global vordefiniert werden und allen Filtern zur verfügung gestellt werden, was den Aufwand pro Sender reduziert. Im besten Fall würde dann ein Lua-Einzeiler pro Sender genügen.

Das können wir gerne an einigen Beispielen einmal austesten. Das sollten wir dann aber vielleicht direkt per email machen.

Hier für Dich noch ein paar einführende Links zu dem Thema:
LPEG-Vortrag als PDF
einige Beispiele

Grüsse.
Fuzzlix.

Yo24hua

727 Posts

wrote on 31.07.15 at 15:13 last edited by Yo24hua on 31.07.15 at 15:39

Da gibt es unendlich viele Quellen darüber die das bestätigen was du da schreibst.
Es ist mir jedoch schon zuvor bewust gewesen das LUA/LPEG wesentlich Leistungsfähiger als Entwicklungsumgebung gegen über RegEx ist. Wie ich schon anmerkte komme ich aus der C++ Ecke und muss sogar sagen das die LUA angelegenheit für mich sogar leichter zu verstehen ist als der "Delphi" Käse (Sorry Alex). So wie ich das gelesen bzw. in diversen Beispielen auch gesehen habe ist da eine anlehnung an C++ ersichtlich und auch gegeben.

Deine Gedanken die du dazu hegst haben jeden falls sehr viel Potential. Das "Pattern" Module sogar wichtig sind, ist eh oder je Grundlage jeder Entwicklungsarbeit.

Interresant wäre die Tatsache das man damit auch auf die Titelsuche-Datenbank zurückgreifen könnte und auch Abgleiche nach dem "Mehrheitsprinzipien" (Schnittmengentechnik) recht leicht Automatisieren könnte. Ich gehe ganz schwer davon aus SQL-Datenbanksysteme damit integrierbar, besser gesagt lesbar, sind.

Wie es auch immer kommen mag, sehe ich meine Vorarbeiten und vor allen dingen meine Datensammlung als nützlich an.

Leider hab ich das Problem wenig zeit dafür Opfern zu können. Ich habe die Macke mich sehr stark für Behinderte Menschen einzusetzen. Der "Menschliche" Faktor ist mir in vergangenheit etwas wichtiger geworden, von daher werde ich wohl auf dein Angebot im EMail/Chatrooming verkehr etwas zu machen, bzw. an Direkter Entwicklungsarbeit teil zu nehmen, wohl nicht eingehen können.

Wie auch immer, Schaun wir mal wie es kommt. Hilfestellung wird es meinerseits, so lang ich kann, immer geben. Ich folge jeden falls meinem Motto "Alles mit Ruhe & Muse"!

Lg Yoshi

P.S.:
Hattest du dir meine Datensammlung (s. Link unten) schon mal angesehen?
Bzw. "Probleme & Fehler" insbesondere wegen den Nummerics ist da recht Relevant!

Fuzzlix

44 Posts

wrote on 31.07.15 at 16:23

Ich hatte mir Deine Webseite schon angeschaut. Was ich gut brauchen könnte wäre eine Textdatei mit möglicht schwierig zu verarbeitenden Songinfos. Die könnte ich mir auch aufwändig händig erstellen aber vielleicht habt Ihr ja so was herumzuliegen.
Den parser in lua zu schreiben wäre kein Problem. auch ihn in eine kleine Consolen-exe zu packen ist schnell gemacht. Nur den Parser aufzurufen, wäre halt die Aufgabe von Alex.

Ein einfaches Grundgerüst habe ich geschrieben und hänge es hier mit an den Post. Zumindest könnt Ihr Euch damit einen Eindruck verschaffen, wie das Ganze einmal aussehen könnte.

Fuzzlix.

filter.lua (1.4 KB, 1390 times downloaded)

Yo24hua

727 Posts

wrote on 31.07.15 at 22:07 last edited by Yo24hua on 31.07.15 at 22:07

Das Gerüst sieht ja schon einmal ganz gut aus!

Allerdings, willst du dir das für zig Hundert Sender so auf der Basis antun?
Oder möchtest du das nur für reine Lernprozzesse so machen?

Ich hab dir mal was via P.M. aus meiner Sammlung zugesannt!

Fuzzlix

44 Posts

wrote on 31.07.15 at 23:01 last edited by Fuzzlix on 31.07.15 at 23:08

Naja eine Hauruck-Aktion wird es wohl nicht werden - eher eine alternative zum regex.
So könnte ich mir vorstellen, dass in den Streameinstellungen/Filter eine Kommandozeile angegeben werden kann, die dann anstelle der regex genommen wird um die streaminfo zu zerlegen.
Da könnte dann anfänglich bei einigen wenigen Streams die Filterausdrücke optimiert werden, zum einen der standard/fallback sodass er auf möglichst viel passt und zum anderen der oder die streamspezifischen Filter.
Wenn das dann funktioniert, kann man ja weitersehen.

Fuzzlix.

p.s.
ja Deine Testmuster sind recht anspruchsvoll - sehr gut zum testen. Danke.

Yo24hua

727 Posts

wrote on 31.07.15 at 00:16

Bitte sehr ;-)

Ich würde sagen, Experimentiere ruhig fleissig weiter damit!
Früher oder Später wirst auch du feststellen das man mit dem Ansatz sehr schnell an grenzen stösst, 20 Jahre Erfahrung sagen dir das hier!

Ich versuche weiterhin die Darlegung der Grundbausteine zur Automatisierung via "Schnittmengentechnik" etc. aus dem DESTRON©-Kern zu generieren. Aus Urheberrechtlichen Gründen bin ich da vor einiger zeit leider an Grenzen gestossen worden die das Hinauszögern und mich zwingen das zu Modifizieren, kann also noch etliche Zeit dauern, soll dann alles "Free under License of GPL" stehen. Zeit genug für dich fleisig zu Lernen & Experimentieren.

Ich beende das hier mal befor der Server mit unsern Texten noch Platzen Tut (Ironie) und Alex ne Mega Krise bekommt =-)

Lg Yoshi

First

Last

streamWriter

Board>Bugs>Fehler in "stream - Daten setzen" ?