Grafana mit falscher Skala, wenn man rauszoomt

Wenn man einen bestimmten Knoten anzeigt unter http://graph.ffka.net/#/dashboard/file/pernode.json

und dann etwa 8 mal weiter rauszoomt (mit “Zoom out”), dann wird plötzlich deutlich weniger Traffic angezeigt. Wenn ich davon ausgehe, dass der Chart “Traffic integriert über den Zeitraum” sämtlichen Traffic im Zeitraum aufsummieren soll, dann kann es eigentlich nicht korrekt sein, wenn diese Kennzahl bei größerem Zeitraum abnimmt. Auch die anderen Charts müsste man sich diesbezüglich genauer ansehen, insbesondere den Chart “Traffic”.

Ist das Problem bekannt?

Grafana mittelt die vorhandenen Daten iirc um Traffic und Rechenleistung zu sparen. Desto weiter du rauszoomst, desto mehr Daten müsste Grafana laden und verarbeiten, was ab einger gewissen Menge an Daten dazu führend würde, dass das Laden ewig dauert und dir dein Browser einfriert weil er überlastet ist. Deshalb werden die Daten im Backend gemittelt (desto mehr Daten, desto größer die Zeitspanne über die gemittelt wird) und werden daher bei größerer Zeitspanne auch ungenauer.

Hallo psy,

ich kann Deine Erklärung leider so rein gar nicht nachvollziehen.

Wenn man über lange Zeiträume keine 5 Minuten-Auflösung braucht, ja dann packt man halt 12 mal 5 Minuten zusammen. Bei aufsummierten Daten ist das besonders einfach und ohne viel Hirnschmalz auf Papier zu bewerkstelligen. Das Datenvolumen zwölftelt sich bereits hier. Und es gibt hier keinerlei Notwendigkeit für Ungenauigkeiten, ist ja nur eine einfache Summe.

Analog kann man Tage berechnen, was das Volumen erneut 24stelt.

Was übrig bleibt, kann jeder Browser darstellen, ohne sich zu übernehmen.

Viel wichtiger scheint mir jedoch: Charts mit falschen Daten sind weitgehend unnütz. Dann sollte man die falschen Daten lieber nicht anzeigen, ab da wo es falsch wird. Es ist ja nicht nur ein bischen ungenau, sondern komplett falsch.

Die von Dir beschriebenen Probleme sind ansonsten in der Disziplin Data Warehouse zu verorten, und soweit auch ganz gut verstanden.

Habt Ihr den Code irgendwo rumliegen, und wenn ja, wo?

Den Code habe ich eben im Github nicht gefunden aber eine Beschreibung was passiert:

Die Frage wäre wo der Effekt passiert, in dem python-Script oder in den Frameworks die verwendet werden.

@xylou schreibt in dem von Dir genannten Forumsthema:

Die Daten hole ich alle 5 Minuten vom https://www.freifunk-karlsruhe.de/8
als json vom Server ab, wo sie von alfred bereits aufbereitet hingelegt
werden (auch alle 5 Minuten, deswegen wäre häufigeres abholen
meinerseits sinnlos.)

Letztlich kommt es darauf an, wo die 5-Minuten-Werte aufaggregiert werden. Dort ist dann auch das Problem verortet.

Im Falle nur json-Dateien in 5min-Auflösung bereitgestellt werden, erfolgt das Aufaggregieren wohl nachgelagert. Ansonsten könnte man die json-Daten selbst mal auf Korrektheit prüfen.

Der Post von @xylou deutet eher darauf hin, dass erst nach dem Abholen der 5-min-Werte aufaggregiert wird. Falls bereits die json-Dateien aufaggregiert wurden, bedeutet das noch nicht, dass sie auch für das Grafana verwendet werden.

Joa, vielleicht weiß jemand, wo das Sach rumliegt und wer es betreut und wie man den sinnvoll erreicht. Ich benutze dieses Grafana gerne und oft, würde mich freuen, wenn es auch über Monate noch korrekte Daten liefern würde.

Die json Daten findest du hier: https://karlsruhe.freifunk.net/json/nodes.json

Gut, in der json-Datei liegt nur ein einziges 5-Minuten-Intervall. Da kann der Effekt noch nicht auftreten.

Sofern nur diese eine json-Datei verfügbar ist, gehe ich davon aus, dass die Aggregation also nachgelagert erfolgt.

Dieses Grafana meldet sich seit Tagen mit “503 Service Temporarily Unavailable”. Insofern muss man eh was machen.

Stuttgart hat derweil auch ein schickes Grafana, nur ist es etwas lahm. Lahm empfinde ich bei einem Expertensystem weniger schlimm als falsch.

Beispiel aus Stuttgart:
http://hg.albi.info/stats/dashboard/db/freifunk-node?theme=light&var-node_id=60e327f23138

Die json-Daten werden (in der Zwischenzeit) minütlich aktualisiert. Evtl verursacht auch genau das den Fehler, das kann ich aber gerade nicht nachprüfen.

Ich finde es ehrlich gesagt etwas dreist wie du hier auftrittst. Freifunk und alle damit verbunden Dienste werden ehrenamtlich von Leuten in ihrer Freizeit betrieben. Von müssen kann hier überhaupt keine Rede sein.

Dass das Grafana aktuell nicht erreichbar ist liegt an einem Festplattenproblem des Servers, das behoben wird sobald der Betreiber aus dem Urlaub zurück ist. Die Daten werden zwischengespeichert und dann nachgepflegt.

Das Grafana aus Stuttgart finde ich unerträglich langsam, ich möchte Darmstadt als besseres Beispiel anführen: https://stats.darmstadt.freifunk.net/dashboard/db/freifunk-darmstadt

Hallo psy,

ich betätige mich selbst aktiv für Freifunk. Meine Beiträge sind sachlich begründet. Wenn Du das Melden eines Fehlers dreist findest, dann lasse ich das so stehen.

Ich hatte zudem angedeutet, selbst auf Ursachenforschung zu gehen. Wenn der Code nirgends rumliegt, kann ich natürlich nicht reinschauen.

Ich weiß leider nicht, wann auf das Minutenintervall umgestellt wurde. Das Problem mit den falschen Werten (bei Langzeitbetrachtung) besteht, soweit ich mich erinnere, schon sehr lange. Etwa Ende 2015 ist es mir aufgefallen, vermutlich besteht es noch länger. Wenn die Umstellung auf das Minutenintervall erst in jüngerer Zeit erfolgt ist, dann ist es nicht ursächlich für die falschen Daten.

Da gibt es offenbar Probleme beim rein- und rauszoomen:
https://stats.darmstadt.freifunk.net/dashboard/db/unterkuenfte?from=1461485441286&to=1465864733094 und https://stats.darmstadt.freifunk.net/dashboard/db/unterkuenfte?from=1463520773029&to=1463866506593 zeigen unterschiedliche Zahlen für die Anzahl der Clients z.B. am 18.5., 20:00h rum.

Ich wollte hier eigentlich keine Diskussion für den Wechsel auf eine andere Community-Lösung anstoßen. Schon gar nicht, wenn Xylou, der sich viel Arbeit gemacht hat, im Urlaub ist. Mein Beispiel mit Stuttgart war eher so zu verstehen, dass die Lösung von Xylou eben im Vergleich schneller ist, aber halt falsche Daten liefert. Keinesfalls will ich einen Wechsel auf die Stuttgarter Lösung vorschlagen, das würde den Bemühungen von Xylou auch nicht gerecht. Außerdem wäre natürlich flott und korrekt wünschenswert. Über den Tellerrand schauen darf man aber natürlich immer :wink:

Sobald das Grafana von xylou korrekte Daten liefert, erfüllt es seinen Zweck m.E. weitgehend, zumindest ist es dann auch für längere Zeiträume benutzbar bzw. das was sichtbar ist, ist auch korrekt. Ggf. ist nur eine klitzekleine Anpassung in der Rechenlogik notwendig, sofern Datawarehouse-Konzepte bereits Anwendung finden (was ich aufgrund der Auflösung mancher Charts fast vermute).

Ich würde (und werde) jetzt erst mal abwarten, vielleicht stellt xylou ja eine Lösung in Aussicht.

Ich auch nicht. Definitiv nicht! Ich mag nur das Darmstädter Dashboard, weil ich damit in letzter Zeit viel zu tun habe. Überhaupt kein Seitenhieb auf das Karlsruher Grafana! Und xylou dürfte das wissen :wink:

Ich will überhaupt nicht in Abrede stellen, dass du dich ebenfalls engagierst. Du kommst in diesem Thread nur sehr fordernd rüber, was ich uncool finde, da Leute das in ihrer Freizeit aufbauen. Vielleicht hab ich das etwas hart ausgedrückt.

Warten wir mal, bis xylou aus dem Urlaub zurück ist. Ich bin sicher da lässt sich was machen.

Das dürfte schon länger zurückliegen. Genau kann ich das aber auch nicht sagen.

Ich habe das an die Verantwortlichen weitergeleitet.

Du kommst in diesem Thread nur sehr fordernd rüber, was ich uncool finde, da Leute das in ihrer Freizeit aufbauen.

Eine Forderung liegt in der Natur eines Bug-Reports.

Die Umstellung liegt in der Tat schon etwas über 1 Jahr zurück. Seit dem wir die V-Server des Freifunk Rheinlands nutzen und gleichzeitig unsere Server Infrastruktur komplett neu gemacht hatten.

Ich persönlich wüsste aber nicht wie das die Daten im Graphana beeinflussen könnte. Viel der Aggregation findet ja tatsächlich auf den Nodes selber statt. So basiert der Wert für die Übertragungsgeschwindigkeit im Graphana einfach auf einem Traffic-Zähler der einfach hochzählt. Die Geschwindigkeit wird dann aus dem Delta gebildet.