Challenges im DF - Bewertungssystem

Mal sehen, ob ich es dieses mal wieder schaffe...

Die gekürzten Tracks kommen dann zum Spielphasen-Beginn, wie gehabt, oder?

Typische Frage von einem Jazzer:

Noten von den anderen Instrumenten gibt es nicht?

Ich hatte mich bei der Bewertung genau das gefragt: sollte man die Bewertung relativ sehen (schlechtester DF-Beitrag = 1, bester = 10) oder absolut (talentfreier Anfänger = 1, Tony Williams = 10)?

Letztlich habe ich dann aber auf dem Formular gesehen, dass 1 = sehr schlecht und 10 = sehr gut sein sollte und habe das dann so verstanden, dass die Skala absolut zu sehen ist. Deswegen habe ich nicht den kompletten Rahmen genutzt.

Für ein Problem halte ich das eher nicht, denn ich denke solange genügend Leute voten, gleicht es sich ja irgendwie aus - irgendwer bewertet streng, irgendwer schmeißt alle mit hohen Punktzahlen zu und die meisten sind irgendwo dazwischen.

Falls aber trotzdem gewünscht ist, dass alle Voter quasi die gleiche Spanne verwenden, würde ich vorschlagen, dass man beim Voten nicht Punkte vergibt, sondern die Beiträge in eine Reihenfolge setzt (bester -> schlechtester). Damit wäre gewährleistet, dass die Statistik nicht durch besonders kritische oder besonders großzügige Bewerter verzerrt wird.

Allerdings könnte man dann keine Beiträge mehr als gleich gut bewerten. Und das Voting-Formular wäre vielleicht ein bisschen schwieriger zu gestalten. Irgendwas ist ja immer.

Ich befüchte, da muss ich mich wohl einbringen. Armer JohnDrum 😰

Meiner Ansicht nach müsste es reichen, dass eine Extrembewertung (wie von mir zuletzt) unter den 16 weiteren abgegebenen Votings statistisch ausreichend verwässert wird, so dass es nicht extrem signifikant ist.

Wem das nicht reicht:

Die einzige einfache und vernünftige Gegenmaßnahme ist dann mEn, dass man wie beim Turmspringen einfach die Daten um Ausreißer bereinigt. D.h. in unserem Fall die beste Bewertung und die schlechteste Bewertung streichen und dann den Mittelwert bilden.

Die Intensität dieser Bereinigung hängt dann aber sehr stark von der Gesamtanzahl der Votings ab.

Bei 17 Votings wäre das schon okay, denke ich. Wenn's nur 10 Votings wären macht's natürlich schon einen erheblich größeren Unterschied.

Solange ich meine ultrafiesen Extrembewertungen beibehalte (was keineswegs fix gesetzt ist), würde ich damit quasi mich selber ausm Voting rausdisqualifizieren. Und solange es gar keine großen Ausreißer gibt, ist die Maßnahme quasi irrelevant.

Ich würde an JohnDrums Stelle eher drauf vertrauen, dass der verhasste haidem ja auch sein Votingverhalten mit wachsender DF-Erfahrung anpasst. Dann braucht man nix zu ändern, alle sind glücklich und JohnDrum ist weniger unglücklich.

Oder nicht??👍

Ich habe so gevotet:

10 Punkte sind perfekt.

Darunter abgestuft: Kleine Schwächen oder größere Schwächen.

Bei der Jazz Challenge: Nachdem ich in den 80er und 90er Jahren sehr viel Jazz gespielt hatte: Mein Verständnis vom Jazz- Schlagzeug: Aufeinander hören und als Drummer der Rhythmusgruppe zuarbeiten. Deswegen war mir das Hören auf das Piano am wichtigsten und darauf haben manche nur bedingt gehört.

Wenn andere aber eine Rangfolge machen und einfach von 10- 1 Punkt runterstufen, dann kommt kein vernünftiges Ergebnis zustande. Besonders, wenn beide Herangehensweisen gemischt werden.

Eine Jury würde ich nicht machen, weil zu aufwändig.

Ist doch eigentlich Hupe, wer wem warum wieviele Punkte gibt. Geht doch um den Spaß. Viel zu viel Gewese....mMn

Ja, ich glaub auch nicht dass wir irgendetwas ändern müssen/sollten. 1 schlechte Bewertung unter 19 (!!!) (danke für den Hinweis) ist ja noch mehr Argument, dass die statistisch entsprechend an Relevanz verliert.....ich glaub nicht, dass wir von m_tree ne Doktorarbeit haben wollen/verlangen sollten, um voten zu dürfen.

...korrekt.....es geht doch um nichts

In den meisten Notizen wurde auch der Sound beurteilt. Im Voting stand geschrieben, man solle die spielerische Leistung beurteilen.

Mach' ich da ein Fass auf???? Sicher nicht!

Ein wirklich ausgewogenes Voting kriegt man nur mit einer Jury hin, die zuvor bestimmte Kriterien abarbeitet, damit alle die gleichen Dinge beachten. Dazu müsste die Jury vom jeweils gespielten Genre ausreichend Ahnung haben.

Fände ich jetzt in diesem Rahmen hier etwas überzogen. Aber es ist halt so, dass ein relativer Anfänger anders bewertet als ein alter Hase. Der erfahrene Drummer hört wahrscheinlich Dinge, die der unerfahrene nicht hört oder ganz anders gewichtet.

Und auch unter erfahrenen Schlagzeugern gehen die Meinungen ja auseinander: dem einen ist z.B. das Timing (wie im aktuellen Fall) nicht ganz so wichtig wie dem anderen.

Vielleicht könnte man das Problem ein Stück weit angehen, indem man Kriterien bewerten muss.

Zum Beispiel:

- Timing

- Musikalität/Umsetzung des Themas

- Songdienlichkeit

- Kreativität

- Gesamteindruck (Gefällt mir das als Gesamtpaket?)

oder so.

Ist aber nur so ein Gedanke. Ansonsten lässt man das Voting wie es ist und lebt mit den Ergebnissen. Muss man ja auch nicht so streng nehmen - das Ganze. Soll ja Spaß machen und nicht zum Wettkampf ausarten (Wobei es manchmal schon den Eindruck erweckt).

Wenn das Voting zu kompliziert wird, dann werden weniger Leute abstimmen - das hielte ich für kontraproduktiv. Ich finde die 1-10 Variante jetzt eigentlich ganz gut.

Was ich persönlich nicht gut finde ist, wenn man hinterher wegen seiner eigenen Abstimmung angegangen wird. Trotzdem finde ich es richtig, dass die Abstimmungsergbebnisse der Transparenz halber offengelegt werden.

Ich bin gegen eine Jury-Bewertung, weil ich die Challenge hier eher als Sache sehe, die DF-Mitglieder untereinander aus Spaß an der Sache machen - nicht um einen Preis zu gewinnen. Auch beim Bewerten anderer Beiträge lernt man was und erweitert damit den eigenen Horizont.

Macht daraus keine Wissenschaft, es geht um den Spaß

Zitat von mc.mod

Macht daraus keine Wissenschaft, es geht um den Spaß

Mir macht Wissenschaft auch Spaß

(Edit: und ich bin anscheinend nicht so gut darin, siehe unten )

Daher habe ich (trotz der gerne zugegebenen Irrelevanz) auch noch weiter über das Voting-System nachgedacht und noch eine Schwäche bei dem jetzigen entdeckt: wenn man es aus spieltheoretischer Sicht betrachtet (also wenn man vor allem selbst am besten abschneiden möchte), belohnt das jetzige System diejenigen Teilnehmer, die nicht mit abstimmen.

Denn dadurch, dass man sich selbst keine Punkte geben kann, gibt man sich selbst automatisch immer null Punkte, allen anderen aber mindestens einen und normalerweise mehr. Stimmt man hingegen gar nicht ab, gibt man allen null Punkte, erhält aber (wahrscheinlich) immer noch Punkte von den anderen.

Wenn viele Leute voten, macht das kaum einen Unterschied. Aber wir sind nicht viele.

Als konkretes Beispiel: Ich bin auf Platz 8 gelandet, hinter JohnDrum (Platz 7), Oliver_Stein und haidem (geteilter Platz 5). In Summe haben haidem und Oliver jeweils 130 Punkte bekommen, John 128 und ich 125. Ich selbst habe Oliver 9 Punkte gegeben, haidem 8 und John 7.

Wenn ich jetzt nicht abgestimmt hätte, hätte ich selbst weiterhin 125 Punkte bekommen, aber haidem hätte nur noch 122 gehabt und Oliver und John jeweils 121. Durch diese Entscheidung wäre ich also von Platz 8 auf Platz 5 vorgerückt, haidem wäre auf Platz 6 gekommen und John und Oliver hätten sich Platz 7 geteilt.

Versteht mich nicht falsch, ich sage und glaube ausdrücklich NICHT, dass sich irgendjemand hier im Forum diesen Mechanismus zunutze machen würde. Es geht ja um nichts und wir stehen uns glücklicherweise alle überwiegend wohlwollend gegenüber. Und ich habe Euch die Punkte gerne gegeben, Ihr habt sie Euch verdient.

Mir macht es einfach nur Spaß, Sicherheitslücken zu finden

In dem von mir vorgeschlagenen System ist dieser Trick so nicht möglich. Völlig manipulationssicher ist es allerdings auch nicht.

Zitat von SleishMan

Denn dadurch, dass man sich selbst keine Punkte geben kann, gibt man sich selbst automatisch immer null Punkte, allen anderen aber mindestens einen und normalerweise mehr. Stimmt man hingegen gar nicht ab, gibt man allen null Punkte, erhält aber (wahrscheinlich) immer noch Punkte von den anderen.

Das ist so glaube ich nicht richtig, weil in der aktuellen Wertungsmethode nicht die Punktzahl, sondern der Durchschnitt der Bewertungen (mit Ausnahme der Eigenbewertung) herangezogen wird.

Zitat von SleishMan

Als konkretes Beispiel: Ich bin auf Platz 8 gelandet, hinter JohnDrum (Platz 7), Oliver_Stein und haidem (geteilter Platz 5). In Summe haben haidem und Oliver jeweils 130 Punkte bekommen, John 128 und ich 125. Ich selbst habe Oliver 9 Punkte gegeben, haidem 8 und John 7.

Wenn ich jetzt nicht abgestimmt hätte, hätte ich selbst weiterhin 125 Punkte bekommen, aber haidem hätte nur noch 122 gehabt und Oliver und John jeweils 121. Durch diese Entscheidung wäre ich also von Platz 8 auf Platz 5 vorgerückt, haidem wäre auf Platz 6 gekommen und John und Oliver hätten sich Platz 7 geteilt.

Wenn Du selber nicht abgestimmt hättest, wäre Dein Durchschnitt gleich bei 6,944 geblieben, Haidem hätte dann 7,176 gehabt, John und ich jeweils 7,117. Deine Nichtabstimmung hätte also das Ergebnis natürlich verändert (weil Du den drei Beispielkandidaten unterschiedliche Punkte gegeben hattest), aber Dein eigenes Ergebnis wäre nicht besser geworden.

Zitat von Oliver_Stein

Das ist so glaube ich nicht richtig, weil in der aktuellen Wertungsmethode nicht die Punktzahl, sondern der Durchschnitt der Bewertungen (mit Ausnahme der Eigenbewertung) herangezogen wird.

Ja, Du hast recht. Mir war nicht klar, dass bei der Durchschnittsberechnung der abstimmenden Teilnehmer auch durch eine Stimme weniger geteilt wird. Dann ist es natürlich Quatsch was ich geschrieben habe.