Challenges im DF - Bewertungssystem

  • Mich erinnert das doch sehr an die Schule und die Frage, ob es immer eine 1 und auch eine 6 geben muss. Ich hab einen Sohn in der Schule und finde es gut, dass es oft nur die Note eins bis vier gibt. Niemals käme ich auf die Idee der Lehrerin zu sagen, sie solle doch mal die gesamte Skala ausreizen.


    Ich finde ein Bewertungssystem von 1 bis 10 gut. Das ist fein genug. Und ich finde es gut, dass man nicht für den eigenen Beitrag wertet. Alles andere überlasst doch mal den Leuten, die abstimmen. Wenn es jemand wichtig ist, die Skala auszureizen, soll er es tun. Ich hab es diesmal sehr eng gehalten, weil ich es auch so gesehen habe.


    Und worauf jemand bei der Bewertung besonders achtet (Groove? Timing? Fills? Kreativität? Sound?), ist halt auch subjektiv. Übrigens genauso subjektiv, wie die Gestaltung des eigenen Beitrags. (Ich versuche mich übrigens frei davon zu machen, dass nur Drummer zuhören. Live spiele ich ja auch für die erste Reihe und nicht für die Musiker, die mit verschränkten Armen ganz hinten stehen).


    Es ist kein Sport. Es ist Kunst!

  • [offtopic]

    Zitat

    Mich erinnert das doch sehr an die Schule und die Frage, ob es immer eine 1 und auch eine 6 geben muss. Ich hab einen Sohn in der Schule und finde es gut, dass es oft nur die Note eins bis vier gibt. Niemals käme ich auf die Idee der Lehrerin zu sagen, sie solle doch mal die gesamte Skala ausreizen.

    Ich halte das für äußerst fragwürdig, wenn jemand in einer Schulaufgabe voll abkackt, das mit "ausreichend" zu bewerten.

    Das ist unfair gegenüber den Leistungsträgern. Nicht, dass ich selbst einer gewesen wäre, im Gegenteil.... :Q

    [/offtopic]



    Zitat

    Alles andere überlasst doch mal den Leuten, die abstimmen. Wenn es jemand wichtig ist, die Skala auszureizen, soll er es tun. Ich hab es diesmal sehr eng gehalten, weil ich es auch so gesehen habe.

    Und worauf jemand bei der Bewertung besonders achtet (Groove? Timing? Fills? Kreativität? Sound?), ist halt auch subjektiv. Übrigens genauso subjektiv, wie die Gestaltung des eigenen Beitrags. (Ich versuche mich übrigens frei davon zu machen, dass nur Drummer zuhören. Live spiele ich ja auch für die erste Reihe und nicht für die Musiker, die mit verschränkten Armen ganz hinten stehen).

    Es ist kein Sport. Es ist Kunst!

    Daher finde ich die Punktebewertung in diesem Fall auch fragwürdig. Musizieren ist halt nunmal keine Mathearbeit oder Rechtschreibprüfung.
    Meinetwegen tut's eine anonyme Reihenfolge-Abstimmung (Ranking), aber Punktevergabe ist ohnehin sinnlos, wenn das von jedem nach individuellem Lustempfinden gehandhabt wird.

    Das ist fein beobachtet!

  • Daher finde ich die Punktebewertung in diesem Fall auch fragwürdig. Musizieren ist halt nunmal keine Mathearbeit oder Rechtschreibprüfung.
    Meinetwegen tut's eine anonyme Reihenfolge-Abstimmung (Ranking), aber Punktevergabe ist ohnehin sinnlos, wenn das von jedem nach individuellem Lustempfinden gehandhabt wird.

    Das sehen 20 von 22 Leuten aber nicht so. Siehe Umfrage im Startbeitrag hier.


    Das Voting garantiert auch, dass jeder Beitrag von einigen Leuten gewissenhaft angehört wird. Und ermöglicht in der jetzigen Form auch einen anonymen Direktvergleich der Performances, was durchaus interessant ist.


    Man sollte das halt nur einfach nicht ganz so eng sehen, denn es ist kein Wettkampf, sondern einfach eine Art Spiel, just for fun.

  • Zitat

    Ich verstehe die Diskussion nicht ganz. Am Ende kommt doch eine Rangfolge heraus?

    Und die Durchschnittspunktzahl hat man auch. Es ist doch alles da?

    Schon klar, aber bei der Handhabung einer direkten Punktevergabe kocht jeder sein eigenes Süppchen.

    Gäbe es lediglich ein Ranking, dann hätte man eine indirekte, jedoch standardisierte Punktevergabe.

    Ach mir doch egal, ich mach da eh nicht mit. :Q

    Das ist fein beobachtet!

  • Ein Ranking für die individuellen Bewertungen geht aber zum einen an der Realität vorbei, weil manche Beiträge (nach der eigenen Wahrnehmung) vielleicht gleichauf oder näher beieinander liegen als andere und macht das Voting aus meiner Sicht auch unnötig schwierig, was wiederum Leute vom Voting abhält.


    Ich hatte beim letzten Mal mehreren Beiträgen 7 Pkt. gegeben, weil ich viele in dem Bereich gleichauf gesehen habe.

  • Ich hatte beim letzten Mal mehreren Beiträgen 7 Pkt. gegeben, weil ich viele in dem Bereich gleichauf gesehen habe.

    Ich habe auch mehrfach die gleichen Punkte vergeben. Das ist fairer, als zwangsweise eine Reihenfolge zu bestimmen.

    Und irgendwie auch einfacher, wenn man das Gefühl hat, dass welche ähnliche Leistung (auf die eine oder andere Art) erbringen.

  • Es ging um die Frage, ob man eine Regel erlassen sollte, die ganze Punkteskala auszureizen. Und wenn bei der Mathearbeit niemand abgekackt hat, muss auch keine 5 oder 6 gegeben werden. Und so sehe ich das auch hier bei der Bewertung im Drummerforum.

    Wollte keine pädagogische oder politische Diskussion lostreten, obwohl es das Thema hergeben würde.

  • Ich habe auch mehrfach die gleichen Punkte vergeben. Das ist fairer, als zwangsweise eine Reihenfolge zu bestimmen.

    Und irgendwie auch einfacher, wenn man das Gefühl hat, dass welche ähnliche Leistung (auf die eine oder andere Art) erbringen.

    Genau.


    Das jetzige System möchte ich schon gern so lassen.


    Hab deine Kritik als Anlass genommen, um hier noch mal deutlich zu machen, dass es wohl keine bessere, realistischere und vernünftigere Alternative zum aktuellen System gibt.

  • So lange nicht definiert ist, ob z.b. 10 Punkte bedeuten soll : "bestes im Vergleich oder bestes zum Thema überhaupt vorstellbar", ergibt sich mutmaßlich Verzerrung bei wahrscheinlich unterschiedlicher Herangehensweise. Insofern ist der direkte Vergleich " c besser als a-x" natürlich leichter nachvollziehbar. Detailfragen wie z.b. "Sound" kommen hinzu....ersnthaft ist es halt komplex.

  • Es ergibt sich überhaupt keine Verzerrrung wenn jeder Bewertende seiner Herangehensweise treu bleibt. Wenn besser = mehr Punkte, dann passt alles.

    Das hat sich bisher immer alles gut ausgeglichen. Manche bewerten recht streng, andere sehr großzügig. In Mittel passt es.

    Sound soll man versuchen auszuklammern.

  • Ich will mich nicht ernsthaft einmischen, aber spontan habe ich die Idee: Einige Leute sagen "bestes Hörbeispiel = 10 Punkte". Einige andere sagen: Die besten Ergebnisse werte ich mit meiner Maximalpunktzahl 7 in diesem Wettbewerb ( weil ich hier und da Schwächen höre)". Soweit das nicht vorher abgesprochen ist, ergibt das natürlich Verzerrung.

  • Die finale Rangfolge wird von den durchschnittlichen Punktzahlen festgelegt. Und die durchschnittlichen Punktzahlen sorgen dafür, dass sich im besten Fall Ausreißer nach unten und oben komplett ausgleichen. Man braucht einfach nur genug Votings für einen aussagekräftigen Mittelwert. Am besten mindestens 30.


    Beispiel mit 12 Votings:


    6 Leute geben 7 Punkte

    3 Leute geben 10 Punkte

    3 Leute geben 4 Punkte


    Der Durchschnitt liegt dann wieder bei 7 Punkten: (6 x 7 + 3 x 10 + 3 x 4) / 12 = 7

  • Soweit das nicht vorher abgesprochen ist, ergibt das natürlich Verzerrung.

    Nein, tut es nicht.

    Es gewinnt doch trotzdem dem der beste Beitrag? Die Rangfolge bleibt davon doch komplett unbeeinflusst.

    hmmm....20 Leute wählen....10 Leute vergeben im Vergleich für das zweitbeste Ergebnis 9 Punkte, die anderen 10 für das beste 8 Punkte (mit benannter Begründung)....klar, aus der Hüfte geschossene unmd grobgeschnitzte Theorie....aber das macht einen eigentlich ungewollten Unterschied?

  • Ja logisch sind alle OK damit!

    Mann Mann Mann.... m_tree und Niop reden sich hier noch den Mund fusselig

    🤦‍♂️

    Die einzige notwendige Voraussetzung für Fairness bei der bisher angewandten Vorgehensweise ist - wie m_tree auch schon mehrmals völlig korrekt eingeworfen hat - dass der Stichprobenumfang relativ groß ist. Dann passt das doch.

    Sobald das so ist gleichen sich einzelne Schieflagen, mehrfach-Punktvergaben, "alle kriegen ne 10", "alle kriegen ne 1", besonders strenge und besonders detailliert abgestufte Bewertungen fair aus, weil jeder dasselbe "1/n" Gewicht innerhalb der gesamten Punkte hat. n ist der Stichprobenumfang.

    Die Praxis zeigt ja, dass äußerst wenige wirkliche Schieflagen vorhanden sind. Umso mehr Grund, auf die Erfahrung von zumindest m_tree und Niop zu vertrauen & auf die Mehrheit hier zu hören. 2 oder 3 Spezialisten schmeißen selbst bei 19 Votings nicht gleich alles um.

    (Ich gehöre leider unabsichtlich auch zu den Spezialisten, wie ich nach erfolgtem Voting herausgefunden habe)🤯

    Und ja - klar ist jedes Voting subjektiv. Wie willst denn - gerade bei der Jazz Challenge, und sicherlich auch bei der Reggae Challenge - das sog. Feeling (z.B. Swing, Shuffle usw....) objektivieren und dann "korrekt" beurteilen? Das ist unmöglich. Weil es "korrekt" oder "nicht korrekt" in diesen Dingen eben einfach nicht gibt.

  • Eine "irgendwie individuell generierte aber nicht näher definierte Punktevergabe aus einem Bereich 1-10" ist ungenauer, als ein klares "c ist besser als d". Mehr wollte ich nicht zum Ausdruck bringen....und das lediglich deshalb, da hier das Bewertungssystem diskutiert wurde.

Jetzt mitmachen!

Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!