[Update] New Accuracy Calculation - CrowdFlower Community

Klingt gut, vorausgesetzt die nächsten CF-eigenen Task werden von den Prüfern richtig geprüft.
Wurde bislang bei jedem von denen wieder höher gesetzt, weil der eigene Prüfer gegen die Instruktionen verstieß.

Ob das auch für die bestehenden Levels gilt, die angepasst werden oder weiterhin Geduld üben sollten so gut versteh ich trotz Google Translater den Text nu doch nit ....

Currently, the only Jobs that are included in the calculation of your overall Accuracy (displayed on your Contributor Dashboard) are those titled as “CrowdFlower Official Jobs” (Jobs that have been created directly by the CrowdFlower Team). In Quiz Mode, your answers are included in the calculation only when you pass it.

So wie ich das verstehe ist die Accuracy, die im Dashboard angezeigt wird, die die von den "Crowdflower Official Jobs"(die die Crowdflower selbst angelegt hat)"kommt, sofern man den Test dieser Jobs bestanden hat.

The first step towards our new Accuracy computation is that we will calculate your Accuracy based on your responses to CrowdFlower Jobs created by anyone on our platform. -


Der erste Weg zu dieser neuen Accuracy ist, dass CF die Accurancy jetzt auch basierend auf den anderen CF jobs, die halt von anderen auf der Plattform sind.

------------------------------------------------------------------

Das würde bedeuten, dass wir jetzt/derzeit aktuell nur die Accuracy von den Crowdflower Ofiicial Jobs haben und die anderen Tasks (die nicht direkt von CF sind) jetzt nach und nach mit einfließen.

Also zukünftig eine Mischung aus beiden Tasksergebnissen und nicht nur denen von den CFofficials.

Ich schiebe diesen Task einfach mal hoch, weil sich im englischen Forenbereich jetzt diesbezüglich so einigies tut.

So gibt es von CF selbst eine neue Mitteilung bezüglich der Level und der Qualifizierungen( flags, Levels etc.)

Tune in Tuesday: Special - CrowdFlower Community

und, wenn man den Informationen im englischen Forum Glauben schenken darf, hat CF wohl begonnen auch die nicht geschafften Taskqualifizierungen mit in das Level einzubeziehen.

Es gibt da wohl einige Leute, die durch die Levels nach unten gerauscht sind. Angeblich wurde da jeder versuchte Task, bei dem man in den Testfragen dieses Tasks rausgeflogen ist mit ins Level mit eingerechnet.

Das heißt vermutlich, wer einen Task aufmacht und ihn nicht schafft (also Testfragen falsch beantwortet, Zeit läuft ab etc.) sinkt in seinem Leveldurchschnitt. (Fällt im Moment wohl im großen Stil bei denen auf, die Unmengen von Task in fremden Sprachen (die man nicht wirklich spricht) durchprobiert haben

Gleichzeitig bedeutet das wohl aber auch, dass vermehrt selektiert wird. Denn jeder, der bei dem Task einmal herausgeflogen ist, wird wohl in Zukunft nicht wieder an einen Nachfolgetask dieses Task herankommen.

Wie "Give up" sich auswirkt, ist bislang nirgends richtig zu finden oder es gibt keine solchen Erfahrungswerte.
Da müsste man denke ich, ein Auge darauf halten.

jerseygirl12 wrote: Wie "Give up" sich auswirkt, ist bislang nirgends richtig zu finden oder es gibt keine solchen Erfahrungswerte. Da müsste man denke ich, ein Auge darauf halten.

Ob das allgemein gültig ist kann ich nicht sagen aber bei mir ist das so ...

Von 10 Tasks beende ich im Schnitt 8 vorzeitig mit "Give Up" sei es wegen dem Umfang der Vergütung oder weil es mir einfach keinen Spaß macht. Aber es hat sich bei mir weder positiv noch negativ ausgewirkt ...

x0x0x wrote:

jerseygirl12 wrote: Wie "Give up" sich auswirkt, ist bislang nirgends richtig zu finden oder es gibt keine solchen Erfahrungswerte. Da müsste man denke ich, ein Auge darauf halten.

Ob das allgemein gültig ist kann ich nicht sagen aber bei mir ist das so ...

Von 10 Tasks beende ich im Schnitt 8 vorzeitig mit "Give Up" sei es wegen dem Umfang der Vergütung oder weil es mir einfach keinen Spaß macht. Aber es hat sich bei mir weder positiv noch negativ ausgewirkt ...

Mach ich auch so, wenn mir das zu heikel wird.

Das steht bei mir über einem Bearbeiteten Task:

Tune In Tuesday: Special
In order to clearly communicate the requirements for earning Performance Level Badges, we will be making changes to your Contributor Dashboard over the next few weeks. Please check out this special Tune in Tuesday blog post for more information.

OK, verstanden ......

Stahlblaue wrote: Jerrsey, deshalb habe ich schon vor einiger Zeit damit begonnen, mir mit PTC Seiten aber Unabhängig von CrowdFlower also unabhängig der Task (98% da in Englisch kann ich eh nicht machen) etwas auf-zu-bauen.
Auch hier CS, mache ich mehr Offers, Ads und was CS sonst noch bietet, als Task

Was hat das mit clixSense oder dem Thema im Forum zu tun?

... ich will dich an der Stelle mal darauf hinweisen das nun nach und nach alles editiert oder gelöscht werden soll was weder etwas mit cliixSense oder dem Thema im Forum zu tun hat. Und das betrifft bei dir in der Regel jedes Posting nur das du dich nicht wunderst. Die Regeln für das Forum müssen dahingehend auch noch erweitert werden. Auch wenn die Regelung nicht von mir kommt habe ich nicht wirklich etwas dagegen ...

Stahlblaue wrote: Das steht bei mir über einem Bearbeiteten Task:

Tune In Tuesday: Special
In order to clearly communicate the requirements for earning Performance Level Badges, we will be making changes to your Contributor Dashboard over the next few weeks. Please check out this special Tune in Tuesday blog post for more information.

OK, verstanden ......

Das ist genau der Hinweis auf meinen Link...

So- ich hab mir mal meine Job History im Dashboard by CF angesehen.

Keiner der Casino Tasks wird überhaupt in die Bewertung mit einbezogen. Da steht nur ein "-".

Dasselbe steht bei Jobs, die ich abgebrochen habe (also liegen der Mod und ich wohl richtig mit Annahme, dass "Give up" nicht zählt.).

Wenn ich jetzt meine restlichen Jobs in der History anschaue und aus deren Prozentwerten den Durchschnitt ziehe, dann lande ich bei exakt meinem Prozentsatz, den CF mir anzeigt.

Daher ziehe ich für mich den Schluss daraus, dass es wohl auf die Tasks, die man gemacht hat ankommt (egal ob von CF direkt oder nicht), die einer Qualifizierung bedürfen.

Oder anders ausgedrückt: In meiner Bewertung ist keine einziger Tasks drin, der ein "nur-suchen" oder "nur-anklicken" Task war. Auch Survey und garantiert bezahlte Tasks laufen prozentual als "-".

Und wenn ich das in Einklang mit den Neuerungen bei CF bringe, ist mir klar, warum manche fallen...

Ich war und bin nicht ohne Grund Sauer, über einige Task die ich mit 96-100% Genauigkeit im Level 1, sage dazu nur noch Probedurchlauf von CrowdFlower (da ich zwischen 5 und 15 Task davon bearbeiten durfte) Bearbeitet habe.
Was auch aus meiner Job-Historie eindeutig hervor geht.
Die im "zweiten durchlauf" mit 2er, und 3er Level eingestellt wurden, somit von mir nicht mehr gemacht werden können.

Ich hoffe das jetzt durch die änderungen bei CrowdFlower, endlich auch bei mir die zu Unrecht Level1 bremse aufgehoben wird.

jerseygirl12 wrote: Daher ziehe ich für mich den Schluss daraus, dass es wohl auf die Tasks, die man gemacht hat ankommt (egal ob von CF direkt oder nicht), die einer Qualifizierung bedürfen.

Ja - So war das ganze System von crowdFlower auch gedacht und ausgelegt ...

... scheinbar hatten sich da aber Fehler eingeschlichen welche dann aber auch hoffentlich gänzlich beseitigt wurden. Du kannst also davon ausgehen das alle Tasks mit Gold-Units (Testfragen) in die Bewertung einfließen. Oder um es einfach zu sagen in jedem Task in dem die Arbeit anhand von Prozent gemessen wird kann man auf seine Level bzw. Accuracy umlegen.

So- noch was neues gefunden:

https://crowdflower.desk.com/customer/portal/articles/1604332-level-requirements?b_id=229

hier sind die Level Prozentzahlen angegeben.

So wie ich das sehe, muss man im Level 3 bei 10 Jobs (mit mindestens 100 Tasks drin) mindestens 85 % erreicht haben.

(Macht für mich Sinn, da ich 2032 Tasks habe in 174 Jobs -meine geringste Jobaccurancy waren einmal 72% ansonsten schwebe ich von 88-100%, wobei letzteres überwiegt)



@Stahlblaue durchforste mal dein Dashboard in Job history. Vielleicht kommen da gar keine 85 % zusammen und die Levelschreiberei mit CF lohnt gar nicht.

x0x0x wrote:

jerseygirl12 wrote: Daher ziehe ich für mich den Schluss daraus, dass es wohl auf die Tasks, die man gemacht hat ankommt (egal ob von CF direkt oder nicht), die einer Qualifizierung bedürfen.

Ja - So war das ganze System von crowdFlower auch gedacht und ausgelegt ...

... scheinbar hatten sich da aber Fehler eingeschlichen welche dann aber auch hoffentlich gänzlich beseitigt wurden. Du kannst also davon ausgehen das alle Tasks mit Gold-Units (Testfragen) in die Bewertung einfließen. Oder um es einfach zu sagen in jedem Task in dem die Arbeit anhand von Prozent gemessen wird kann man auf seine Level bzw. Accuracy umlegen.

So- nicht lachen- ich hab gar nicht gewusst, dass man die Gold-Units nennt.

Aber für mich erklärt das, warum manche Unmengen an Task gemacht haben, aber kein Level 3 bekommen - sie haben schlicht die falschen Tasks abgearbeitet...

Und ich vermute, es zählt auch das Profil bei CF ein bisschen mit.

jerseygirl12 wrote: So- ich hab mir mal meine Job History im Dashboard by CF angesehen.

Danke für die Hinweise, ich habe festgestellt, das die Testfragen Qualität dann tatsächlich nachgelassen hat in letzter Zeit, als ich Anfang hatte ich wesentlich bessere Werte.

Auch wenn ich es nicht müsste, ich selbst Bat um eine Prüfung meines Level´s.
Es kam dabei eindeutig (was ich vorhin schon schrieb) heraus:

Hi,

Our records indicate that you were wrongfully restricted to Level 1. I’ll make some adjustments to your account on my end, so you should see an improvement within 48 hours. Thanks for writing in!

Michael

Nur leider haben die angekündigten Verbesserungen immer noch nicht gegriffen.

Basteln wir uns also gedanklich mal den Weg ins nächste Level oder den Levelerhalt:

Es scheint allerdings Fakt zu sein, dass nur die Casinotasks zu machen, gar nichts an der Accuracy im Dashboard bringt- da "-" als Prozente ausgewiesen werden. Gleiches gilt für feste Beträge beim Task (also "Video mit Gesten", "Survey" ...).

Also müsste man zusätzlich noch 4-5 Tasks (Gold-Unit-> also mit Testfragen am Anfang) pro Tag machen und in diesen hohe Prozente erreichen, um die Accu im Dashboard zu verbessern..damit käme man dann in ein besseres Level...oder erhält sein Level..

@Mod - noch Ideen?

Von Level 3 habe ich auch nur geschrieben, in dem Zusammenhang das Task die zuerst ohne Level oder mit Level 1 online gestellt wurden.
Von mir mit genauigkeit zwischen 96-100% bearbeitet werden konnten.
Im "zweitem Anlauf" mit 2er und 3er Level eingestellt wurden, somit nicht mehr Bearbeitet werden konnten.

Ansonsten habe ich nicht von Level 3 geschrieben.
Was meinst Du wie oft ich mir meine Job-Historie ..... zurück verfolgend seit ich Task bearbeite .... schon durch Forstet habe ?

Und nochmal weils so schön war .........
Jobs:
4.801
Check
Tasks:
5.656
Accuracy:
91%

Ich bin und war nicht unter 91%

Lieg gleich unterm Schreibtisch vor Lachen Jersey ... Edit lässt grüßen
Schönen Rest des Tages ......

Stahlblaue wrote: Von Level 3 habe ich auch nur geschrieben, in dem Zusammenhang das Task die zuerst ohne Level oder mit Level 1 online gestellt wurden.
Von mir mit genauigkeit zwischen 96-100% bearbeitet werden konnten.
Im "zweitem Anlauf" mit 2er und 3er Level eingestellt wurden, somit nicht mehr Bearbeitet werden konnten.

Ansonsten habe ich nicht von Level 3 geschrieben.
Was meinst Du wie oft ich mir meine Job-Historie ..... zurück verfolgend seit ich Task bearbeite .... schon durch Forstet habe ?

Und nochmal weils so schön war .........
Jobs:
4.801
Check
Tasks:
5.656
Accuracy:
91%

Ich bin und war nicht unter 91%

tja, und welchen dieser Jobs hast du 100 Stück/ Tasks gemacht? In den letzten Monaten.

Was du augenscheinlich ignorierst, ist das es auf die Menge Job/ Task/ Prozente ankommt und nicht auf die Gesamtprozentzahl.

Wenn man deine 5656 Tasks auf die 4801 Jobs verteilt hat man einen Durchschnitt von 1,2 - d. h. du hast im Schnitt nur 2 Tasks aus jedem Job gemacht und die Casinojobs sind in deiner Gesamtsumme mit drin ...

Damit bis du definitiv außerhalb von 10 Jobs mit 100 Tasks - oder anders herum wieviele Jobs hast du mit mehr als 100 Tasks drin gemacht und hast deine 91 % gehalten?

Denn nur diese Jobs geben dir laut CF (siehe Link oben) deine Levelbadge. (Sonst könnte jeder immer einen Task pro Job machen, den dann mit 100% halten und wäre damit Level 3 mit 100%-nur so läuft das nicht-es geht auch um Qualität in der Quantität)

Ist das so schwer zu verstehen, dass man im gesamten 91% Accu haben kann, gleichzeitig aber nicht die von CF gesetzten Anforderungen erfüllt?

Nur um mal mit den Zahlen zu spielen:

Angenommen man ist 2 Jahre dabei,

das entspricht 730 Tage.

Man macht an jedem dieser Tage 4 Casinotasks.

Dann hätte man 730 Tage x 4 Casinotasks = 2920 Tasks

Nur diese 2920 Tasks habe nichts mit den Anforderungen von CF zu tun.

Warum nicht? Weil es sich nicht um Gold-Unit-Tasks (Tasks mit Test zu Beginn) handelt.

Denn nur diese sind für die Levelbadges entscheidend....


Mache ich aber z. B. 3000 andere Tasks, wo ich in 10 Jobs mehr als 100 Tasks mache und habe in diesen Jobs mehr als 70, 80 oder 85 % zählt es für die Levelbadges

Drücke ich mich verständlich aus?