Tendances Technologiques/Production participative

Technology Trends / Crowdsourcing Tendances Technologiques / Production participative
Status	Publié
Version originale	28 février 2020
Mise à jour	2 mars 2020
Publication Officielle	Production participative.pdf
Cette page est sujet à des mises à jours. On encourage toutes rétroactions. Veuillez utiliser la page de discussion pour apporter des commentaires et des suggestions. Une fois que cette version soit approuvée et finalisée, elle va être traduite.

L’approvisionnement participatif est un modèle de résolution de problèmes et d’approvisionnement en ligne distribué où des particuliers ou des organismes tirent parti de l'intelligence collective des communautés virtuelles pour obtenir services, idées ou contenus.

Cacher la Vue Détaillée

Business Brief

L’idée (et le mot originel anglais, crowdsourcing) vient du journaliste Jeff Howe, dans son article « The Rise of Crowdsourcing » publié en 2006 dans Wired; il a combiné le mot anglais pour « foule » et un synonyme d’« approvisionnement ». Il décrit ainsi l’approvisionnement participatif : « l’acte d’une entreprise ou d’une institution si elle attribue une fonction normalement dévolue à son personnel, et l’impartit par un appel ouvert à un réseau indéfini souvent composé d’un grand nombre de personnes » (traduction).

Le premier exemple connu est un concours lancé par le gouvernement britannique en 1714 pour résoudre un problème longitudinal en navigation. En a découlé l’invention par John Harrison du chronomètre de marine; il a gagné 23 065 livres, ce qui correspondait en 2015 à 2,61 millions de livres.

L’approvisionnement participatif pour résoudre des problèmes a gagné en importance par la démocratisation des communications à l’échelle mondiale. Grâce à Internet, les créateurs peuvent désormais participer à des projets de partout au monde, où qu’ils soient.

Ce procédé est de plus en plus courant dans les secteurs privé et public, car on peut l’appliquer à tous les types de tâches, comme le développement d'applications, la formulation de politiques, la traduction, la photographie, les essais par les utilisateurs, et bien d’autres. L’approvisionnement participatif se distingue toutefois des autres activités de participation en ligne, car il marie la gestion hiérarchique descendante habituelle, où un organisme établit le travail à faire, et la production ascendante des utilisateurs, où les communautés en ligne décident de ce qu’il faut faire. Dans ce modèle, l’organisme fixe les objectifs, mais obtient informations et idées des participants. C’est cette participation à la gestion de l'entreprise qui différencie l’approvisionnement participatif de la participation ouverte et de la co-création :

• Participation ouverte : système d'innovation qui repose sur une communauté de participants qui contribuent à un effort particulier. En général, aucun organisme ne supervise ce processus, aucune récompense n'est prévue et les solutions sont exemptes de toute licence. Les contributeurs sont plutôt motivés par la création de solutions mutuellement utiles. Wikipédia est un bon exemple.
• Co-Création : entente entre plusieurs parties afin de collaborer à un projet utile à tous les participants. Cette relation laisse penser que tous les participants fournissent leurs propres ressources pour créer de la valeur, et la propriété intellectuelle sera partagée.

Exposé technique

Selon l'article d'Enrique Estellés-Arolas et Fernando González-Ladrón-de-Guevara (2012), l’approvisionnement participatif est un type d'activité participative en ligne dans laquelle un particulier, une institution, un organisme sans but lucratif ou une entreprise propose par un appel ouvert à un groupe de personnes plus ou moins grand aux connaissances et à l’hétérogénéité variables d’accomplir une tâche bénévolement. Dans la réalisation de cette tâche plus ou moins complexe et modulaire à laquelle le groupe participe en proposant ses efforts, ses ressources, ses connaissances ou son expérience, les deux parties en retirent obligatoirement un avantage mutuel. Pour les participants, ce peut être la satisfaction d'un besoin économique, la reconnaissance sociale, l'estime de soi ou le développement des compétences; pour le particulier ou l’organisme ayant émis l’appel, c’est ce que les participants ont apporté, dont la nature dépend du type d'activité.

L’approvisionnement participatif est un processus polyvalent où participent divers groupes et éléments, et l’instigateur peut adapter indépendamment afin d’atteindre ses objectifs. Cela nécessite de définir un objectif précis et d’établir des tâches distinctes dans le cadre d’un appel ouvert à tous, qui sera mené sur une plateforme en ligne ou tout autre support informatique; les participants et l’instigateur en retirent des avantages.

Organisme : Avant de lancer un appel participatif, l’organisme doit délimiter clairement et précisément le problème et la solution cherchée. Sans des paramètres clairs, l’appel est trop vague et suscitera un grand nombre de réponses plus ou moins pertinentes. Un appel participatif exige beaucoup d’efforts de la part de l’organisme instigateur, car il doit gérer et valider le travail effectué par la communauté en ligne, et communiquer clairement ce qu’il cherche.

Participants : L’approvisionnement participatif est une façon d’exploiter l’intelligence collective des communautés virtuelles. Ces communautés ont plusieurs caractéristiques qu'un organisme peut exploiter : capacité du groupe de créer, de décider, de collaborer ou de travailler en solo, et d’exploiter l’expertise ou le nombre des participants.

Voici quelques stratégies participatives, présentées en fonction du type de tâche et du groupe nécessaire :

1. Concours : identification du meilleur candidat pour un poste après avoir reçu plusieurs candidatures. Se prête bien à la conception graphique, aux essais de logiciels ou aux projets créatifs.
2. Macrotâche : obtention d’une compétence précise pour un travail ou un projet par l’embauche d’un des participants du groupe. Se prête bien aux tâches administratives courantes, à la conception de sites Web, au développement, à la rédaction et à l’édition.
3. Microtâches : par l’appel au groupe entier, on peut scinder une tâche complexe en tâches plus petites te plus simples partagées entre les membres du groupe. Se prête bien aux tâches difficiles à informatiser comme la transcription, les recherches ou le traitement de données non textuelles.
4. Financement participatif : financement d’une cause en groupe; exemples : organismes sans but lucratif, projet artistique ou fonds propres de sociétés.
5. Groupes autogérés : souvent, après la publication d’un défi en ligne, une foule s'organise pour fournir la meilleure réponse puis recevoir les récompenses prévues. Se prête bien à l’innovation, à la résolution des problèmes et à la recherche ou au traitement de données.

Incitatifs : La réussite de l’approvisionnement participatif dépend du degré de participation des communautés en ligne et de la qualité de leurs contributions. Pour bien mobiliser les participants, il faut prévoir des mécanismes incitatifs appropriés qui répondent à leurs besoins.

Voici quelques exemples de mécanismes incitatifs conçus pour mobiliser les participants :

1. Système de réputation : système de récompenses sous la forme de notes personnelles où chaque participant reçoit une note (sa ‘réputation’) selon sur sa capacité à mener à bien les tâches; l’instigateur ou les autres participants peuvent attribuer cette note.
2. Mécanismes sociaux : l’image importe beaucoup pour les participants d’une communauté virtuelle, car tous veulent être perçus comme compétents et habiles. Les plateformes qui mettent en œuvre des fonctions sociales comme les pages de profil, la messagerie et les communications entre utilisateurs observent une corrélation positive entre ces fonctions et l'engagement des utilisateurs.
3. Récompenses financières ou professionnelles : incitatif probablement le plus courant, les récompenses monétaires font appel à des mécanismes semblables à ceux du libre marché. Les organismes faisant appel à l’approvisionnement participatif peuvent proposer des récompenses monétaires ou matérielles, ou encore des ouvertures d’emploi pour motiver les participants.
4. Ludification: les incitatifs qui appliquent des idées tirées des jeux dans d’autres contextes gagnent en popularité. On entend par cela systèmes de points, écussons de réussite, divers niveaux ou encore tableaux de classement. La ludification fait appel à des motivations intrinsèquement humaines comme le plaisir et la reconnaissance sociale.

Plateforme : l'essor des plateformes tierces spécialisées, entre autres, a entraîné une certaine confusion sur la définition même de l’approvisionnement participatif : est-ce un outil ou un processus? Le nombre de plateformes proposant divers types d’approvisionnement participatif a toutefois augmenté au fil des années. Ce processus englobe divers types de plateformes comme les marchés du travail virtuels, les tournois participatifs et l'innovation ouverte.

Les organismes peuvent développer leur propre infrastructure et y intégrer des fonctions adaptées à leurs propres besoins, mais cela exige des dépenses supplémentaires. Lego, par exemple, a créé une communauté en ligne afin d’obtenir des idées pour ses produits. Plusieurs plateformes en ligne spécialisées proposent des services d’approvisionnement participatif; InnoCentive, par exemple, mobilise un groupe qui peut résoudre tout type de problème en échange d’une récompense monétaire.

Utilisation par l’industrie

Le secteur privé exploite l’approvisionnement participatif, car il le voit comme une méthode efficace pour acquérir des ressources comme main-d'œuvre, influence, capital, actifs ou données. Cette stratégie est assez souple pour s’appliquer à de nombreux domaines.

Voici un panorama des divers types d’approvisionnement participatif, regroupé par type de tâches attribuées par des sociétés par diverses plateformes et voies :

Concours participatif : concours où un organisme propose à un groupe un problème ou une tâche précise, et soit la première soit la meilleure solution obtient la récompense. Le plus souvent, des experts dans leur domaine relèvent le défi. Prize4Life, par exemple, a été créée parce que son fondateur souffrait de sclérose latérale amyotrophique (SLA); le neurologue Seward Ruthkove a ainsi remporté un million de dollars de Prize4Life pour avoir créé une démarche qui permet d'évaluer plus rapidement la progression de cette affection.

Coopération : modèle où les participants partagent leurs connaissances et collaborent, le demandeur ne s'implique pas trop,

et propose rarement une récompense monétaire. Il existe deux sous-types :

1. Remue-méninges participatif : vaste séance de remue-méninges en ligne, où on propose diverses idées et chacun peut les appuyer par ses commentaires ou ses votes. La plateforme Cuusoo, de Lego, en est un excellent exemple : pour que l’équipe de Lego se penche sur une idée, elle doit avoir recueilli au moins 10 000 votes.
2. Soutien participatif : soutien technique par les utilisateurs eux-mêmes, qui répondent aux questions et règlent les problèmes d’autres utilisateurs, sans intervention de l’équipe du fabricant. Un forum de soutien en ligne tenu par une communauté d’utilisateurs en est un bon exemple.

Contenu participatif : les participants partagent leur travail et leurs connaissances pour créer ou trouver des contenus de types divers. Ce n’est pas un concours, mais chacun travaille seul et recueille les résultats.

Il en existe trois sous-types :

1. Production participative : production de contenu par les participants, soit ensemble (Wikipédia), soit individuellement (traduction de courtes tranches d’un texte).
2. Recherche participative : recherche de contenus sur Internet à des fins précises.
3. Analyse participative : semblable à la recherche participative, à la différence que les participants analysent un contenu multimédia, comme des vidéos ou des images.

Financement participatif : financement par la communauté d’un projet proposé par un particulier ou un organisme, comme le lancement d’une entreprise. Les incitatifs à la participation consistent habituellement en un système de récompenses (argent, marchandises, actions ou produits), comme on le voit sur Kickstarter. On peut aussi donner de l’argent à un projet caritatif, sans attente de récompense; GoFundMe en est un excellent exemple.

Opinion participative : collecte de commentaires des utilisateurs sur un sujet ou un produit, par votes, rétroaction ou vente d'actions, pour obtenir des renseignements sur l’acceptation d’un produit sur le marché. Certaines entreprises utilisent ce modèle pour recueillir des renseignements sur des produits en développement avant leur mise en marché.

Utilisation par le gouvernement du Canada

L’approvisionnement participatif permettrait au gouvernement du Canada (GC) de mieux tirer parti des connaissances et de l'expérience collectives de son personnel, à l’aide d’une plateforme en ligne visant à adapter aux nouvelles technologies des pratiques établies comme les commentaires du public, l'élaboration de projets ou les pétitions. Pour l’instant, le gouvernement s’en sert surtout pour la collecte de données, comme la fondation sans but lucratif OpenStreetMap, qui collabore avec Statistique Canada : les utilisateurs fournissent bénévolement des renseignements géographiques afin de cartographier les répercussions environnementales des activités humaines dans la région de la capitale nationale.

Le GC a également exprimé son intérêt pour l'intelligence artificielle et ses applications sur l’approvisionnement participatif dans le cadre de l'apprentissage supervisé. Dans cette application de l'apprentissage machine, un système d’IA analyse les données de formation pour en dégager certaines tendances; on en mesure les performances à l’aide de données d’essai. Tout d’abord, il faut cependant classer les données et définir les résultats attendus. La plateforme Mechanical Turk, d’Amazon, exploite l’approvisionnement participatif pour attribuer à des particuliers des « microtâches » de classement de données.

Aux yeux du gouvernement, les dirigeants et les gestionnaires du secteur public ont besoin d'un cadre concret pour évaluer les diverses applications de l’approvisionnement participatif comme outil de gouvernance; on dénombre en ce sens quatre modèles potentiellement utiles. En voici la typologie, afin d’aider les personnes intéressées à évaluer le type de problème à résoudre et la démarche la mieux appropriée :

• Découverte et gestion des connaissances : GC agencies challenged with uncovering existing knowledge may amplify its limited discovery capabilities by tasking an online community to find and assemble specific information. It is ideal when obtaining public information such as reporting road or trail conditions or tracking public transit usage.
• Intelligence distribuée et gestion des tâches : un gouvernement disposant d'une quantité massive d'informations peut les scinder en éléments plus petits et les confier à une communauté en ligne aux fins de traitement ou d’analyse. Cette démarche se prête bien aux situations où l'intelligence humaine surpasse l'analyse par ordinateur, comme la traduction ou la transcription de documents manuscrits numérisés.
• Recherche à grande échelle : recherche d’une solution précise et éprouvée à un problème donné. Dans ce modèle, souvent un concours, un organisme soumet un problème aux paramètres clairement définis à une communauté virtuelle afin de trouver un expert pouvant le résoudre. Ce modèle est parfait pour les problèmes scientifiques comme l’amélioration d’algorithmes ou de formules.
• Innovation arbitrée par les collègues : recherche d’idées novatrices, si le problème est une question de goût ou réussite après la mise en marché. Un organisme demande à une communauté virtuelle de trouver des solutions et l’habilite à choisir les meilleures propositions par votes ou commentaires. Cette démarche se prête bien aux questions politiques ou esthétiques, ou encore à la conception.

Répercussions potentielles pour SPC

Proposition de valeur

SPC peut la popularité grandissante de l’approvisionnement participatif dans divers secteurs d’activité, car il peut servir aux organismes qui cherchent d’autres options que les modèles d’activités habituels. Il peut être utile pour exécuter des tâches dans de nombreux domaines : développement, création de sites Web, essais utilisateurs, traduction, transcription, rédaction, photographie ou conception graphique.

SPC pourrait exploiter les aspects suivants de l’approvisionnement participatif :

• Diversité des compétences : l’accès à une communauté virtuelle de personnes compétentes du monde entier élimine le besoin d’embaucher pour acquérir les compétences qui manquent au Ministère. Y faire appel aide tout organisme à trouver des spécialistes qui proposent volontiers leur expertise pour régler des problèmes. Participer à une telle initiative peut avoir d’autres retombées positives, car cela rehausse la valeur opérationnelle de clients potentiels ou attire l’attention sur des employés potentiels.
• Idées novatrices : avoir accès à un grand groupe de gens polyvalents et créatifs peut susciter des idées originales pour un produit ou un service que l’organisme ignorerait autrement. En outre, le taux de réussite de ce modèle est relativement élevé, et les solutions proposées sont peuvent être fiables : vu l’aspect concurrentiel de l’approvisionnement participatif, les mauvaises idées sont éliminées par d’autres participants compétents.
• Économies de temps et d’argent : l’approvisionnement participatif permet aussi à un organisme d’engranger des économies en argent, en temps et ressources. Plutôt qu’un mode de fonctionnement fondé sur le travail, ce modèle est fondé sur les résultats, qui déterminent la production. Aussi, un environnement où la croissance est rapide se prête bien à ce modèle, car il permet d’accélérer la mise sur le marché et la réalisation des projets.

Enjeux

Le modèle d’approvisionnement participatif a toutefois ses limites, qui découlent de sa nature et des participants. On peut certes l’appliquer de façon fructueuse à certains projets, mais pas à tous, et cela vaut particulièrement pour les activités de SPC.

• Fiabilité variable : impartir un travail à un grand nombre de non professionnels donne des résultats très variables, et les résultats peuvent être d’une qualité douteuse, vu le manque d’expérience potentiel des participants. L’approvisionnement participatif n’intègre aucune présélection des participants : cela exige trop de ressources, et les participants ne sont en rien tenus responsables des résultats. Pis, des obstacles de nature linguistique peuvent rendre difficile la communication directe avec les participants.
• Gestion : pour être utile, l’approvisionnement participatif entraîne pour l’organisme bien des coûts indirects. Notamment, il faut donner à la communauté virtuelle des directives claires pour obtenir les résultats voulus, car les participants ont besoin de critères et d’une vision claire des résultats recherchés. Aussi, ce modèle représente un investissement à long terme, et il faut beaucoup de patience et de persévérance pour qu’il en vaille la chandelle. En l’absence de processus et de systèmes appropriés, planifier et gérer des projets où participent un si grand nombre de personnes diverses peut devenir très compliqué.
• Confidentialité et sécurité : pour faire leur travail, les participants peuvent devoir avoir un certain accès à des renseignements comme le code source de logiciels, le contenu Web ou d'autres exemples de propriété intellectuelle. Cela peut rebuter les organismes qui veulent garder leurs informations internes hors d’accès à d’autres organisations. Sans contrats ni ententes de non-divulgation, des renseignements confidentiels comme l’adresse IP de serveurs risquent de ne pas rester confidentiels ni protégés. Pour aider à protéger la confidentialité des renseignements, l’utilisation rigoureuse des consignes, procédures et cadres est fortement recommandée.

Considérations

SPC doit tenir compte des risques suivants intrinsèques à l’approvisionnement participatif :

• Participation : confier un projet à un grand groupe de gens peut soulever plusieurs questions. Il importe de laisser les citoyens participer activement à l’approvisionnement participatif, et les gestionnaires pour ce faire devraient abandonner une partie de leur contrôle. Ils doivent aussi tenir compte des préoccupations et des besoins des participants, sans oublier de les aider à atteindre le but commun fixé. SPC devrait envisager l’utilisation de directives, procédures et cadres clairs s’il fait appel à ce modèle. Un cadre adapté à l’approvisionnement participatif, par exemple, aiderait les cadres supérieurs à fixer des objectifs et des résultats attendus clairs avant d’entreprendre un projet. Il serait sage de se pencher sur le travail déjà fait par d’autres ministères fédéraux pour adopter les outils et tirer les leçons apprises afin de lancer des projets éclairés par leur expérience, notamment l’outil d’externalisation ouverte de Bibliothèque et Archives Canada, ou le projet sur le cannabis de Statistique Canada.
• Récompenses : l’approvisionnement participatif est certes abordable, mais il n’est pas gratuit. Notamment, la récompense doit correspondre à l’effort demandé : à effort important, récompense appréciable. Il importe de connaître ce qui motive les communautés virtuelles, mais il faut aussi veiller à répondre à leurs besoins; cela prend souvent la forme d’une reconnaissance publique. Pour un appel d’idées visant à résoudre un problème en gestion de l’information, par exemple, reconnaître les gagnants et remercier tous les participants pour leur contribution à la réussite du projet va de soi. SPC devrait envisager des moyens de cultiver diverses communautés virtuelles pour faire appel à elles en cas de besoin pour résoudre des problèmes précis ou formuler des avis d'experts. Ces communautés peuvent se cantonner au GC, comme fonctionnaires participant à GCCollab ou groupes de travail ministériels, ou être externes à celui-ci, notamment labos ou groupes d’innovation, entreprises spécialisées en services d’approvisionnement participatif, OSBL, ou autres paliers de gouvernement. SPC doit s’attendre à un certain degré de gestion de ces communautés.
• Transparence : facteur crucial, la confiance de la communauté virtuelle envers l’organisme gouvernemental ayant lancé le projet : les participants doivent sentir qu’ils seront entendus et qu’on répondra à leurs préoccupations. Lancer un appel à une communauté virtuelle force l’organisme à révéler une partie de ses renseignements confidentiels, de ses processus internes ou des différends au sein de son personnel. Pour bien tirer parti de l’approvisionnement participatif, l’organisme doit traiter les participants comme des parties intéressées valables. La transparence est vitale pour établir la confiance, mais SPC doit aussi soupeser les risques et avantages des modalités de divulgation des informations : lesquelles, où, quand, pourquoi et comment. Il serait sage de demander l’avis d’experts du GC sur le gouvernement ouvert avant de lancer tout projet d’approvisionnement participatif.

Références (en anglais)

1. McKinsey (2015, June). A Labor Market that Works : Connecting Talent with Opportunity in the Digital Age. Retrieved from McKinsey
2. Asier Ania, C. C. (2015, March) Crowdfunding Guide for Nonprofits, Charities and Social Impact Projects Retrieved from HiveWire Inc.
3. Bozat, Z. A. (2017) Crowdsourcing as an Open Innovation Tool for Retrieved from Waset
4. Brabham, D. C. (2011, March 18) Crowdsourcing: A Model for Leveraging Online Communities Retrieved from Semantics Scholar
5. Brabham, D. C. (2013) Using Crowdsourcing In Government Retrieved from CBS
6. Brabham, D. C. (2014, January) Crowdsourcing Applications for Public Health Retrieved from Research Gate
7. Buchanan, G. (2018, January 11) 5 Examples of Companies Innovating with Crowdsourcing. Retrieved from InnoCentive
8. Canada, S. (2019, Mars 1) Open Building Data: an exploratory initiative Retrieved from Statistics Canada
9. Chi, C. (2019, February 8) The Ultimate Guide to Crowdsourcing Retrieved from HubSpot
10. Clickworker. (2018, April 4) [1]Crowdsourcing from its beginnings to the present. Retrieved from Clickworker
11. Deloitte. (2019, Juin 18) What is crowdsourcing? Retrieved from Deloitte
12. DesignCrowd. (2010, October 28) Crowdsourcing Is Not New - The History of Crowdsourcing (1714 to 2010) Retrieved from DesignCrowd
13. Dixon, L. (2017, November 1) 5 Tips for Crowdsourcing From WithinRetrieved from DesignCrowd
14. Epner, M. (2015, December 9) The 3 Risks of Crowdsourcing - and how to avoid themRetrieved from Cornerstone
15. Estellés, E. (2012, March 28) Types of crowdsourcing initiatives Retrieved from My crowdsourcing blog
16. Estellés-Arolas, E. (2015, December) A task-based crowdsourcing typology Retrieved from Research Gate
17. Estellés-Arolas, E., & González-Ladrón-de-Guevara, F. (2012, March 9) Towards an integrated crowdsourcing definition Retrieved from Journal of Information Science
18. Estellés-Arolas, E., Navarro-Giner, R., & González L. Guevara, F. (2015, May) Crowdsourcing Fundamentals: Definition and Typology Retrieved from Research Gate
19. Forbes. (n.d.) Using Crowdcasting To Find Treatments For The Paralyzed Retrieved from Forbes
20. Gebert, M. (2017) Code Of Conduct Retrieved from crowdsourcing-code
21. Grier, D. A. (2019, June 18) For Dummies Cheat Sheet Retrieved from Dummies
22. Guittard, C., & Schenk, E. (2011, June 4) Towards a characterization of crowdsourcing practice Retrieved from Dummies
23. Hetmank, L. (2012, December) Components and Functions of Crowdsourcing Systems – A Systematic Literature Review Retrieved from Research Gate
24. Ho, C.-J. (2015) Design and Analysis of Crowdsourcing Mechanisms Retrieved from eScholarship
25. Howe, J. (2006, January 6) The Rise of Crowdsourcing Retrieved from Wired
26. Howe, J. (2016, June 1) Rules of the New Labor Pool Retrieved from Wired
27. Investopedia. (2019, June 4) CrowdsourcingRetrieved from Investopedia
28. ITR. (2015, July 22) Crowdsourcing: The pros and cons Retrieved from Talk Business
29. Joseph, J. (2017, May 17) 5-Step Guide to Crowdsourcing Like a Pro Retrieved from Enterpreneur
30. Kamensky, J. (2013, August 19) Four Approaches to Crowdsourcing Retrieved from IBM Center for The Business of Government
31. Katmada, A., Satsiou, A., & Kompatsiaris, I. (2016, August 25) Incentive Mechanisms for Crowdsourcing Platforms Retrieved from Springer Link
32. Keating, M., & Furberg, R. (2013, November 6) A Methodological Framework for Crowdsourcing Platforms Retrieved from RTI International
33. Klimenko, A. (2018, March 5) How to Build your Own Crowdsourcing Platform Retrieved from Greenice
34. Leimeister, J. M., Huber, M., Bretschneider, U., & Krcmar, H. (2009) Leveraging Crowdsourcing : Activation-Supporting Components for IT-Based Ideas Competition Retrieved from Alexandria
35. Neumann, M. (2017, August 3) Open Innovation vs Crowdsourcing vs Co-creation. Retrieved from Wazoku
36. Palmer, J. C., & Strickland, J. (2016, June) A beginner’s guide to crowdsourcing Retrieved from American Psychological Association
37. Reffell, C. (2017, June 1) Benefits of effective crowdsourcing shown by 10 top US projects Retrieved from Crowdsourcing Week
38. Reuveni, D. (2013, August 21) Setting Up a Crowdsourcing Effort? Read This First Retrieved from Harvard Business Review
39. Shankarsoma. (2011, November 19) Crowdsourcing Pros & Cons Retrieved from Shankarsoma
40. Soresina, C. (2017, April 26) Types of crowdsourcing Retrieved from Skipso Labs
41. Stoyanova, T. (2010, November 23) The Pros and Cons of Crowdsourcing your Development Work Retrieved from CMS Wire
42. Taeihagh, A. (2017) Crowdsourcing, Sharing Economies and Development Retrieved from ARXIV
43. Thieringer, J. (2019, April 10) Crowdsourcing – Pros and Cons and how Your Business can Profit from It Retrieved from ISPO
44. TopCoder. (2011, September 16) 6 Important Ways Crowdsourcing is Different than Outsourcing Retrieved from TopCoder
45. Velasco, J. (2013, September 7) Crowdsourcing: collaboration as an engine for great ideas Retrieved from Blogthinkbig
46. Week, C. (2019, June 18) What is Crowdsourcing? Retrieved from Crowdsourcing Week
47. Wikipedia (2019, June 7) Crowdsourcing Retrieved from Wikipedia
48. Wikipedia. (2019, May 27) Government crowdsourcing Retrieved from Wikipedia
49. Wikipedia. (2019, May 10) Open collaboration Retrieved from Wikipedia