Auto-évaluation v0.8 · 2026-09-26 · recalculée à chaque déploiement
Notre propre KarmaScore, publié
Un outil d’évaluation doit accepter d’être évalué — par lui-même, publiquement, avec les mêmes 24 indicateurs que tout le monde. Voici notre score, nos réponses justifiées, notre registre de systèmes d’IA et nos engagements datés. Quand nous nous améliorons, cette page change ; quand elle ne change pas, c’est que nous n’avons pas progressé.
Nos 24 réponses, justifiées
Secteur appliqué : Numérique & IA, avec la pondération suivante : Technologique 35 %, Conformité 30 %, Environnemental 15 %, Sociétal 20 %. Chaque niveau est vérifiable : le calcul est reproductible depuis la formule et les pondérations publiées sur la page méthodologie.
| Indicateur | Niveau | Justification |
|---|---|---|
| Inventaire des systèmes IA et numériques | 4/4 | Nos systèmes IA sont inventoriés publiquement ci-dessous, avec responsable. |
| Explicabilité des décisions automatisées | 4/4 | Le score est exactement décomposable ; chaque rapport indique s'il est rédigé par IA ou par template. |
| Sécurité informatique de base | 3/4 | Politique de sécurité écrite et appliquée : inventaire des quatre secrets et de leur rotation, accès 2FA, en-têtes de sécurité et CSP appliquée, sauvegardes et restauration exercée. Deux inventaires ne sont plus déclaratifs — le selftest refuse un secret lu par le code qui n'y figure pas, et un en-tête annoncé qui n'est pas réellement posé. Les vulnérabilités des dépendances sont contrôlées chaque lundi et à chaque proposition de modification. Procédure de violation écrite avec le critère d'annonce au PFPDT et un exercice préparé (docs/EXERCICE_VIOLATION.md) : il n'a pas encore été joué, et pas d'audit externe. |
| Gouvernance des données | 4/4 | Gouvernance documentée dans docs/GOUVERNANCE_DONNEES.md : rôles, critères de qualité, cycle de vie donnée par donnée, et préréglages. Ceux-ci ne sont pas seulement écrits — aucun cookie, case de consentement décochée, adresse IP jamais transmise en clair au compteur anti-abus (Upstash) sont vérifiés par le selftest, qui échoue si l'un d'eux change. Minimisation par conception : les évaluations vivent dans le navigateur, il n'y a pas de base de données. |
| Supervision humaine | 4/4 | Principe produit : l'IA suggère, l'humain valide. Aucun contenu IA servi sans garde-fou. |
| Maîtrise des fournisseurs IA | 2/4 | Grille de 7 critères (localisation, contrat, usage des données, certifications, conservation, réversibilité, empreinte) appliquée à nos cinq sous-traitants : Vercel, Anthropic, Resend, Upstash et Infomaniak (docs/FOURNISSEURS.md). Niveau ramené de 3 à 2 le 26.09.2026. Le niveau 3 suppose une grille appliquée et le sort des données vérifié ; la grille l'est, mais la localisation n'est pas relevée partout (région de la base Upstash, lieu du journal Resend), Infomaniak n'y est passé qu'à cette date, et les avenants de traitement sont cités sans version ni date de lecture. |
| Registre des traitements | 3/4 | Exemptés (art. 12 al. 5 LPD) mais registre tenu quand même : 6 traitements documentés, avec une cadence de revue que le selftest fait respecter. Des contrôles automatiques bloquent la mise en production si un sous-traitant du registre est engagé sans fiche d'évaluation, si la politique de sécurité du contenu ouvre une origine tierce, ou si une ligne dépasse sa cadence de revue. Ils ne voient ni un appel sortant ajouté côté serveur, ni un prestataire utilisé hors du code : la messagerie n'est entrée au registre que le 26.09.2026, et la prospection commerciale n'y est pas encore. Niveau ramené de 4 à 3 ce jour-là, parce que le registre n'est pas complet. |
| Information des personnes | 2/4 | Politique publiée sur /confidentialite, qui nomme depuis sa révision du 26.09.2026 les usages IA, chaque sous-traitant, les États de destination et la base de chaque transfert. Niveau ramené de 4 à 2 le même jour : jusque-là, elle omettait la messagerie, les journaux techniques et l'envoi par e-mail, et plusieurs de ses phrases étaient démenties par le code. Elle reste incomplète : les durées du journal Resend et des journaux de l'hébergeur ne sont pas relevées, et les personnes démarchées par e-mail ne sont pas encore informées. |
| Analyses d'impact (AIPD) | 4/4 | Les quatre critères de l'art. 22 LPD sont appliqués à chaque traitement du registre avant mise en production, avec date et motif écrits : six traitements screenés, aucun ne déclenche d'AIPD. Un traitement non screené, ou un screening positif resté sans suite, fait échouer la porte d'intégration. Déclencheur identifié pour la future persistance serveur. |
| Applicabilité et classification AI Act | 4/4 | Applicabilité vérifiée, cas d'usage classés, veille juridique versionnée (voir Méthodologie). |
| Droits des personnes | 2/4 | Point de contact identifié (contact@ai-karma.ch) et procédure écrite : docs/DROITS_ET_RECOURS.md donne, système par système, où chercher ce que nous détenons sur une personne, et ce qu'il faut répondre quand il n'y a rien. Un contrôle automatique vérifie que chaque sous-traitant du registre y figure. Niveau ramené de 3 à 2 le 26.09.2026 : la procédure ne couvrait pas les données de prospection, ajoutées ce jour-là, et elle n'a jamais été exercée, donc aucun délai n'a encore été tenu. Registre des demandes tenu, vide à ce jour. |
| Formation du personnel | 2/4 | Structure unipersonnelle : veille et formation continues du fondateur, non formalisées. |
| Hébergement à faible empreinte | 2/4 | Profil énergétique de l'hébergeur documenté (Vercel/AWS, renouvelable en achat compensé) ; migration vers un cloud suisse certifié à décider — page publique /empreinte. |
| Mesure de l'empreinte numérique | 2/4 | Première estimation publiée avec méthode et hypothèses explicites (~10-15 kg CO2e/an au stade prototype) — page publique /empreinte, mise à jour trimestrielle. |
| Cycle de vie du matériel | 2/4 | Matériel conservé longtemps, sans politique écrite. |
| Sobriété des usages | 3/4 | Sobriété par conception : rapport template sans IA disponible, mesure d'audience minimale sans cookies (statistiques agrégées), pages statiques. |
| Achats IT responsables | 2/4 | Critère empreinte intégré à la grille fournisseurs et appliqué rétroactivement aux choix actuels ; décisif pour le choix d'hébergement à venir. |
| Objectifs de réduction | 2/4 | Objectifs datés : hébergement 100 % renouvelable documenté (T4 2026), ratio de sobriété IA ≥ 50 %, révision trimestrielle de l'estimation. |
| Accessibilité numérique | 3/4 | Audit axe-core (WCAG 2.1 AA) sur les 78 adresses publiques dans les deux thèmes, rejoué à chaque proposition de modification et chaque lundi ; zéro violation au 04.09.2026. Gestion du focus et annonces d'état en place. Ce que l'outil ne voit pas — parcours au lecteur d'écran, navigation clavier de bout en bout — reste à éprouver à la main. |
| Prévention des biais | 2/4 | Contrôle de biais rejoué à chaque proposition de modification : à réponses identiques, le verdict ne dépend ni du nom de l'entreprise, ni de son effectif, et un même score donne un même palier quel que soit le secteur. Le seul écart voulu est la pondération sectorielle, que le contrôle affiche au lieu de la taire (jusqu'à 17,5 points entre deux secteurs, à réponses constantes). Garde-fous anti-invention testés. Le texte écrit par le modèle n'est pas encore couvert : il demande une clé API et ne peut pas tourner en intégration continue. |
| Transparence sur l'usage de l'IA | 4/4 | Chaque rapport indique sa source ; la pré-analyse cite ses preuves ; ce score lui-même est public. |
| Impact sur l'emploi et compétences | 2/4 | Structure unipersonnelle. |
| Inclusion et diversité | 1/4 | Retours utilisateurs pas encore structurés — les pilotes changeront ce niveau. |
| Voies de recours | 3/4 | Un lien « Contester ce rapport » est posé sous chaque rapport produit, à côté de la mention qui dit s'il vient d'un modèle ou d'un template. Il ouvre un message portant la provenance et la date, et rien d'autre. Engagement : revue humaine, réponse motivée sous 30 jours, inscription au registre. Auparavant le recours n'existait qu'en prose sur /confidentialite, donc il fallait deviner qu'il existait. |
Notre registre des systèmes d'IA
Le registre que nous recommandons à chaque entreprise (art. 26 AI Act / ISO 42001) : voici le nôtre, en entier.
Outil : API Claude (Anthropic)
Classification : Transparence (art. 50) : contenu généré, systématiquement étiqueté « rédigé par IA » ou « template »
Mesures : Garde-fou anti-invention testé (tout chiffre absent des données sources rejette le rapport), fallback déterministe sans IA, aucune copie conservée par AI-Karma ; Anthropic efface les entrées et sorties de l'API au plus tard 30 jours après réception, selon sa documentation, hors contenu signalé pour infraction à ses règles d'utilisation (jusqu'à deux ans) et conservation exigée par la loi
Outil : API Claude (Anthropic)
Classification : Risque minimal : suggestions plafonnées (niveau 3), preuve citée obligatoire, validation humaine requise
Mesures : Garde anti-SSRF testée, preuve introuvable ⇒ confiance rétrogradée, l'utilisateur confirme ou corrige chaque suggestion
Examen préalable d'impact (art. 22 de la LPD, la loi suisse sur la protection des données) : aucun de ces systèmes ne traite de données sensibles à grande échelle, ne profile des personnes ni ne prend de décision automatisée à leur égard, aucune analyse d'impact complète (AIPD) n'est donc requise à ce stade. Nous réévaluons à chaque nouveau système.
Nos engagements datés
- T4 2026Décider et exécuter l'hébergement définitif (option cloud suisse à énergie renouvelable certifiée — Infomaniak/Exoscale), critère 7 de la grille fournisseurs à l'appui.
- T4 2026Intégrer les retours structurés des PME pilotes (inclusion, accessibilité) et instituer la revue périodique des biais du contenu généré.
- T4 2026Audit d'accessibilité WCAG outillé sur toutes les pages, corrections incluses.
- T4 2026Mise à jour trimestrielle de l'estimation d'empreinte avec les volumes réels (page publique /empreinte) et mesure du ratio de sobriété IA.
Historique
| Date | Version | Score | Note |
|---|---|---|---|
| 2026-09-26 | v0.8 | 72.5 | Quatre niveaux abaissés après l'audit LPD du 26.09.2026 et sa contre-vérification, parce que les faits ne les tenaient plus. Information des personnes, de 4 à 2 : la politique omettait la messagerie, les journaux techniques et l'envoi par e-mail, et plusieurs de ses phrases étaient démenties par le code. Registre, de 4 à 3 : il ignorait la messagerie et ignore encore la prospection commerciale. Droits des personnes, de 3 à 2 : la procédure ne couvrait pas les données de prospection et n'a jamais été exercée. Fournisseurs, de 3 à 2 : localisation non relevée partout, Infomaniak jamais évalué. La politique, le registre et la grille ont été corrigés le même jour ; cela ne suffit pas à remonter les niveaux, il reste des faits à relever chez les prestataires et un traitement à inscrire. politique révisée. |
| 2026-09-04 | v0.7 | 79 | Trois niveaux montés, sur des faits vérifiables par un tiers et non sur une appréciation : gouvernance des données documentée avec des préréglages que le selftest refuse de laisser dériver, registre des traitements intégré aux processus par sept contrôles dont deux bloquent la porte sur un sous-traitant ou une origine tierce non registrés, et pré-screening AIPD daté et motivé pour les six traitements. Trois autres niveaux ne sont PAS montés bien que leur libellé soit défendable : l'exercice de violation n'a pas été joué, la procédure d'exercice des droits n'a pas été éprouvée, et le contrôle de biais ne couvre pas le texte écrit par le modèle. Cette révision a aussi trouvé et corrigé une affirmation fausse : le site annonçait des contrastes AA que le premier audit outillé a démentis sur 39 pages. registre des revues. |
| 2026-08-09 | v0.6 | 75 | Inventaire complet des secrets et de leur rotation, quatre sous-traitants passés à la grille (ajout de Resend et Upstash), registre des traitements complété (envoi d'e-mail, compteurs anti-abus), CSP appliquée et en-têtes de sécurité, empreinte de l'adresse IP à la place de l'adresse. Niveaux inchangés : ce sont des faits corrigés, pas des progrès de maturité. empreinte publiée. |
| 2026-07-14 | v0.5.2 | 75 | Politique de sécurité, grille fournisseurs appliquée, registre des traitements volontaire, première estimation d'empreinte avec objectifs, procédure de recours (docs/SECURITE, FOURNISSEURS, REGISTRE_TRAITEMENTS). |
| 2026-07-10 | v0.5 | 63.8 | Politique de confidentialité, mentions légales et page exemplarité publiées ; registre IA propre. |
| 2026-07-10 | v0.4 | 54 | Première auto-évaluation. Constats : pas de politique de confidentialité (0/100), empreinte non mesurée. |
Envie de comparer ? Faites votre propre évaluation, mêmes questions, même moteur, mêmes règles.