insAIde #55 : Social Scoring, quali limiti e rischi connessi all'applicazione e al divieto?
🇮🇹 Come è noto, il primo set di disposizioni previste dal Regolamento UE 2024/1689 (AI ACT) è diventato efficace dallo scorso 2 febbraio. Oltre agli obblighi legati all’alfabetizzazione sull’uso dell’intelligenza artificiale, sono diventati operativi anche i divieti riguardanti le pratiche di IA ritenute a rischio “inaccettabile” disciplinate dall’articolo 5.
Con questa uscita, ci concentreremo in particolare sul divieto di social scoring, esaminando in cosa consiste, quando è vietato e gli obblighi e le sanzioni che gravano su fornitori (providers) e utilizzatori (deployers) di tali tecnologie.
Definizione di social scoring e rischi correlati
Il social scoring è definito dal legislatore europeo come quel sistema di intelligenza artificiale che valuta o classifica, per un determinato periodo di tempo, un singolo soggetto o un gruppo di persone in base al proprio comportamento sociale, alle caratteristiche personali o psicologiche, anche solo inferite.
Il divieto di produrre e utilizzare pratiche di social scoring mira a garantire una maggiore tutela dei diritti e delle libertà fondamentali dei cittadini UE ( quali la democrazia, la giustizia e l’uguaglianza), evitando trattamenti sproporzionati rispetto alla gravità del comportamento assunto.
Social scoring vietato e social scoring lecito: regole e casi d’uso
L’AI ACT, all’articolo 5 comma 1 lett. c), stabilisce il divieto di produzione, distribuzione o utilizzo dei sistemi di intelligenza artificiale destinati ad assegnare un punteggio sociale a singoli individui o gruppi sulla base dei loro comportamenti sociali o caratteristiche personali o di personalità. Tale punteggio deve risultare (anche solo in potenza) dannoso o sfavorevole per la società, soprattutto se applicato in contesti che non sono quelli in cui i dati sono stati originariamente raccolti, o se risulta sproporzionato rispetto alla gravità del comportamento osservato.
Per fornire chiarimenti sulle pratiche di AI proibite e, inter alia, approfondire i criteri di distinzione tra ciò che è vietato e ciò che è legittimo in ambito social scoring, la Commissione Europea ha pubblicato il 4 febbraio le Linee Guida sulle Pratiche di AI Proibite. In queste Linee Guida, la Commissione specifica che il divieto non si applica a pratiche di social scoring che utilizzano l'IA per favorire comportamenti corretti, migliorando la sicurezza, l’efficienza o la qualità dei servizi.
Esemplificativamente, un sistema di credit scoring che si basa su criteri direttamente legati alla valutazione finanziaria, come la storia dei pagamenti o la situazione economica, è da considerarsi lecito. Al contrario, un sistema che valuta l'affidabilità di un individuo in base ai giudizi sui social media, o che tiene conto di comportamenti irrilevanti, come la mancata restituzione di un libro preso in prestito anni prima, è vietato.
Situazioni simili possono riguardare anche casi in cui queste pratiche vengano attuate da autorità pubbliche. In questi contesti, la portata applicativa del divieto si estende alle stesse condizioni previste per il settore privato.
Ad esempio, un'autorità pubblica che utilizza un sistema di intelligenza artificiale per monitorare le frodi nella concessione di alloggi per studenti, prendendo in considerazione tra gli indicatori le connessioni a internet, lo stato di famiglia o il livello di istruzione dei beneficiari come fattori di rischio di frode, adotta un approccio inaccettabile. Al contrario, sarebbe legittimo valutare, ai fini della concessione, solo dati o fattori che siano pertinenti e giustificati.
È proprio su valutazioni di questo tipo che l’AI ACT interviene, per evitare che pratiche del genere si trasformino in strumenti di controllo o sorveglianza sociale.
Obblighi e sanzioni per providers e deployers
Dal 2 febbraio 2025, i fornitori e gli utilizzatori di tecnologie di intelligenza artificiale sono quindi obbligati a conformarsi alla nuova normativa, interrompendo la produzione o la programmazione di dispositivi intelligenti destinati a pratiche di social scoring vietato. Qualora tali dispositivi fossero già sul mercato, dovranno essere rimossi, e il loro utilizzo deve essere sospeso.
Chi non rispetta questi divieti rischia pesanti sanzioni pecuniarie, che possono arrivare fino a 35 milioni di euro, o al 7% del fatturato mondiale annuo dell’esercizio precedente (se superiore).
In ogni caso, si ricorda che sono fatti salvi i profili di protezione dei dati personali, che si sommano in punto di liceità della pratica di AI alle considerazioni di compliance con l’AI Act.
Per approfondire
SOCIAL SCORING: WHAT ARE THE LIMITS AND RISKS OF IMPLEMENTATION AND PROHIBITION?
🇬🇧 As is well known, the first set of provisions under EU Regulation 2024/1689 (AI ACT) became effective on 2 February. In addition to the obligations related to literacy in the use of artificial intelligence, the prohibitions concerning AI practices deemed to pose an 'unacceptable' risk regulated in Article 5 have also become operative.
In this issue, we will focus in particular on the prohibition of social scoring, examining what it consists of, when it is prohibited, and the obligations and sanctions imposed on providers and users of such technologies.
Definition of social scoring and related risks
Social scoring is defined by the European legislator as that artificial intelligence system which evaluates or ranks, for a given period of time, an individual or a group of people on the basis of their social behaviour, personal or psychological characteristics, even if only inferred.
The prohibition of the production and use of social scoring practices aims to ensure greater protection of the fundamental rights and freedoms of EU citizens (such as democracy, justice and equality), avoiding disproportionate treatment in relation to the seriousness of the behaviour engaged in.
Forbidden social scoring and lawful social scoring: rules and use cases
The AI ACT, in Article 5(1)(c), prohibits the production, distribution or use of artificial intelligence systems designed to assign a social score to individuals or groups on the basis of their social behaviour or personal or personality characteristics. Such scoring must be ( even if only in potential) harmful or unfavourable to society, especially if it is applied in contexts other than those in which the data were originally collected, or if it is disproportionate to the seriousness of the observed behaviour.
In order to provide clarification on prohibited AI practices and, inter alia, to deepen the criteria for distinguishing between what is prohibited and what is legitimate in the field of social scoring, the European Commission published on 4 February the Guidelines on Prohibited AI Practices . In these Guidelines, the Commission specifies that the prohibition does not apply to social scoring practices that use AI to encourage good behaviour by improving the safety, efficiency or quality of services.
By way of example, a credit scoring system that is based on criteria directly related to financial evaluation, such as payment history or financial situation, is to be considered lawful. Conversely, a system that assesses an individual's trustworthiness based on social media ratings, or that takes into account irrelevant behaviour, such as the non-return of a borrowed book years earlier, is prohibited.
Similar situations may also concern cases where these practices are carried out by public authorities. In these contexts, the scope of application of the prohibition extends under the same conditions as in the private sector.
For example, a public authority that uses an artificial intelligence system to monitor fraud in the granting of student housing, taking into account among the indicators the internet connections, the family status or the educational level of the beneficiaries as factors of risk of fraud, adopts an unacceptable approach. On the contrary, it would be legitimate to assess only data or factors that are relevant and justified for the purposes of granting the award.
It is precisely on assessments of this kind that the AI ACT intervenes, to prevent such practices from becoming instruments of control or social surveillance.
Obligations and sanctions for providers and deployers
As of 2 February 2025, suppliers and users of artificial intelligence technologies are therefore obliged to comply with the new regulation by discontinuing the production or programming of smart devices intended for prohibited social scoring practices. If such devices are already on the market, will have to be removed, and their use discontinued
Those who do not respect these bans risk heavy fines of up to EUR 35 million, or 7% of the previous year's annual worldwide turnover (whichever is higher).
In any case, it should be noted that data protection profiles are unaffected, which add up in terms of the lawfulness of the AI practice to AI Act compliance considerations.
For more information:
▶︎ Si ringrazia per il contributo la Dott.ssa Gaia Lantieri
Gli ultimi articoli da Panetta Consulting Group
🇮🇹 “Intelligenza Artificiale, il problema dell’Europa non sono le regole” di Rocco Panetta su ilSole24Ore
https://www.ilsole24ore.com/art/intelligenza-artificiale-problema-dell-europa-non-sono-regole-AGju37qC
🇮🇹 “AI Act sotto attacco, perché l’Europa non deve cedere sulle regole” di Rocco Panetta su AgendaDigitale
https://www.agendadigitale.eu/sicurezza/privacy/ai-act-sotto-attacco-perche-leuropa-non-deve-cedere-sulle-regole/
🇮🇹 “AI Act: ecco tutti i sistemi di intelligenza artificiale vietati in Europa” di Gabriele Franco su la Repubblica https://www.repubblica.it/tecnologia/2025/02/14/news/ai_act_ecco_tutti_i_sistemi_di_intelligenza_artificiale_vietati_in_europa-424004729/
⏰ That's all for us, see you insAIde, next time!
Rocco Panetta , Federico Sartore , Davide Montanaro , Gabriele Franco