Resumen: El artículo parte de la revisión teórica de la literatura sobre los algoritmos para trazar los ejes clave de una teoría crítica. En la dicotomía entre la descripción del mundo, por medio de los macrodatos, y la prescripción de comportamientos preestablecidos una vez analizados los big data, la razón algorítmica puede dar lugar a sistemas cerrados de comunicación que simplifiquen y estandaricen nuestras prácticas. Conforme a una metodología ensayística y filosófica que vincula forma y contenido de la crítica, las dimensiones para una teoría reflexiva sobre los algoritmos se corresponden con tres vertientes fundamentales: a) la abstracción, el cifrado matemático y el cálculo, b) la pasividad inducida ante algoritmos performativos y c) el poder invisible e impersonal. En consecuencia, la principal aportación del artículo radica en la discusión de las constricciones que nacen al abrigo de las tecnologías algorítmicas. El énfasis en una teoría crítica de la tecnología se hace tanto más pertinente a medida que los dispositivos digitales se normalizan como intermediadores en diferentes campos de la actividad humana. Se trata, pues, de problematizar la tecnología como base de comportamientos cotidianos y decisiones, desde una perspectiva teórica. En este sentido, el artículo pretende continuar el enjuiciamiento de la tecnología de autores tales como los pertenecientes a la Escuela de Frankfurt o, en el campo específico de la tecnología, Lewis Mumford y Jacques Ellul, así como críticos actuales del digitalismo, tales como Cathy O’neil, Evgeny Morozov o Nicholas Carr.
Palabras clave (Fuente: tesauro de la Unesco): Algoritmo; teoría crítica; sociología de la comunicación; digitalismo; filosofía de la tecnología; sociología cultural; inteligencia artificial.
Fuente: Palabra Clave, 23(2), e2322. Aceptado: 04/07/2019. https://doi.org/10.5294/pacla.2020.23.2.2 . Esta obra está bajo una licencia internacional Creative Commons Atribución-CompartirIgual 4.0.
___________________________________________________________________________________________
Hacia una teoría crítica de la razón algorítmica
Antonio Fernández-Vicente
Universidad de Castilla-La Mancha, España.
La comunidad del pueblo y la personalidad sucumben cuando se exige calculabilidad. Siegfried Kracauer
Introducción: entre la descripción y la prescripción
Los algoritmos constituyen la pieza clave de la gestión de los datos en el mundo digital. Son máquinas culturales que nos ahorran esfuerzos, según la definición clásica de técnica de Ortega y Gasset. Se trata de recetas, fórmulas y series finitas de pasos encaminadas a obtener un resultado: una especie de automatización del pensamiento, como lo fue la calculadora de Pascal o la máquina universal de Turing. Medios para fines diversos en los que delegamos el trabajo de seleccionar informaciones o elegir pareja.
El episodio de Black Mirror: Hang the DJ (Van Patten, 2017) ilustra cómo un algoritmo, desde la recolección de datos y su análisis mediante el data mining, podría prever, incluso, el grado de afinidad y éxito en relaciones amorosas. Los datos conforman mapas que los algoritmos utilizarán para predecir los posibles futuros y, en segunda instancia, prescribir qué hacer. No son solo automatizaciones del pensamiento, sino también de las decisiones y las rutinas prácticas.
Hoy día, los algoritmos organizan y filtran, en gran medida, el mundo que percibimos y en el que actuamos. Son el gran intermediario que, como los algoritmos de recomendación de Amazon, YouTube, Netflix o Facebook, vienen a “facilitarnos” la vida práctica. Tramas de series de éxito como House of Cards se diseñan conforme a lo que los algoritmos predicen sobre qué peripecias resultarán más adecuadas para cautivar a la audiencia (Leber, 2013). ¿Incluso la creatividad se puede medir, cuantificar y calcular de modo algorítmico? Parece ser que un algoritmo finalizó la sinfonía inacabada de Frank Schubert.
Los algoritmos son auténticas máquinas culturales (Finn, 2018) que no solo sirven para resolver un problema específico: modelan formas de ser y de actuar, patrones de comportamiento regidos por la lógica social algorítmica (Beer, 2017). Los “facilitadores” suelen enmascarar también agentes de control en la vida cotidiana (Antinucci, 2011; Sadin, 2015). Los algoritmos como embedded technology pueden, incluso, convertir nuestras vidas en la adaptación a una rutina algorítmica que diseñe nuestra cotidianidad (Amoore & Piotukh, 2016).
En el proceso de informatización y datificación de la sociedad (Kitchin, 2014), el algoritmo, junto con los big data, no solo sirve para describir cómo es el mundo. También supone una orientación práctica a la hora de predecir y prescribir comportamientos. Es en este caso una tecnología prescriptiva que define cómo vamos a vivir. Nos dan no solo respuestas a preguntas, como el algoritmo PageRank de Google, sino orientaciones sobre qué hacer. No se encamina a detectar problemas, sino a resolverlos, de la manera más eficiente y automática posible.
Es en este sentido que los algoritmos pueden conducir a la construcción de sociedades cerradas, según los términos de Karl Popper retomados por Sennett (2019). En ellas los resultados posibles ya están predeterminados y el papel de los ciudadanos se reduce a la pasividad: a ser resortes del mecanismo algorítmico. Pasivo etimológicamente proviene del griego; quiere significar sufriente: ilustra una relación de poder, en este caso, ante un dispositivo considerado impersonal y eficiente que paradójicamente preserva nuestra ilusión de participación y actividad autónoma.
El perfeccionamiento tecnológico, desde los orígenes de la sociedad de la información, se enmarca en el deseo de construir un mundo más racional, más ordenado. Se trataba de organizar el pensamiento de acuerdo con el tratamiento automático de la información, que se corresponde con las exigencias tecnocráticas de precisión y control del capitalismo moderno (Mattelart, 2006, p. 3 y ss.).
Ahora bien, ese mundo gestionado por la herramienta tecnológica se ve condicionado por las categorizaciones impresas por el dispositivo que utilicemos. Como en la cartografía, basada en la selección y focalización de unos elementos y el olvido de otros para representar el territorio, el algoritmo también es una operación de abstracción.
Y como tal no es neutro sino que encarna, como toda tecnología, los valores de quienes han decidido qué elementos incluir y cuál será el fin último del algoritmo. “Lo que son los seres humanos y lo que serán se decide por la forma de nuestras herramientas, no menos que por la acción de los hombres de estado y los movimientos políticos” (Feenberg, 2002, p. 3). El sistema de representación da forma a las imágenes que nos hagamos del mundo y, en consecuencia, condiciona cómo lo comprenderemos y cómo será.
En este sentido, un mundo regido por la razón algorítmica puede presentar tanto una vertiente utópica como distópica (Fernández, 2016). Nos libera del tráfago de tener que realizar operaciones mentales innecesarias, pero al precio de desvalorizarnos y uniformarnos. Aquí es donde urge la reflexión teórica acerca del algoritmo como herramienta de poder velado. Se trata de considerar que, a medida que se delegan en los algoritmos funciones de actividad humana, el ser humano deviene más dependiente de mecanismos invisibles y automatizados, de las redes programadas por otros:
Todas las tecnologías establecen redes en el sentido en que conectan a la gente y a las cosas, en combinaciones determinadas por una mezcla de relaciones simbólicas y causales. Y muchas de estas redes están atravesadas por programas contradictorios que representan diferentes y conflictivos intereses. Debemos resistir a la tendencia a definir la red por el programa de su grupo de dominante. (Feenberg, 2017, p. 111)
Cuanto más simplifica el algoritmo nuestras decisiones y pensamientos, el ser humano se vuelve más pasivo y heterodirigido. Se instala en el confort ante la falta de obstáculos y resistencias, conforme las herramientas tecnológicas son cada vez más user-friendly.
A propósito de la ética de la ciudad, Sennett (2019) ha situado el énfasis en la oposición entre tecnologías que favorecen el confort y, por contra, simplifican y alienan a sus usuarios, y tecnologías que incitan a comprender la riqueza de la complejidad mediante la participación activa. Es la dimensión negativa de la tecnología, que ha sido puesta de relieve por Carr (2017), Morozov (2015) o Turkle (2012). Se devalúa la inteligencia, la capacidad cognitiva, la atención focalizada, la conversación y se crean soluciones para problemas que hasta ese momento no existían.
En un espacio comunicativo cuyo background se constituye por mediaciones algorítmicas, el estar juntos se erosiona a medida que los automatismos delegan las relaciones sociales, prácticas y pensamientos en la máquina cultural que es el algoritmo.
Si la tecnología pasa de ser medio a fin, de ser coordinadora de encuentros a prescriptiva y central en la socialidad cotidiana, ¿qué efectos puede causar en los ciudadanos? “La ciudad inteligente prescriptiva causa daños mentales, entontece a sus ciudadanos. La ciudad inteligente coordinadora estimula mentalmente a la gente al comprometerla en problemas complejos y en diferencias humanas” (Sennett, 2019, p. 187).
El artículo tratará, en consecuencia, de situar la crítica al algoritmo en el contexto de la teoría crítica de la tecnología. Será una aproximación ensayística, cuya metodología se regirá por la revisión de la literatura sobre el particular, con el objetivo de forjar un aparato crítico suficiente como para fundamentar la crítica sociológica a la razón algorítmica.
Por tanto, la metodología no se construirá en torno a aparatos empíricos de análisis de datos. Antes bien, se tratará de reunir e interpretar distintas perspectivas, desde la historia de la cultura y la tecnología hasta textos específicos sobre algoritmos digitales. De este modo, la lógica interna del texto se regirá por la trayectoria indeterminada y en cierto modo neosituacionista propia del ensayo científico (Fernández, 2014). Así, la forma de aproximación al objeto científico será también una muestra de metodologías abiertas, opuestas a los algoritmos de producción académica.
El poder de la abstracción y la medida del mundo
Describir es también prescribir; en realidad, un algoritmo no es sino la consecuencia de la operación de abstracción por excelencia. Abstraer es, por definición, seleccionar unos elementos y dejar fuera otros. Es lo que a propósito de los campos de significado Bourdieu (2014) llamaba violencia simbólica: el lenguaje que utilizamos en cierto modo coloniza nuestras formas de pensamiento y también las formas prácticas.
En los inicios de la cibernética, Sabato (1995) escribió Hombres y engranajes. La deshumanización creciente nace de la predominancia de la abstracción matemática, que no deja lugar, en su búsqueda de la eficiencia y la productividad, a la riqueza de lo concreto, lo singular, lo que no puede reducirse a un número o una fórmula. Son otros los que seleccionan por nosotros, los que categorizan el mundo que nos llegará. La abstracción cuando es heterónoma es también una cosificación, porque somos incapaces de reconocernos en ese mundo demediado que es mucho más fragmentario que el mundo que tenemos al alcance de la mano (Honneth, 2007).
Anders (2011) en la década de 1950 escribió un libro premonitorio: La obsolescencia del hombre. En él nos sugería que el problema no es solo que el ser humano se haya cosificado y cosificado el mundo traducido en guarismos y datos, sino que también se convierte en instrumento y, al mismo tiempo, siente vergüenza prometeica. No estamos a la altura de la tecnología que hemos creado y nos sentimos démodés, obsoletos, superados y despreciados por los mecanismos tecnológicos. En la mentalidad moderna, ese mundo ordenado y representado construye un mundo de máquinas cuya eficiencia rebasa las capacitaciones del ser humano. No podemos contar con la capacidad de cálculo de una máquina.
Estos dos breves excursos que se enfrentan a la mentalidad tecnológica nos ponen sobre aviso acerca del acervo de valores que encarna el algoritmo. No hay más que pensar en cómo los algoritmos de high-frequency trading (HFT) vuelven obsoleta la intervención directa humana en las compras y ventas bursátiles.
¿Cómo estar a la altura competitiva de una máquina capaz de vender y comprar miles de acciones en milisegundos, conforme a cálculos racionales sistematizados: “HFT es lo último en finanzas autorreferenciales, en que las percepciones del valor provienen enteramente de señales codificadas en los terminales de comercio. Últimamente, el factor que limita el fast trading es la velocidad de los cables de fibra óptica. Por ello, las compañías están pagando para construir cables ultrarápidos entre los centros financieros” (Pasquale, 2015, p. 131).
Tanto Paul Virilio, quien hace equivalentes modernidad y gobierno de la velocidad, como Hartmut han señalado cómo la aceleración de los procesos psicosociales produce alienación en la máquina, tal y como vaticinaba y celebraba el futurismo de Filippo Tommaso Marinetti. En una dromocracia, el ser humano siempre será más lento que los algoritmos.
La medida y cuantificación del mundo se inscriben así en la voluntad de construir un orden ideal y perfecto (Crosby, 1998; Zumthor, 1994). Hoy veloz quiere decir ideal, perfecto. La orientación positivista y el pragmatismo de la ciencia nos remiten a un cambio en las mentalités. Los inventos y las innovaciones adoptan así un carácter utilitarista y práctico. El objetivo primordial de los algoritmos y la datificación no es recoger datos sobre lo que pensamos, sino sobre lo que hacemos con independencia de cuáles sean nuestras declaraciones de intenciones.
En otras palabras, el algoritmo no quiere saber si decimos que nos sentimos atraídos por el cine de autor, sino si, en verdad, lo vemos. Estos son datos que Netflix y su algoritmo recaban para elaborar listas de sugerencias o para conocer y anticipar qué contenidos cautivarán y cuáles no en el menor tiempo posible. El ahorro de tiempo para el usuario descansa en esa premisa de no perderlo teniendo que buscar contenidos de interés: lo hará el algoritmo por nosotros. Actúa rápido, parece ser el imperativo categórico de nuestros días, deseo que satisface a la perfección el algoritmo.
De igual modo, para realizar cálculos pertinentes, los algoritmos precisan cuantificar y cifrar la vida social, lo que se consigue cada vez que utilizamos interfaces digitales:
A tenor del encuentro con la informática, las cifras se han vuelto señales digitales (listas, botones, contadores, recomendaciones, hilos de actualidad, publicidad personalizada, trayecto GPS, etc.), las cuales visten todas las interfaces que, haciendo un clic, no cesamos de acariciar. Penetran tan íntimamente en nuestra vida cotidiana que apenas percibimos las largas cadenas que conducen desde las simpáticas pantallas coloreadas hasta las grandes infraestructuras estadísticas que la revolución digital instala en lejanos servidores de datos. (Cardon, 2018, p. 17)
Los algoritmos se instalan en nuestras vidas cotidianas y las enmarcan e, incluso, diseñan nuestros horizontes de expectativas según un patrón de probabilidades. Es lo que Greenfield (2017) llama radical technologies. Por ejemplo, internet de las cosas, donde la smartcity convierte cada rincón en un sensor que recoge datos para ser procesados por algoritmos:
Internet de las cosas es la manifestación más tangible del deseo de medir y controlar el mundo a nuestro alrededor. Pero como aparato de captura, está llegando a sus objetivos finales. Su objetivo es la cuantificación de los procesos de vida en cualquier escala, su transformación en datos digitales y el uso de los datos para el análisis. (Greenfield, 2018, p. 59)
Así, la aplicación de la inteligencia artificial (IA) por medio de algoritmos viene a simplificar las decisiones del ser humano. En cierto modo, el algoritmo, incluso, las sustituye y aprende por sí solo a corregir sus errores mediante el machine learning. No nos ayuda a decidir, sino que nos indica qué hacer. El presidente de Google lo sugería claramente: la gente no quiere información, busca que se le dé respuesta a qué hacer. ¿No es esto un deseo de alienación? ¿No es demasiado cómoda tal ausencia de responsabilidad?
Consideremos el algoritmo como un entramado simbólico. Un símbolo, en realidad, como nos contaba Elias (1994), es un mapa para orientarnos. Comunicamos para dar señales sobre lo que vamos a encontrar en el camino. Y los algoritmos tratan de hacer precisamente eso: cartografiar nuestros mundos en tiempo real para proveernos de señales. Pero es preciso, como aseguraba Alfred Korzybski, asumir que el mapa nunca es el territorio. Es lo que nos enseñaba también Borges en su cuento Del rigor en la ciencia. Si creemos los mapas de una instancia mecánica, estaremos a su merced, administrados por la máquina cultural que es el algoritmo.
La creencia ciega en los mapas prácticos elaborados por los algoritmos proviene de lo que llamaríamos “estrategia de la objetividad”. Como en los casos mencionados, tras la cuantificación o el mapping, tendemos a olvidar que lo que se nos muestra es el resultado de un proceso de selección y encuadre.
Así, se confía en la objetividad de PageRank sin considerar los elementos que intervienen en la indexación y jerarquización de los resultados de búsqueda (Ippolita, 2010, p. 101 y ss.). Además, el algoritmo tiende a privilegiar lo más popular, lo más “votado”, de forma que las rupturas con las corrientes hegemónicas, los pensamientos minoritarios, quedan aún más arrinconados (Cassin, 2007). Se intensifica la desigualdad entre lo visible y lo no visible.
Finn (2018) resalta que uno de los principios básicos de todo algoritmo, y es posible que sea una de las causas de su éxito, es la abstracción. Clarifica actividades y las vuelve más formularias, menos complejas. Así, por ejemplo, Uber: “El funcionamiento de Uber está supeditado a abstraer las complejidades, las regulaciones y las convenciones establecidas sobre el acto de parar un taxi, y a transformar la experiencia de alquilar un vehículo en una suerte de videojuego” (p. 104). Da la ilusión de ser un entorno más controlado, más formateado, que la espontaneidad con la que nos encontramos fuera de la vida algorítmica.
Bajo la premisa de la eficiencia, del best one-way que Ellul (1988) señalaba como primum mobile de la técnica moderna, todo aquello que no sirva a un objetivo predefinido será, de forma indefectible, ignorado, en lo que vendría a ser un darwinismo algorítmico. La transparencia de los datos y la organización de lo real por medios digitales nos hace perder de vista el aleas, el azar: “El sentido ocasional de la relación con lo real” (p. 614).
Pero lo más rápido no es siempre lo mejor, porque perdemos la infinitud de los detalles, de lo concreto en sus múltiples y fortuitas variaciones. Y, de igual forma, Ellul (1988) en los albores del informacionalismo advertía la falsa ilusión de comprender lo que nos muestra la pantalla: “Lo que me fascina es que todos los que utilizan el aparato global telemático hacen como si hubiesen comprendido, mientras lo único que saben es cómo manejar los aparatos, de forma a veces muy hábil, pero en el fondo no se trata más que de eso” (p. 614).
Pensemos en la serendipia, el feliz hecho de encontrarse con algo no buscado. El acto de pasear, el deambular o lo que llamaríamos flânerie, con resonancias a Baudelaire, ese recorrido incierto, de errancia sin destino fijo. Por el camino, la visión lateral y la curiosidad hacen que nuestra atención se detenga en objetos, marcadores urbanos o naturales, personas inesperadas, detalles del entorno a los que nuestra curiosidad da relevancia y significado. ¿Podría simular un algoritmo el encuentro fortuito? ¿El error que era para el compositor Luigi Nono el origen transgresor de la creatividad y la ruptura estética?
El algoritmo de guía basado en GPS nos llevará de un lugar a otro a través de la voz estandarizada o la pantalla, pero nos privará de la experiencia concreta de aprender a orientarnos en el territorio, aprehender —que remite a agarrar, al sentido táctil— las geografías que nos rodean e, incluso, perdernos en ellas.
La conducción con el GPS se ha inscrito tan fuertemente en las prácticas de los conductores que estos en ocasiones han perdido toda idea de mapa, de las maneras de leerlo, de la diversidad de sus caminos y de las alegrías del extraviarse. […] Con el mapa hemos perdido el paisaje. El camino que seguimos es el “mejor” para nosotros”. (Cardon, 2018, p. 134)
Perderse es una estimulación al aprendizaje activo. Así lo reafirmaba La Cecla (2011). Un mundo safety, fácil de usar y securitario contribuye a lo que denomina fascismo architettonico, una “lobotomía espacial”. Lo que se gana en seguridad se pierde en libertad y conocimiento autónomo. El mundo aséptico y confortable del algoritmo es sinónimo de simplicidad, estandarización enjaulada y antagonista del reconocimiento de la complejidad y lo diverso. Aprender a orientarse precisa de este perderse, del tener que buscar por uno mismo las guías y señales en el territorio. Lo contrario, la orientación fácil, perpetúa la infantilización y dependencia de las instancias paternas que nos señalan qué hacer y qué pensar, qué mirar y qué oír, como en las rutas turísticas. Nos impide crecer:
Crecer significa, en efecto, liberarse de las consecuencias dramáticas del hecho de perderse, de haberse perdido cuando éramos niños entre la multitud de una feria, en el río humano de una calle. Quiere decir aprender a orientarse por sí mismo, a no necesitar una guía para salir de los laberintos y trampas del ambiente que nos rodea. (La Cecla, 2011, p. 15)
Es el campo de lo indeterminado y ambiguo, frente a la claridad y rigidez de las actividades eficientes. Sennett (2019) nos conmina a valorar la riqueza de la realidad, de la ciudad, antes que su claridad. La noche que alimenta la imaginación antes que las luces artificiales. Como en la música, cuyos significados son siempre inciertos y volátiles. Jankélévitch (1983) nos decía que la música es el territorio de la línea curva, de lo puramente inútil que se retrasa siempre. Es tiempo perdido para las mentalidades de la razón algorítmica. Tiempo ganado para otros:
Ocurre que ese tiempo perdido, como el de las caminatas y paseos, son un tiempo ganado, un tiempo inmediatamente reencontrado. El objetivo de la música, ya sea preludio, impromptu o incluso sonata, no es en efecto ir a alguna parte en el mínimo tiempo y llegar al destino lo más rápido posible […] La música prefiere la línea curva y las circunvoluciones superfluas, y las notas para nada. (p. 82)
La razón algorítmica y la pasividad inducida
Cualquier tecnología nos da la sensación de poder sobre el mundo natural. Esta impresión puede ser también una ilusión, que era para Freud la expresión de un deseo. Hace que el individuo crea ser autónomo, independiente del mundo en el que actúa y que sojuzga. Pero hay que considerar qué actores hay detrás de ese código técnico que filtra nuestro mundo online y lo racionaliza (Feenberg, 2017, p. 101).
Debord (2003) sugería que el reino de las imágenes espectaculares como escenario para las relaciones sociales tendría como continuador el campo informático. No se trata ya de que vivamos solo a partir de las imágenes construidas y seleccionadas por otro: nuestras vidas se hallan intermediadas por los programas y algoritmos diseñados por otro. “El lenguaje binario del ordenador es otra incitación a aceptar sin reserva y a cada instante aquello que otro ha programado como le daba la gana y que luego se hace pasar por fuente intemporal de una lógica superior, imparcial y total” (pp. 40-41).
Se trata de un poder estructurado y estructurador, según Bourdieu (2014), que filtra con arreglo a los datos disponibles de los ciudadanos nuestro espacio perceptivo y cognitivo. Así, algoritmos tales como EdgeRank de Facebook y PageRank de Google ilustran lo que Pariser (2012) ha llamado filter bubble.
El objetivo deseable de un mundo fabricado a nuestra medida, sin injerencias que pudiesen provocar lo que Festinger (2002, 2017) denominó “disonancia cognitiva”, parece ser el leitmotiv de los algoritmos mencionados, tanto como el sistema de recomendación de Amazon. Casos como Cambridge Analytica no son sino momentos excepcionales que muestran la capacidad de los algoritmos para dirigir las voluntades de los ciudadanos conforme a la focalización perceptiva.
La contradicción radica en la ambivalencia de una tecnología que, por un lado, ahorra esfuerzo al ciudadano y, por otro, delega en los algoritmos la preselección o de informaciones o de resultados de búsqueda. La personalización que prometen algoritmos de filtrado contrasta paradójicamente con la delegación de nuestras prácticas en el algoritmo. ¿Individualismo gregario?
Se hace cierta la divisa de Walter Benjamin cuando sostenía que el individuo cree regirse por sus mezquinos intereses egoístas cuando no es más que otra pieza en la estandarización y masificación de gustos y estilos de vida. Y es un hábito al que nos acostumbramos y desencadena lo que Cardon (2018) llama “conductismo radical”: muestra “a los sujetos que creen estar emancipados respecto a las determinaciones que, precisamente en aquello que suponen ser singularidades incomparables, en realidad siguen siendo previsibles, cual pequeños ratones mecánicos en las garras de dispositivos de cálculo informático” (p. 90).
¿Dónde queda la resistencia, el obstáculo? En realidad, el encuentro con lo diverso es fuente de tensión y también de riqueza. La profilaxis de los algoritmos sería así el equivalente digital a las gated communities, especie de privatopías purificadas de todo elemento exógeno, homogéneas, donde lo igual se relaciona con lo igual y excluye por principio lo extraño. Es este el sentido de las burbujas de los filtros, que atomiza las unidades sociales y las vuelve herméticas y refractarias a las demás.
Pero esta purificación social implica la alienación de raíz de los individuos y su condicionamiento casi huxleyano. Un algoritmo mecaniza las acciones y el pensamiento humanos, para hacerlos más eficaces y rápidos. A partir de una serie de inputs, se llega de forma más directa a los outputs deseados. Pero la mecanización deja a un lado las libertades y espontaneidad del ser humano, el sentido del aprendizaje en tiempos lentos y la exploración por uno mismo. Dicho de otra manera, desde el instante en que nos sometemos al gobierno del algoritmo, en cuyo diseño y funcionamiento no participamos más que para introducir unos inputs, nos hallamos en una situación de nueva servitude volontaire (Vion-Dury, 2016), a expensas de los criterios opacos del algoritmo.
A través de la matematización y de la estadística, se erige un gobierno a partir de los saberes sobre la población: “Las herramientas estadísticas permiten descubrir o crear seres sobre los cuales apoyarse para describir el mundo y modificarlo” (Desrosières, 2010, p. 9). Se trata de representar e intervenir (Hacking, 1996) como principio de la filosofía de la ciencia y la tecnocracia. Pero de la razón estadística como fuente de poder y control pasamos a la razón algorítmica. La relación de poder es micro, directa, personalizada incluso. El conocimiento nos ofrece la oportunidad de devenir proactivos y anticipar nuestros comportamientos en función de un futuro previsible. Pero ese futuro puede ser un estado cerrado hecho a nuestra medida, en lugar del resultado abierto e indeterminado de un proceso en el que los ciudadanos somos parte activa.
Dependientes de ese tiempo y espacio medidos, cuantificados, la abstracción matemática orienta nuestras vidas como un verdadero poder invisible. Confiamos en herramientas que nos parecen neutras, efectivas, productivas, sin reflexionar sobre los valores que encarnan y su naturaleza performativa:
Más allá del pensamiento crítico sobre la naturaleza de los algoritmos, hay una necesidad de considerar su trabajo, efectos y poder. Justo porque los algoritmos no son neutrales, expresiones imparciales de conocimiento, su labor no es aséptica y apolítica. Los algoritmos buscan, recogen, categorizan, encuadran, analizan, perfilan, modelan, simulan, visualizan y reglan a la gente, los procesos y los lugares. Modelan el modo en que comprendemos el mundo y construyen el mundo a través de la ejecución de programas, con consecuencias profundas. (Kitchin, 2017, p. 18)
Aplicaciones del smartphone que miden los pasos que andamos, nuestros sueños y vigilias, representan el paroxismo de un yo cuantificado (Lupton, 2016). No somos más que los datos self-tracked que nos definen. El resultado son instantáneas a modo de snapshots de momentos particulares que se cuantifican y matematizan (p. 89). Y en función de tales descripciones en tiempo real tomamos decisiones.
Y los algoritmos que recogen estos datos que proporcionamos sobre nuestros movimientos, nuestras aficiones, nuestro pulso, analizan, incluso, no solo lo que hacemos, los comportamientos, sino también nuestros sentimientos en lo que viene a llamarse sentiment analysis. El resultado no solo es la predicción de comportamientos, sino la sugerencia/persuasión por parte de los algoritmos de conductas en función de objetivos y metas que se supone deseamos.
En realidad, el algoritmo, ya sea en el smartphone o en el smartwatch, se convierte en el sucesor del reloj como icono fundamental, no ya de la era industrial, sino de lo que llamamos poshumanismo. Como Gulliver, que en la novela de Jonathan Swift consultaba su reloj de forma tan frecuente que los liliputienses pensaban que era su Dios, el algoritmo nos relaja de la responsabilidad de forjar nuestras propias vidas, y es en sí algo religioso, un fetiche tecnológico. Para Julio Cortázar, cuando nos regalaban un reloj, nos regalaban un “pequeño infierno florido”. Nosotros somos los regalados al reloj.
O, por decirlo con Latour (2009), un faitiche, una agencia que hace hacer y, además, se enmarca en la mística de lo secreto y lo mágico fascinante: “Disimula el trabajo humano de manipulación, transforma al creador en criatura” (p. 31). Mientras el algoritmo no se presta a la observación y coproducción por quienes se servirán de él, como harían, por ejemplo, los programas de código abierto y las arquitecturas de software libre, se presentará como una suerte de amuleto u oráculo al que consultar como instancia paternalista: “Al igual que el crucifijo o que el campanario que anuncia la misa del domingo, el software es ubicuo y misterioso aun cuando es evidente, manifestándose de maneras familiares que no son más que representaciones simbólicas del auténtico trabajo que desempeña entre bastidores” (Finn, 2018, p. 68).
En este contexto, los algoritmos han de concebirse desde el punto de vista del poder simbólico. Esto es, entendido el símbolo como un medio de orientación, una especie de mapa cuyos hitos determinarán nuestras acciones futuras, la IA condiciona y encuadra en efecto el espacio de actuación de los individuos.
El poder invisible y opaco
Es lo que Pasquale (2015) ha puesto de relieve en The black box society: los mecanismos que dictan nuestras decisiones serán operados por agentes desconocidos. En algunos casos, como las plataformas GAFA (Google, Amazon, Facebook y Apple), el dominio oligopólico del mundo digital otorga los poderes de moldear la sociedad y los comportamientos en lo que sería un control foucaultiano en forma de biopoder (Moore & Tambini, 2018).
Los sistemas de recomendación en Amazon y YouTube conllevan una familiaridad automatizada en tanto sugieren de modo amable ofertas que creen que nos gustarán. Pero no hay que descartar que ese “quizá” es difícil de desentrañar. Como intermediarios, se especializan en establecer alianzas, a veces anticipándose a los intereses de los clientes, otras de los proveedores: todo ello para orquestar un mundo online que maximice sus beneficios. (Pasquale, 2015, p. 5)
No es solo que estemos siendo controlados, como sugería Deleuze, o vigilados mediante la monitorización y perfilado (Mattelart & Vitalis, 2014), sino que también se proyectan los comportamientos deseables en lo que viene a llamarse capitalismo de vigilancia (Zuboff, 2019). Lo que Sadin (2016) llama “siliconización del mundo” estandariza los comportamientos desde la racionalidad algorítmica: una “organización automatizada del mundo” (p. 108) conforme a los sistemas de cálculo para beneficio económico de las grandes corporaciones digitales. Los datos son dinero.
Se trata de un poder inadvertido, soft en tanto cuenta con el beneplácito de acciones voluntarias de quienes se someten a su poder al utilizar los algoritmos. “Los algoritmos están diseñados para seducir, constreñir, disciplinar, regular y controlar: para guiar y remoldear el modo donde la gente, los animales y los objetos interactúan y pasan a través de varios sistemas (Kitchin, 2017, p. 19). Es el deseo de ser guiado, impulsado, quizá, por el miedo a la libertad del que hablase Eric Fromm.
Al mismo tiempo, los algoritmos son, en efecto, una fuente de desigualdad y de discriminación. Por ejemplo, en los resultados de motores de búsqueda como PageRank o, incluso, en la función autocompletar, inducen a resultados racistas (Noble, 2018).
Se trata de lo que se podría llamar postcolonial computing, en que el algoritmo, de hecho, es la base para discriminaciones raciales (Ali, 2017). Ya desde su concepción, cuando no es transparente, la construcción de modelos probabilísticos incontestables implica operaciones veladas de selección.
Y como en toda representación, la descripción de la realidad contiene una cosmovisión que, en este caso, como señala Ali, contiene modelos eurocéntricos de la realidad, de prácticas, en la línea del orientalismo denunciado por Edward Said. En realidad, la lógica invisible de los algoritmos sería una especie de orientalismo computacional, de violencia simbólica y performativa en tanto tecnología predictiva que condiciona nuestro horizonte práctico.
Por otra parte, serán los algoritmos los que nos evalúen, no solo en ámbitos comerciales y la publicidad personalizada, sino también en el campo administrativo y laboral. ¿Pagará un individuo su hipoteca? ¿A quién debe contratar un empleador? ¿Qué barrios habrá de patrullar la policía en función de la probabilidad de delitos? (Eubanks, 2018). Las respuestas del algoritmo se basarán en modelos probabilísticos cuyas categorías de análisis segmentarán y enclasarán a los ciudadanos. “Ningún modelo puede incluir todo lo que existe en la complejidad del mundo real o los matices de la comunicación humana. De forma inevitable, alguna información importante quedará fuera” (O’neil, 2017, p. 26). A veces, lo más importante es precisamente lo que no se ve.
Así, por ejemplo, el caso de la profesora de quinto grado Sarah Wysocki. A pesar de haber sido valorada muy positivamente por compañeros y padres de estudiantes, la instauración de un sistema de puntuación del profesorado, generado por un algoritmo, llamado IMPACT. Junto a otros 205 profesores, fue despedida sin que se conociesen a ciencia cierta cuáles fueron los criterios del algoritmo para valorar su trabajo de manera negativa (O’neil, 2017, p. 14 y ss.). A la hora de pedir un préstamo bancario, solicitar un apartamento en alquiler o al inscribirse en una oferta de trabajo, será la razón algorítmica lo que, conforme a criterios opacos, nos clasifique y dirija nuestras vidas.
Conclusiones
Reflexionar sobre la tecnología digital implica teorizar sobre el trasfondo de nuestras vidas cotidianas. En el caso que nos ocupa, la razón algorítmica viene a confirmar las sospechas que, a propósito de la dialéctica de la Ilustración, presentaban los teóricos frankfurtianos. La razón instrumental, en este caso automatizada, invisible, impensada, acaba por enjaular a los seres humanos en las lógicas del poder impersonal del algoritmo. En este punto, “el significado es desbancado por la función o el efecto en el mundo de las cosas y de los acontecimientos” (Horkheimer, 2002, p. 59).
En la mentalidad de nuestra época, en la que los valores predominantes son la eficiencia, la rapidez, la fugacidad de las impresiones superficiales, los algoritmos vienen a colmar deseos sociales. La simplicidad y la claridad, que tienden a construir sociedades cerradas, unidimensionales bajo la falsa apariencia de diversidad, prevalecen en la razón algorítmica sobre la complejidad y la indeterminación.
Por una parte, la abstracción como origen de nuestras decisiones priva al individuo del contacto directo y concreto con la realidad. En lugar de suscitar exploraciones, curiosidad, el algoritmo desplaza la riqueza del paisaje en beneficio del cumplimiento de la función.
Derivada de esta fe ciega en el dispositivo impersonal, cuantificado del algoritmo, el ser humano pasa a ser un sujeto paciente, pasivo, a merced de los resultados performativos del algoritmo. La vida se experimenta como destino regido por los algoritmos: “Mecanismos puros pueden producir efectos de destino” (Dupuy, 2002, p. 76).
Por último, este poder invisible y opaco es fuente de discriminaciones y de asimetrías. Al dibujar un mapa de la realidad, también indica el algoritmo los nortes y sures, los centros y periferias, de acuerdo con los criterios de selección y cálculo que hayan sido programados, ya sea por administraciones públicas, corporaciones o por el oligopolio digital GAFA.
Junto con los efectos positivos de cualquier tecnología, y en este caso los algoritmos, urge advertir las consecuencias no deseadas. O las deseadas cuando los deseos responden a la voluntad de ser oprimido por el poder impersonal de los algoritmos. Obnubilados por la función, una vez el medio se convierte en fin, olvidamos que es ese mundo ordenado, calculado, el que ha de servir para coordinar una sociedad abierta, en la que la complejidad, la indeterminación y la curiosidad de los individuos den sentido a tales máquinas culturales.
El desafío, pues, concierne a la naturaleza prescriptiva o coordinadora del algoritmo, dada su ambivalencia ontológica. El algoritmo, como lo era la máquina para Mumford (2002), “es a la vez un instrumento de liberación y de opresión” (p. 307).
Referencias
Ali, S. M. (2017). Decolonizing information narratives: Entangled apocalyptics, algorithmic racism and the myths of history. En Multidisciplinary Digital Publishing Institute Proceedings, 1(3). https://doi.org/10.3390/IS4SI-2017-03910
Amoore, L. & Piotukh, V. (Eds.). (2016). Algorithmic life: Calculative devices in the age of big data. Londres, RU: Routledge.
Anders, G. (2011). La obsolescencia del hombre. Valencia, España: Pre-Textos.
Antinucci, F. (2011). L’algoritmo al potere: vita quotidiana ai tempi di Google. Roma, Italia: Laterza.
Beer, D. (2017). The social power of algorithms. Information, Communication & Society, 20(1), 1-13. https://doi.org/10.1080/1369118X.2016.1216147
Bourdieu, P. (2014). Langage et pouvoir symbolique. París, Francia: Séuil.
Cardon, D. (2018). Con qué sueñan los algoritmos: nuestras vidas en el tiempo de los big data. Madrid, España: Dado ediciones.
Carr, N. (2017). Superficiales: ¿qué está haciendo internet con nuestras mentes? Barcelona, España: Taurus.
Cassin, B. (2007). Google-moi: La deuxième mission de l’Amérique. París, Francia: Albin Michel.
Crosby, A. (1998). La medida de la realidad. Barcelona, España: Crítica.
Debord, G. (2003). Comentarios sobre la sociedad del espectáculo. (3.ª ed.). Barcelona, España: Anagrama.
Desrosières, A. (2010). La politique des grands nombres: histoire de la raison statistique. París, Francia: La découverte.
Dupuy, J. P. (2002). Pour un catastrophisme éclairé. París, Francia: Séuil.
Elias, N. (1994). Teoría del símbolo. Barcelona, España: Península.
Ellul, J. (1988). Le bluff technologique. París, Francia: Pluriel.
Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. Nueva York, EE. UU.: St. Martin Press.
Feenberg, A. (2002). Transforming technology: A critical theory revisited. Nueva York, EE. UU.: Oxford University Press.
Feenberg, A. (2017). Technosystem: The social life of reason. Londres, RU: Harvard University Press.
Fernández Vicente, A. (2014). Por un saber ensayístico o contra el rígido academicismo. Redes.com, 10, 237-252. http://revista-redes.hospedagemdesites.ws/index.php/revista-redes/article/view/345
Fernández Vicente, A. (2016). Ciudades de aire: la utopía nihilista de las redes. Madrid, España: Catarata.
Finn, E. (2018). La búsqueda del algoritmo: imaginación en la era de la informática. Barcelona, España: Alpha Decay.
Greenfield, A. (2017). Radical technologies: The design of everyday life. Londres, RU: Verso.
Hacking, I. (1996). Representar e intervenir. Barcelona, España: Paidós.
Honneth, A. (2007). Reificación. Madrid, España: Katz.
Horkheimer, M. (2002). Crítica de la razón instrumental. Madrid, España: Trotta.
Ippolita, C. (2010). El lado oscuro de Google. Barcelona, España: Virus.
Jankélévitch, V. (1983). La musique et l’ineffable. París, Francia: Séuil.
Kitchin, R. (2014). The data revolution: Big data, open data, data infrastructures and their consequences. Los Ángeles, EE. UU.: Sage.
Kitchin, R. (2017). Thinking critically about and researching algorithms. Information, Information, Communication & Society, 20(1), 14-29. https://doi.org/10.1080/1369118X.2016.1154087
La Cecla, F. (2011). Perdersi: l’uomo senza ambiente. (4.ª ed.). Roma, Italia: Laterza.
Latour, B. (2009). Sur le culte moderne des dieux faitiches. París, Francia: La Découverte.
Leber, J. (2013). “House of Cards” and our future of algorithmic programming. Cambridge, EE. UU.: MIT Technological Review.
Lupton, D. (2016). The quantified self: A sociology of self-tracking. Cambridge, EE. UU.: Polity Press.
Mattelart, A. (2006). Histoire de la société de l’information. (3.ª ed.). París: La Découverte.
Mattelart, A. & Vitalis, A. (2014). Le profilage des populations. París, Francia: La Découverte.
Moore, M. & Tambini, D. (Eds.). (2018). Digital dominance: The power of Google, Amazon, Facebook, and Apple. Nueva York, EE. UU.: Oxford University Press.
Morozov, E. (2015). La locura del solucionismo tecnológico. Madrid, España: Katz.
Mumford, L. (2002). Técnica y civilización. Madrid, España: Alianza.
Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. Nueva York, EE. UU.: University Press.
O’neil, C. (2017). Weapons of math destruction: How big data increases inequality and threatens democracy. Nueva York, EE. UU.: Broadway Books.
Pariser, E. (2012). The filter bubble: What the Internet is hiding from you. Londres, RU: Penguin.
Pasquale, F. (2015). The black box society. Londres, RU: Harvard University Press.
Rosa, H. (2016). Alienación y aceleración: hacia una teoría crítica de la temporalidad en la modernidad tardía. Madrid, España: Katz.
Sabato, E. (1995). Hombre y engranajes: heterodoxia. Madrid, España: Alianza.
Sadin, E. (2015). La vie algorithmique: critique de la raison numérique. París, Francia: Echapée.
Sadin, E. (2016). La siliconisation du monde: l’irrésistible expansion du libéralisme numérique. París, Francia: L’échapée.
Sennett, R. (2019). Construir y habitar: ética para la ciudad. Barcelona, España: Anagrama.
Striphas, T. (2015). Algorithmic culture. European Journal of Cultural Studies, 18(4-5), 395-412. https://doi.org/10.1177/1367549415577392
Turkle, S. (2012). Alone together. Nueva York, EE. UU.: Basic Books.
Van Patten, T. (Director) (2017). Black Mirror: Hang the DJ [TV]. Reino Unido: Netflix.
Vion-Dury, P. (2016). La nouvelle servitude volontaire: enquête sur le projet politique de Silicon Valley. París, Francia: FYP.
Zuboff, S. (2019). The age of surveillance capitalism: The fight for a human future at the new frontier of power. Londres, RU: Profile Books.
Zumthor, P. (1994). La medida del mundo. Madrid, España: Cátedra.
____________________________________________________________________________