La aplicación de citas Bumble incluyó una herramienta llamada Private Detector desarrollada con una inteligencia artificial; entrenada para detectar imágenes de desnudos y otro tipo de contenido inapropiado enviadas dentro de los chats de la plataforma.
Esta función, que estuvo en fase de desarrollo desde finales de abril de este año, está integrada en los perfiles dentro de la aplicación de citas; y avisará a los usuarios en caso de que algún usuario envíe una foto inapropiada por mensaje directo a otra persona sin su consentimiento.
Cómo funciona Private Detector
Según el comunicado emitido por la compañía, se utilizó el machine learning como una forma de permitir que la aplicación entienda una fotografía y la detecte en caso de contener una imagen que pueda ser considerada como nociva para el usuario que la reciba.
Para lograr un nivel de precisión elevado de precisión en la detección de este contenido, tal como lo señala la publicación; en el sitio web oficial de la plataforma de citas se expuso a la herramienta de inteligencia artificial a imágenes no sexuales; etiquetadas como “contenido límite” que se refiere a partes del cuerpo como brazos o piernas; con la finalidad de permitirlas y no se califique a cualquier fotografía como contenido sensible o inapropiado.
La aplicación de citas Bumble incluyó una herramienta llamada Private Detector desarrollada con una inteligencia artificial; entrenada para detectar imágenes de desnudos y otro tipo de contenido inapropiado enviadas dentro de los chats de la plataforma.
Esta función, que estuvo en fase de desarrollo desde finales de abril de este año, está integrada en los perfiles; dentro de la aplicación de citas; y avisará a los usuarios en caso de que algún usuario envíe una foto inapropiada por mensaje directo a otra persona sin su consentimiento.
“El agregar de forma reiterada muestras a la base de datos de entrenamiento para reflejar el comportamiento real de los usuarios; o probar la clasificación errónea, resultó ser un ejercicio exitoso que aplicamos durante años en todos nuestros esfuerzos de aprendizaje automático”, afirma el comunicado.
De igual forma, las fotografías que contienen armas también son etiquetadas como contenido sensible y pueden ser denunciadas en los medios que están integrados dentro de la aplicación.
“Cuando se analizó su desempeño en diferentes condiciones, tanto online como offline, conseguimos una precisión de aproximadamente un 98 % (en la identificación de casos de contenido sensible)”, se afirmó en la publicación de la aplicación de citas.
Si una persona recibe este tipo de contenido dentro de la plataforma de Bumble, el sistema de Private Detector; difuminará la imagen de forma automática y predeterminada. En el caso de que la persona desee ver el contenido de la fotografía, deberá pulsar sobre ella de forma prolongada y autorizar la visualización. Si no, podrá denunciarla usando los mecanismos integrados dentro de la aplicación.
Esta es la manera por la que Bumble intenta prevenir el cyberflashing, una práctica de violencia sexual digital que consiste en el envío no deseado de imágenes con contenido obsceno o videos sexuales por medios digitales. Algo que, pese a que la empresa indica que representa menos del 0.1 % de las conversaciones dentro de la aplicación, sí puede ocurrir en otras plataformas y redes sociales.
Además, debido a la intención que se tiene de que esta herramienta sea aplicada en otros sitios web y plataformas de redes sociales, Bumble ha comunicado que el sistema basado en inteligencia artificial está disponible para las personas interesadas y es de código abierto, de forma que será aún más sencilla su implementación en otros servicios digitales
La publicación en la página web indica que “el servicio estándar para difuminar imágenes sexuales está disponible tal cual; pero puede mejorar con ejemplares de prueba adicionales. Toda mejora en la arquitectura del código o la calidad en la estructura del mismo es bienvenida”.
Fuente: INFOBAE
