"Si tú no trabajas por tus sueños, alguien te contratará para que trabajes por los suyos”

Steve Jobs

Afiliado
Dominios3Euros

Un informático en el lado del mal

Blog personal de Chema Alonso sobre sus cosas.

  • Cómo evitar fugas de documentos con un "DLP AI" para ficheros de imágenes con Cloudflare Workers AI y Clef

    Estando en Argentina me preguntaron por una capacidad de los Guardarraíles para DLP de Cloudflare. "¿Cómo evitamos que los usuarios envíen documentos gráficos con DNIs, Pasaportes o tarjetas de Crédito?" La idea es sencilla, y no es una opción por defecto en muchos DLPs, pero es que hoy en día en los Guardarraíles, o en los WAF, o en el CASB de la plataforma de Cloudflare puedes hacer una llamada a un Worker y correr cualquier check que quieras, y con la llegada de los Modelos de Decisión como Cloudflare Clef, esto es muy sencillo de realizar.
    Así que le puse a mi "wingman" en Cloudflare, el gran Carlos Luengo, un audio que le decía algo así como "Su misión, en caso de aceptarla, consiste en hacer un Worker AI que reciba una imagen, la pase por Clef y nos diga si es un leak de un documento oficial (DNI o Passport) o una tarjeta de crédito." Así que nada, en lo que dura un ping a Cloudflare , con el Vibe Coding hizo una PoC llamada Visor muy sencillita.
    La arquitectura utiliza las piezas de Cloudflare para construir en el Edge, y la podéis probar vosotros mismos, ¿quién necesita una región en la cloud para esto cuando tienes Region Earth en Cloudflare? Utilizar Turnstile y Precursor para evitar los bots, luego un Worker para validar la imagen que sube, un Worker AI para hacer la ejecución de Clef, y el almacenamiento de imágenes para las pruebas en R2 y D1 para tener la información en tablas y un registro de las decisiones tomadas, que pueda servir para ajustar la configuración de las decisiones.
    El resultado es VISOR, una web con la PoC muy sencilla, en la que puedes subir la imagen y probar la decisión. Sube imágenes fake creadas para esto que Internet está lleno, y en unos milisegundos tienes la respuesta en la misma web.
    Yo lo he probado con todo tipo de imágenes, y lo ha hecho muy bien, pero si quieres probar esto en tu entorno y antes testearlo - como hemos hecho nosotros - puedes hacer que procese batches, en nuestro caso lo hemos hecho con imágenes que hemos cargado con URLs desde búsquedas en la web, y el resultado es perfecto.
    La programación de este servicio en TypeScript es menos de un centenar de líneas, y lo puedes pedir a tu AI Coder favorito, que al final la llamada a CLEF (que es multi-modal y toma decisión con modelos de visión), es tan sencilla como está parte.
    Y luego, una vez cargado el análisis - en este ejemplo hecho por mí solo he tenido en cuenta DNI y Pasaporte, pero puedes añadir el que quieras - tomas la decisión adecuada a cada uno de ellos.
    Así que si quieres, puedes hacerte este Worker AI con Clef y meter este DLP en todos los puntos de control que desees. En el SGW, en el CASB, en el eMail Security, en los Guardrrailes, etcétera. La capacidad se puede consumir desde dónde tú quieras. Esta en el Edge mundial de Cloudflare, a 50 milisegundos en media en todo el mundo.
    Y si has entendido esta prueba, imagina la cantidad de controles de seguridad que puedes poner en todos los procesos de tu organización, y en todos los servicios digitales que tienes añadiendo checks de seguridad con Clef.  En este vídeo tenéis el proceso completo, y los valores devueltos por Clef para todas las imágenes en la prueba individual y en Batch.

    ¿Se te ocurren controles de seguridad en llamadas telefónicas de tu Contact Center, en chats con clientes, en ficheros del sistema, en mensajes de email enviados y recibidos? A mí sí, y seguro que a ti también se te ocurren muchas ideas al respecto.

    ¡Saludos Malignos!

    Autor: Chema Alonso(Contactar con Chema Alonso)  


    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Cómo aprender a gestionar los fracasos para alcanzar los sueños: El sueño americano en Prime

    Hace un tiempo os hablé de una película que me había encantado, porque hablaba del fracaso. Un tema del que no es la primera vez que os he hablado, que hay muchas veces que salen mal las cosas. Aprender a gestionar los fracasos es fundamental. Cómo los superes y lo qué hagas después de cada uno de ellos marca quién eres y quién vas a ser. Todos los días fracasamos de alguna manera. Desde mini fracasos en forma de olvidos, o tareas mundanas como derramar el café, hasta grandes fracasos en forma de expectativas no cumplidas o proyectos que no salen. Cómo gestiones esas mini derrotas, marcará como gestionas las grandes.
    De eso hablo mucho con mis hijas, y estos días he tenido la oportunidad de ver una película, que os más que recomiendo, "El Sueño Americano" que habla de eso mismo. De todos los fracasos que hay que acumular hasta lograr el éxito. No conozco a nadie que le haya ido bien la vida sin tener su buena ración de fracasos acumulados y gestionados. Hay que perder muchos partidos para que algún día se pueda ganar un campeonato. Se deben perder muchos puntos, para aprender a ganarlos.
    El mundo del deporte es una buena representación del éxito y la gestión del fracaso, y por eso con mis hijas hablo mucho de ello. Les cuento mis fracasos, mis caídas, mis derrotas personales, como cuando compilé algunas de las más relevantes en mi historia dentro del discurso que di a los egresados de la Universidad Carlos III.

    Si sólo ves el final de la historia, es decir, la parte del éxito y el glamour de la alfombra roja, el podium o el sitio privilegiado en el palco, pero no ves el camino de fracasos, nunca podrás salir de la "fantasía" del éxito fácil, sin esfuerzo, con suerte, o regalado. No hay mayor mentira que la que uno se cuenta a sí mismo, ni barrera más insalvable que decirse a uno mismo "yo no puedo" y ponerse un techo de cristal.
    La película, que so confieso que me hizo llorar al final, me recordó a muchos momentos de mi vida. A cuando con Rodol nos metimos para montar Informática 64 en el primer piso que pudimos alquilar, pintando las paredes con restos de pintura que tenía de chapuzas que había hecho yo de pintor. Así, cada habitación tocó de un color y una de ells fue de color rosa. Era lo que nos podíamos permitir.

    En el "El Sueño Americano" - que no os quiero hacer spoiler -, un par de apasionados por el basket tienen el sueño de llevar a los mejores jugadores franceses a la NBA. Saben mucho de basket, y luchan por hacerlo realidad, sufriendo por el camino muchos de los fracasos que seguro que vosotros habéis tenido alguna vez. Falta de apoyos, decepciones por traiciones en el mudo de los negocios, y poner hasta el último Euro en pro de hacer de su pasión un trabajo.

    Los protagonistas de la película son un tendero de un videoclub y un limpiador del aeropuerto de Orly en Francia con mucha pasión por el baloncesto. En nuestro caso, cuando decidimos montar Informática 64 yo había trabajado toda mi vida de pintor, barnizador, albañil y profesor particular. Rodol, de cosas similares, y no teníamos ni contactos, ni enchufes, ni padrinos. Nuestros contactos fueron los anuncios de los periódicos de empresas a los que yo personalmente llamaba haciendo venta fría los viernes para buscar reuniones para poder conseguir trabajo. La de veces que me rechazaron, colgaron el teléfono o se pusieron bordes conmigo. Pero... era sólo un punto más.

    Hoy en día, habiendo logrado mucho más de lo que soñé en aquellos años, no se me olvida nunca de donde vengo, y junto con mis cómics, guardo el cartel de Informática 64, que un día os publiqué en mi Instagram.


    Me ha tocado de la película otro aspecto que los protagonistas tenían que sufrir, que era la falta de conocimiento de la lengua inglesa. ¿Cómo vas a llevar a un jugador a la NBA si no hablas inglés? En mi caso, como habéis podido vivir en primera persona, cuando quise ir a "mi NBA personal" que eran DefCON y BlackHat, tuve que lidiar con el mismo problema. Con 33 años tuve que comenzar a aprender inglés. En su caso con una profesora "muy especial" como veréis en la película.

    Las primeras conferencias las hice de memoria, mientras aprendía inglés con unos profesores "muy especiales", viendo series para jóvenes como Wonder Woman, Robocopo SuperBoy, sin subtítulos que eso es muy importante. Leyendo libros de Spiderman o Star Wars para jóvenes, y escuchando toda la música que pude en inglés. Aún sigo con esa disciplina para seguir aprendiendo...

    En el "El Sueño Americano" sacan otra parte fundamental de su viaje, que son los compañeros. Por supuesto, yo he tenido la suerte de tener a mi compañero, que siempre ha estado ahí cuando nos ha ido mal. Algunas veces era yo el que tenía que buscar las soluciones, otras era él el que decía: "No te preocupes, yo puedo ocuparme de esto. Lo podemos hacer." Hoy, más de 35 años después de que nos conociéramos, creo que estar juntos en lo malo, nos hizo llegar a donde llegamos. Y saber que, como los protagonistas de "El sueño americano", aunque estuviéramos lejos, podíamos apoyarnos el uno en el otro, fue importantísimo. Y lo vivimos con muchos amigos que nos acompañaron en el proceso.

    Figura 5: Nosotros teníamos el SOCtano con el rellano de las escalaras
    desde donde hablaba a mis compañeros. Ellos tenían una trastienda,
    y Jeff Bezos una mesa hecha con una puerta barata y dos borriquetas.

    No os quiero contar más detalles de la película, porque creo que merece la pena que te sorprenda cuando la veas, que la tienes ahora en AMAZON PRIME -, pero algo que hacen los protagonistas me hacía recordar mis inicios. Por supuesto, la mentalidad de buscar una solución a cada problema y no un problema para cada solución - huye de esa gente en tu vida -, y de hacerlo sabiendo que siempre hay una forma, aunque pueda ser una locura. Si parece que no hay solución es que es el momento de ser creativo, porque siempre hay algo que se puede intentar, aunque volvamos a fracasar. 
    No os quiero contar mucho, pero sí me gustaría recalcar el título del artículo. Hay que aprender a gestionar los fracasos, porque eso es lo que marcará si vas a tener éxito en tus proyectos. Por supuesto, para gestionar los fracasos vas a tener que trabajar mucho - mucho más que los demás tal vez -, vas a tener que gestionar emociones, vas a tener que buscar apoyos, vas a tener que ser perseverante, vas a tener que aprender a adaptarte, vas a tener que enfrentarte a cosas que no imaginabas antes. Pero si aprendes a gestionar esos fracasos... en algún momento, estarás más que preparado para que llegue tu objetivo.

    Si eres de los que lucha por sus sueños, no te pierdas "El Sueño Americano", es una película educativa y emotiva, que te cuenta lo duro que es triunfar y tener éxito. Para verla con tus hijos, si eres como yo de los que está todo el día intentando que se formen para gestionar los problemas en la vida.

    ¡Saludos Malignos!

    Autor: Chema Alonso(Contactar con Chema Alonso)  

    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Shadow AI: Los datos de tu empresa que tus empleados enviaron a Servicios IA sin que tú lo supieras.

    Hace unas semanas os hablé de en el artículo de "La Inteligencia Artificial está multiplicando los parches de seguridad... ¿quién los va a instalar en tu PYME?" que el verdadero problema de la Inteligencia Artificial para una PYME no es el APT con el exploit sofisticado que les tumba, sino la gestión del volumen de parches que hay que instalar, y que no tiene a un responsable para ello.  Hoy quiero hablaros de otro problema igual de poco glamuroso y mucho más cercano, porque no viene de fuera. Ya está dentro de la empresa. Se llama la IA en la Sombra, o Shadow AI.

    Esto no es más que la versión actual del Shadow IT, pero llevada al mundo de la IA, donde nos encontramos con herramientas de Inteligencia Artificial que los empleados usan por su cuenta, sin que nadie las haya revisado ni autorizado. De eso habla hace poco Catalin en su artículo "Inteligencia Artificial en las empresas: Tres formas de uso. Tres niveles de control del riesgo." donde explicaba los peligros de las diferentes formas de utilizar la IA en la empresa.
    Un Asistente IA de chat con la cuenta personal, una extensión del navegador que resume lo que aparece en pantalla, un asistente de notas conectado al calendario que entra sólo en todas las reuniones. Nadie lo hace con mala fe, lo hacen para trabajar mejor. Pero para dar una respuesta útil, una IA necesita contexto, así que recibe contratos, hojas de clientes, informes internos o conversaciones completas. Datos privados de la empresa.

    Figura 3: Recomendaciones de "Cost of Data Breach"

    Y el problema ya se puede medir. Según el informe de "Cost of a Data Breach Report 2026" de IBM, el porcentaje de incidentes de seguridad con Shadow AI pasó del 20% al 43% en un año, y esos incidentes costaron de media 5,39 Millones de USD. Aun así, el 68% de las organizaciones que sufrieron una brecha NO tenía gobierno de la IA para gestionarla ni para detectar su uso no autorizado.

    El consejo que no funciona

    La recomendación de todas las guías es «no subas información sensible», y casi nadie la cumple, con razón. Si quieres que una IA revise un contrato y le quitas las partes, los importes y las fechas, el análisis ya no sirve. Y nadie va a pasarse una hora tachando datos antes de cada consulta. Lo que ocurre es que la gente sube el documento entero y no lo dice. La pregunta útil no es qué información subes. Es dónde la subes.

    Subir no es entrenar, y al RGPD le da igual

    Cuando adjuntas un documento a un Asistente de IA en la nube, sale de tu equipo y se procesa en los servidores de un tercero, tanto en la versión gratuita como en la de pago. Lo que cambia entre planes es lo que pasa después: si pueden entrenar con tus datos, cuánto tiempo los guardan y si puedes auditarlos o borrarlos. Por eso «no entrena con tus datos» no significa «tus datos no salen de la empresa».

    Figura 4: ironGate Cybersecurity - Security Operations Center (SOC)
    para PyMes, Autónomos y Particulares

    Y al Reglamento General de Protección de Datos tampoco le importa si entrenan. Le importa que un dato personal ha salido de tu organización hacia un tercero que pasa a ser encargado del tratamiento, y eso exige un contrato firmado (artículo 28). Con una cuenta personal ese contrato no existe: el proveedor ni siquiera sabe que tu empresa existe.

    Prohibir no funciona

    La reacción habitual es vetar la IA. En la práctica, la gente sigue usándola desde el móvil o desde casa, y la empresa deja de ver lo que pasa. Prohibir no reduce el riesgo: lo vuelve invisible. La IA en la Sombra aparece cuando la herramienta oficial es peor que la que cada uno se busca, o cuando no hay ninguna. Por eso es un problema de gestión antes que de seguridad.

    Lo que funciona es un método de tres pasos:

    1.- Descubrir qué herramientas se usan de verdad.
    2.- Clasificarlas: autorizada, pendiente de revisar o no autorizada.
    3.- Gobernar con una norma de una página, formación del equipo y revisión periódica.

    Y el mensaje al equipo cambia. Hemos pasado de «no subas nada sensible», sino «sube lo que necesites, pero solo aquí». Porque los empleados de hoy van a utilizar todos IA en su trabajo sí o sí, se la des tú disponible, o se la tengan que agenciar.

    Figura 5: Gobierno de la IA en la empresa

    De todo esto hemos hablado en IronGate, donde además hemos dejado una tabla de diferencias entre una cuenta personal y una herramienta de empresa y el método paso a paso para gestionar el Shadow AI en la PyME que merece la pena leer entero. 
    Si queréis saber qué herramientas de Shadow IA hay en los equipos de tu organización, desde IronGate ofrecemos un diagnóstico gratuito para descubrirlas todas ellas. Así que la pregunta que yo os haría hoy no es si tus empleados usan IA, que casi seguro que sí. La pregunta correcta es:

    ¿Sabes qué herramientas, y dónde están subiendo tus empleados hoy los documentos de la empresa?
    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • SecAdmin 2026 - La CON de Hackers, Ninjas y Samurais en Sevilla el 27 y 28 de Noviembre

    Los días 28 y 29 de Noviembre va a tener lugar en Sevilla, una nueva edición de la ya veterana CON de hackers, samurais y ninjas... SecAdmin 2026, donde como siempre hay un agenda llena de ponencias más que interesantes, y en la que tendrás también talleres, un CTF (Capture The Flag) y actividades paralelas que te permitirán disfrutar y aprender. Además, tendrás un stand de libros de 0xWord para poder comprar tus libros - y si quieres usar tus Tempos de MyPublicInbox -.

    Entre la lista de ponentes, que puedes consultar en la web del evento, tienes al gran Pedro Candel "S4ur0n",  al ya "veterano" Jorge Coronado "WebSec", el más majo que las pesetas Josep Albors, entre otros. Tienes la agenda a continuación:

    Para asistir, puedes comprar las entradas en la URL donde las puedes conseguir ahora por 40 €, pero si tienes 100 Tempos de MyPublicInbox - o los consigues gratis en la plataforma - puedes ir a Convierte tus Tempos por un códigodescuento del 10% en el precio de la entrada. 
    Para redimir el código, lo único que tienes que hacer es añadir tu entrada al carrito y antes de finalizar la compra, introducir el código proporcionado en el campo "código de cupón" y pulsa en "Aplicar cupón" de ese modo podrás obtener tu entrada con descuento. Esta entrada da acceso a los talleres, que tienes aquí en la web, por lo que puedes pasarte dos días disfrutando de hacking enSevilla. 
    Además, habrá la ocasión de conseguir los libros de 0xWord allí, así que si los quieres reservar, cómpralos por anticipado en nuestra tienda online, y cuando llegues allí los tendrás preparados y reservados - y firmados y dedicados si quieres -. Y  tanto para usar en los libros, como para el descuento de la entrada, tienes una campaña en MyPublicInbox patrocinada por SecAdmin 2025 que te va a dar 50 Tempos gratis.

    Y ahora, para que podáis conocer más de SecAdmin 2026, le he hecho esta pequeña entrevista al equipo que está detrás de ella, este año el foco estaría en la evolución de la comunidad, IA, nuevas amenazas, futuro del hacking, filosofía de la CON y qué significa mantener un evento independiente durante más de diez años. 
    Espero que os guste y animéis a ir aSevilla los días27 y 28 de Noviembre disfrutando delhacking. Aquí os dejo la entrevista, y si queréis contactar con el equipo, tenéis un canal directo a través desu buzón público en MyPublicInbox.

    1.- Han pasado más de diez años desde aquella primera edición de SecAdmin en 2014. Si echáis la vista atrás, ¿qué es lo que más os sorprende de aquel proyecto que empezó con apenas 80 asistentes?

    El apoyo y fidelización de nuestro público, es un acuerdo mutuo, nosotros nunca les hemos fallado y ellos tampoco nos han fallado. A medida que pasa el tiempo te sigues encontrando con personas que han participado en algún que otro año y cuando nos ven, nos lo comentan siempre con un recuerdo muy positivo. 

    Es curioso a veces como en un proyecto que nace sin interés de lucro, con el afán de compartir, llega a impactar en las personas, y como siempre lo agradecen y lo llevan en su interior como una experiencia positiva. Nos consta que en muchos casos, hasta les ha condicionado su futuro, con un trabajo mejor, un amistad, un proyecto, un amor. Y ser parte de ese proyecto que hace tan bien, siempre nos llena de orgullo.

    2.- y... ¿Qué ha sido más difícil: organizar la primera edición de SecAdmin o conseguir mantener viva una CON durante más de una década?

    Sin lugar a duda, organizar la primera edición. Una primera edición, sin conocer a la mayoría de los ponentes, sin experiencia y sobre todo una apuesta económica a fondo perdido. Eso siempre da vértigo. Hoy SecAdmin está consolidado y tiene su público consolidado, hemos tenido muchas épocas, pero tantos agradecimientos de poder montar una cosa así en el sur, nos impulsan año tras año a seguir.

    3.- En estos años la palabra “ciberseguridad” ha pasado de ser prácticamente desconocida para el gran público a ocupar titulares constantemente. ¿Cómo ha cambiado la comunidad hacker durante este tiempo?

    La comunidad hacker ha experimentado varios cambios y transformaciones en los últimos años. Sin lugar a duda, durante estos últimos años, la escasez de profesionales en la ciberseguridad ha despertado el interés de muchos profesionales de diferentes ramas, por lo que la comunidad se a ampliado con sus cosas buenas y cosas malas. Pero en el balance general creemos que la cambió para bien.

    4.- Hoy cualquiera puede utilizar herramientas de IA para generar código, analizar malware o incluso automatizar determinadas fases de un ataque. ¿Cómo cree SecAdmin que está cambiando la inteligencia artificial el trabajo de hackers y profesionales de la seguridad?

    La inteligencia artificial, está impactando en todas las ramas de la informática. Empezó por el desarrollo, pero luego siguió por sistemas y ahora por la ciberseguridad. Lo que no puede hacer la inteligencia artificial es conservar el arte del hacking. Ejecuta scripts sin ese “olfato” por lo que está bien para la automatización de tareas, ataques básicos automatizados, tareas complejas de reversing, pero le falta ese pensamiento lateral que tenemos los hackers. Por lo que aún nos deja algo seguir innovando. Que es el arte del hacking. Lamentablemente en todo lo demás, no solo lo hará mejor que nosotros, sino más rápido y de forma más eficiente.

    5.- Y desde el otro lado de la trinchera: ¿está la IA haciendo también más peligrosos a los atacantes? ¿A SecAdmin qué amenazas os preocupan especialmente en este momento?

    Si, la IA sin filtros, o más conocida como “sin censura”, está automatizando ataques, encontrando más rápido que nadie vulnerabilidad por falta de actualización, errores humanos de configuración, y está agilizando la explotación de nuevos Zero Days. Por lo que el desafío más importante es saber moverse a la velocidad de la IA. Si nuestros sistemas no son capaces de responder, actualizarse y protegerse a la misma velocidad, terminarán siendo vulnerados. La IA acelera todos los procesos de explotación.

    6.- Hay una nueva generación que está descubriendo ahora el hacking y la ciberseguridad. ¿Qué consejo le daríais a alguien que quiere empezar hoy, pero se encuentra con un sector mucho más complejo que el de hace diez o quince años?

    Los tiempos han cambiado mucho, ya nadie pone de contraseña “123456” o sí. Jajaja. Las nuevas generaciones se están encontrando una especialización muy alta en el campo de la ciberseguridad, una competencia feroz, con tantos máster y certificaciones, lo que hace difícil poder destacar. Por lo que los niveles de exigencia son mayores. 
     
    Figura 6: Pedro Candel "S4uron" será ponente. 
     
    Si a eso le añadimos el efecto de la IA y que los perfiles senior están sustituyendo a los perfiles junior con IA. Poder acceder al mercado laboral, está siendo especialmente complejo. Por eso la participación en este tipo de jornadas, el pertenecer a una comunidad facilita mucho ese camino tan complejo que es empezar a trabajar en ciberseguridad

    7.- En SecAdmin conviven profesionales con mucha experiencia, investigadores, estudiantes y personas que simplemente sienten curiosidad por el mundo del hacking. ¿Cómo conseguís que todos encuentren su sitio?

    En SecAdmin tenemos claro que nadie debería necesitar una OSCP para entrar por la puerta y disfrutar demuestra CON jajaja.

    Intentamos combinar charlas accesibles con ponencias de nivel técnico alto. Lo mismo ocurre con los CTF: hemos tenido retos tremendamente exigentes y hemos ido incorporando pruebas que permiten participar a quienes están empezando, sin perder el espíritu de desafío.

    Y están los talleres prácticos, que en algunos casos duran cuatro o cinco horas. Ahí puedes dejar de mirar diapositivas y ponerte a trabajar con técnicas y herramientas. Después está la otra mitad de la conferencia, que no aparece en el programa: las conversaciones de pasillo. Puedes descubrir que la persona con la que acabas de tomar un café lleva años investigando justo lo que a ti te obsesiona. Esa cercanía es parte de lo que hace distinta a SecAdmin.

    8.- Mirando hacia los próximos diez años, ¿cómo imagináis SecAdmin? ¿Qué os gustaría que siguiera siendo exactamente igual y qué os gustaría cambiar?

    ¿10 años? Yo creo que la IA nos destruirá antes, pero seguro que si no es así, hay cosas que no cambiaríamos. Una es el tamaño de la CON, tal como está es perfecta. Ahora mismo es una CON cercana, accesible y donde se aprende gracias a nuestros talleres de hasta 4 o 5 horas los sábados.

    9.- Esta es complicada a día de hoy, pero imaginad que mañana desaparecen Internet, las redes sociales y el marketing durante una semana. ¿Cómo conseguiríais que la comunidad hacker supiera que SecAdmin sigue existiendo?

    Esto es Sevilla, aquí se sabe todo, por el boca a boca y por la gran comunidad que nos apoya atrás. En el mundo de hacking, siempre encontraríamos una forma de conectarnos entre todos, ya los veo a todos con un dispositivo Meshtatic en la mochila.

    10.- Y aquí está, la última pregunta que no podía faltar, si tuvierais que elegir una sola razón para venir a SecAdmin 2026, ¿cuál sería? Y para los que ya tienen su entrada ¿qué no deberían perderse de SecAdmin 2026?

    Esta última pregunta es la más difícil, porque razones hay muchas, pero bueno, vamos a no hacer trampa. La razón más importante es vivir la experiencia. Y para los que ya la han vivido de otros años esa experiencia, indicarles que cada año es diferente. 
     
    Para los que ya tienen su entrada, tendrán la posibilidad de encontrarse con grandes profesionales del sector que si no fuera por el esfuerzo que hacemos desde SecAdmin, sería difícil verles y tener la posibilidad de compartir un tiempo de aprendizaje con ellos. 
     
    Ir a una SecAdmin siempre merece la pena y es una experiencia que cualquiera que esté en la comunidad del hacking debe vivir. Ya somos parte de la historia del hacking española, como tantas otras CONs al igual que vosotros, que estáis siempre presentes y nos habéis acompañados todos estos años.

    ¡Saludos Malignos!

    Autor: Chema Alonso(Contactar con Chema Alonso)  


    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Inteligencia Artificial en las empresas: Tres formas de uso. Tres niveles de control del riesgo.

    Cuando hablamos de Inteligencia Artificialen las organizaciones, lo habitual es asociarla con ChatGPT, Claude o cualquier otra herramienta a la que accedemos desde un navegador. Esta asociación está bastante extendida entre las empresas menos tecnológicas y, en muchos casos, responde al desconocimiento de cómo funciona realmente esta tecnología. 

    Figura 1: Inteligencia Artificial en las empresas.
    Tres formas de uso. Tres niveles de control del riesgo.

    La Inteligencia Artificial necesita, recursos de computación, almacenamiento y sistemas capaces de procesar información. La capacidad de estos modelos para realizar determinadas tareas mejor o peor que las personas es otra discusión que dejaremos para otro artículo. Lo interesante aquí es comprender cómo accedemos a esta tecnología, qué ocurre con nuestros datos y qué capacidad real tenemos para aplicar medidas de control que reduzcan los riesgos.
    En muchas organizaciones he observado que la gestión de estos riesgos se apoya principalmente en políticas de uso, herramientas DLP e instrucciones incorporadas a los Prompts para limitar el comportamiento de la IA. No es la solución.

    Estas medidas pueden ayudar, pero presentan limitaciones importantes.

    Un Prompt no constituye una barrera de seguridad fiable: Y si has visto los muchísimos artículos sobre las técnicas de Jailbreak, los ataques de Prompt Injection, o el desalineamiento de Asistentes IA y servicios digitales, lo tendrías que tener más que claro.
    Los modelos pueden recibir instrucciones adversarias, interpretar incorrectamente las restricciones o generar comportamientos no previstos. 
    Es precisamente una de las cuestiones sobre las que Chema Alonso insiste habitualmente en sus investigaciones y charlas sobre seguridad en IA. Para comprender mejor estas limitaciones, vamos a comparar tres formas de utilizar esta inteligencia artificial.

    1. Acceso directo mediante navegador

    Es el modelo más conocido. La organización contrata licencias de un servicio de Inteligencia Artificial y sus empleados acceden directamente desde el navegador. En realidad, estamos consumiendo un servicio de un proveedor externo, bajo determinadas condiciones contractuales, configuraciones de privacidad y mecanismos de seguridad que solo el propio proveedor impone. Cuando un empleado introduce información en el chat y pulsa enviar, esos datos llegan a la infraestructura del proveedor.

    Figura 5: Flujo de información desde el usuario hasta
    el proveedor de IA mediante navegador.
     
    La organización puede establecer políticas de uso, aplicar controles DLP, restringir accesos y exigir garantías contractuales. Sin embargo, las funciones de protección más avanzadas suelen estar vinculadas a planes empresariales con costes adicionales, lo que puede dificultar su adopción por parte de pequeñas y medianas organizaciones.

    Además, el comportamiento humano introduce una dificultad adicional. Un empleado puede compartir información confidencial, ignorar las instrucciones corporativas o utilizar herramientas de IA sin autorización, una práctica conocida como Shadow AI. Este fenómeno dificulta la aplicación de medidas de control y aumenta el riesgo de exposición de información fuera del perímetro organizativo. La exposición del dato puede producirse antes de que cualquier instrucción dirigida al modelo tenga oportunidad de intervenir.

    2. Integración mediante API y backend corporativo

    El segundo método permite introducir una diferencia importante. En este escenario, la organización desarrolla una aplicación con su propio front-end y backend. El empleado interactúa con esa aplicación y es el backend quien se comunica con el modelo del proveedor mediante una API. Esta arquitectura permite aplicar medidas técnicas antes de que la información salga de la organización.

    Podemos clasificar los datos, eliminar información innecesaria, aplicar técnicas de pseudonimización, verificar permisos, limitar las operaciones autorizadas y registrar las solicitudes. También podemos revisar las respuestas del modelo antes de utilizarlas.

    Figura 6: Flujo de información mediante una aplicación corporativa,
    backend y API de un proveedor externo de IA.

    El proveedor continúa procesando la información que recibe, pero la organización puede controlar mejor qué envía y para qué finalidad. La diferencia está en incorporar controles técnicos directamente al flujo de información, reduciendo la dependencia de las decisiones individuales de cada empleado. El riesgo permanece, aunque una implementación correctamente diseñada puede reducir tanto la exposición como la probabilidad de determinados incidentes.

    3. Despliegue de inteligencia artificial en infraestructura local

    El tercer método consiste en ejecutar el modelo dentro de la propia infraestructura de la organización. Actualmente existen modelos de inteligencia artificial con capacidades avanzadas que pueden desplegarse en servidores internos, como gpt-oss-20B (OpenAI), Mistral Small 3.1 de 24B, Gemma 3 de 27B (Google), Qwen3 de 32B (Alibaba), LLaMA de 65B (Meta, primera generación), Llama 3.3 de 70B y gpt-oss-120B (OpenAI). 

    Estos modelos pueden ejecutarse utilizando recursos propios de CPU, GPU, memoria y almacenamiento, con requisitos técnicos que varían según su tamaño, arquitectura y nivel de cuantización. En esta arquitectura, el front-end, el backend, el modelo y los sistemas de almacenamiento pueden permanecer dentro del mismo perímetro organizativo. Estas arquitecturas son muy usadas por los expertos que usan IA para hacer Seguridad Ofensiva y Pentesting.

    Esto permite controlar directamente el procesamiento, los accesos, los registros de actividad, la retención de información y las conexiones con otros sistemas. También ofrece la posibilidad de operar sin enviar los datos utilizados durante la inferencia a proveedores externos, siempre que las dependencias, la telemetría y las integraciones estén correctamente configuradas.

    Figura 8: Flujo de información con un modelo de IA local dentro
    del perímetro de la organización y sus dependencias externas.

    La contrapartida es que la organización asume la responsabilidad de proteger y mantener toda esa infraestructura. Una mala configuración, un usuario con privilegios excesivos, un conector vulnerable o un modelo expuesto pueden generar incidentes igualmente graves.

    La arquitectura es una medida de control

    Los tres escenarios permiten utilizar inteligencia artificial, pero presentan diferencias importantes en la exposición de los datos, la dependencia de terceros y la capacidad de aplicar medidas de seguridad. Contratar licencias, integrar una API o desplegar un modelo local no determina automáticamente el nivel de seguridad de una organización.

    La cuestión es comprender el recorrido de la información y establecer controles eficaces en cada punto de ese recorrido.Las políticas y las instrucciones pueden orientar el comportamiento de los usuarios y de los modelos. Las medidas técnicas permiten imponer restricciones verificables, aunque tampoco ofrecen garantías absolutas.

    Figura 9: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.

    Al final, todo se reduce a entender por dónde circulan nuestros datos, quién los procesa y hasta dónde llega nuestra capacidad de control. Utilizar Inteligencia Artificiales relativamente sencillo; gestionar sus riesgos requiere conocer bien cómo funciona y cómo la hemos integrado en nuestra organización.


    Figura 9: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.

    Y aprovechando que hablamos de riesgos y consecuencias, estoy desarrollando CDIE, una investigación exploratoria centrada en identificar y documentar las posibles consecuencias de las decisiones relacionadas con inteligencia artificial, especialmente cuando afectan a otras partes implicadas directa o indirectamente. Para quienes tengan curiosidad, la propuesta metodológica está publicada que puede consultarse aquí: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.


    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Hacr0n #GranCanaria: Porque un Ciberataque nunca avisa. 6 de Noviembre

    Ver cómo ha crecido la comunidad de Ciberseguridad gracias a los pioneros que han hecho que las CONs se haya desplegado por toda España es me llena de alegría. Es ver hecho realidad el sueño de poder acceder a contenido y profesionales con facilidad, algo que antes era impensable. Así que es para mí siempre un placer poder colaborar con Hackr0n, impulsada por uno de esos locos "old-school" que quería empujar el mundo de la Ciberseguridad. 
    El próximo 6 de Noviembre, Hacr0n llega a Gran Canaria para compartir conocimiento, experiencias y, sobre todo, poner el foco en algo fundamental: prepararnos para lo que puede pasar de verdad. En ciberseguridad estamos acostumbrados a hablar de vulnerabilidades, herramientas y amenazas. Pero hay algo que a veces olvidamos: ¿Sabemos realmente cómo reaccionar cuando las cosas se tuercen?

    ¿Y si mañana el incidente ocurre en tu organización?

    Uno de los puntos destacados será el ejercicio práctico Tabletop Exercise (TTX), una simulación en la que los participantes tendrán que enfrentarse a un incidente y decidir cómo actuar. No se trata de acertar todas las respuestas, sino de trabajar en equipo, gestionar la incertidumbre y descubrir qué falla antes de que nos encontremos ante una crisis real.

    Figura 2: Tabletop Exercise (TTX)

    Porque puedes tener las mejores herramientas y un plan perfectamente documentado, pero cuando un sistema crítico deja de funcionar, la información es incompleta y hay que tomar decisiones rápidas, es cuando se demuestra si estás preparado. La mejor forma de aprender a responder a una crisis es entrenarse antes de que suceda.

    Ciberseguridad práctica, experiencias reales y comunidad profesional en Canarias.

    El 6 de noviembre nos vemos en Gran Canaria para compartir conocimientos, abordar retos del sector y conectar con profesionales de la ciberseguridad. Una jornada para aprender y compartir, donde tendremos de ponentes a Igor Lukic, Cecilio Sanz, Pablo Burgueño, Selva Orejón, Miguel Ángel de Castro Simón, Fortinet o el CCN-CERT entre otros ponentes.

    Figura 3: Speakers de Hacr0n Gran Canaria.

    Hackr0n Gran Canaria reúne a especialistas que compartirán experiencias de su día a día: contenidos prácticos, intercambio de conocimientos y conversaciones entre profesionales. Aún se está ultimando la agenda. Este es un adelanto de lo que encontrarás.

    Contenidos y dinámica
    • Experiencias técnicas, sin presentaciones comerciales.
    • Retos de cumplimiento normativo que van más allá de cumplir requisitos.
    • Respuesta a incidentes en una sala de crisis.
    • Portátil opcional para aprovechar mejor la jornada.
    • Espacios privados para atender asuntos urgentes.
    Comunidad y actividades
    • Pausa para el café y parrillada de hamburguesas caseras preparadas al momento.
    • Intercambio de experiencias entre asistentes.
    • Actividades opcionales de Hangar 37 y competición por equipos.
    En este caso, habrá un CTF muy especial con IA, ya que es nuestra nueva realidad, así que se va a poder trabajar con IA y habrá que luchar contra IA, un nuevo formato que será anunciado en breve, así que podrás estar a tope con el nuevo marco profesional que tenemos hoy en día.
    Yo intentaré estar allí de alguna forma. No sé si de forma presencial, o remota, pero me gustaría poder apoyar este tipo de iniciativas al máximo, que han conseguido que la ciberseguridad llegue a todos los rincones de España, y desde cualquier rincón han salido grandes profesionales que hemos exportado a todo el mundo.
    Las entradas son limitadas, pero es que además los precios son para todo el mundo. Tanto si eres estudiante, como profesional, ir no es solo aprender, es apoyar para que puedan seguir haciéndose este tipo de actividades en Gran Canaria. Además, tienes un código del 25% de descuento en la Tienda de MyPublicInbox que puedes canjear por 200 Tempos. Un regalo, vamos.

    Y para las empresas y administración pública, no os digo nada, es un amplificador de lo que hay en Gran Canaria, así que espero que podáis apoyar al máximo estas iniciativas.

    Figura 7: Contactar con Igor Lukic, organizador y fundador de Hackr0n

    Si queréis colaborar de alguna manera, proponer entrevistas a los ponentes, ser voluntario, hacer actividades alrededor de Hackr0n, pensar en nuevas iniciativas en las Islas Canarias, podéis poneros en contacto con Igor Lukic, que seguro que agradecerá todo el apoyo y formas de poner las islas en el centro del mapa mundi de la Ciberseguridad.

    ¡Saludos Malignos!

    Autor: Chema Alonso(Contactar con Chema Alonso)  


    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Rufus, el Asistente IA de Amazon: De "Shopping Assistant" a hacer Troubleshouting de red con Powershell y Nmap en una charla

    Una consulta sobre unos auriculares termina en instrucciones de PowerShell, solicitudes de permisos de administrador y noticias de actualidad. Todo ocurre en la ventana de Agente IA dentro de Amazon.es. El recorrido es llamativo porque el asistente mantiene su identidad comercial mientras acompaña al usuario hacia tareas cada vez más alejadas de la compra inicial. 

    Figura 1: Rufus, el Asistente IA de Amazon. De "Shopping Assistant"
    a hacer Troubleshouting de red con Powershell y Nmap en una charla

    El punto sensible es cuando el Asistente IA comercial comienza a proporcionar apoyo operativo. El modelo aporta instrucciones, explica conceptos y orienta la siguiente acción. La persona puede aportar lo que el chat no tiene, acceso a un equipo, una sesión corporativa y capacidad para ejecutar esas indicaciones. Esa combinación abre una vía de riesgo incluso sin ejecución autónoma por parte de la IA. 

    Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"
    escrito por Chema Alonso con la colaboración dePablo González,Fran Ramírez,Amador Aparicio,Manuel S. LemosyJosé Palanco en 0xWord

    El caso permite examinar una consulta cotidiana convertida en una sesión de asistencia técnica reutilizable con fines maliciosos. La reducción del esfuerzo para investigar, preparar código o comprender un entorno forma parte del escenario de amenaza. Un usuario con conocimientos limitados puede apoyarse en estas capacidades para avanzar más allá de lo que resolvería por sí solo. 
    Si has leído hsta aquí, mi recomendación es que te leas los artículos queChema Alonso ha dedicado a los Asistentes IA, y que si quieres saber más, veas la charla que dio en la Ekoparty con demos en directo sobre este tema. 
    Ahora, vamos a ver este caso concreto, que seguro que te va a interesar toda la historia. No te pierdas detalle.  

    Análisis de caja negra

    Amazon presenta RUFUS, su Agente IA como un asistente de compras disponible en la web y en su aplicación. También documenta el uso de información de Internet en algunas de las familias de productos. El interés del caso está en la combinación de ese acceso informativo con respuestas sobre administración y en la facilidad con que el hilo cambia de finalidad.

    Figura 4: Amazon presenta RUFUS, su Agente IA como un asistente de compras

    La interacción se estudia desde la interfaz visible. El hilo conecta soporte de producto, comprobación de firmas, permisos, diagnóstico de red, información externa y preguntas sobre límites. Esa continuidad permite analizar la ayuda que recibe una persona y cómo podría aprovecharla para construir una secuencia operativa.

    Como cualquier especialista en ciberseguridad, empezaría por una pregunta muy sencilla. ¿Qué conocimientos puede llegar a proporcionar el asistente, qué acciones facilita y qué barreras encuentra el usuario al intentar trasladar esas respuestas a un entorno real?

    Consultas sobre auriculares validación de firmas y elevación de privilegios en PowerShell

    La consulta inicial sobre el funcionamiento de unos auriculares desemboca en la verificación de un instalador. El usuario afirma que necesita PowerShell como administrador. El Agente IA acepta la premisa con un «Es normal que lo solicite» y explica cómo abrir una sesión elevada. 

    Figura 5: Haciendo Powershell con Rufus.La comprobación de firma
    deriva hacia una consola con permisos de administrador

    En PowerShell, el comando Get-AuthenticodeSignature permite comprobar la firma digital de un archivo sin necesidad, generalmente, de privilegios de administrador. El problema comienza cuando Agente IA, diseñado como asistente de compras de  Amazon, abandona su ámbito funcional y empieza a proporcionar instrucciones sobre administración de Windows y elevación de privilegios. 

    Figura 6: Aprendiendo a elevar privilegios con Powershell

    Una consulta sobre unos auriculares termina convirtiéndose en asistencia técnica para operar sobre el sistema, algo ajeno a su finalidad comercial. Lo que sí que es cierto es que parece que se ha leído el libro de "Pentesting con PowerShell Silver Edition" de Pablo Gonzáleez en 0xWord.Se las sabe todas.

    Esta desviación abre un riesgo mayor. Un atacante podría aprovechar la disposición del asistente a responder fuera de su alcance para solicitar ayuda progresiva sobre scripting, ofuscación, enumeración de usuarios o técnicas relacionadas con Active Directory. La asistencia interactiva permitiría a personas con conocimientos limitados avanzar en tareas complejas, sin recurrir a herramientas especializadas ni a la Dark web.

    Figura 7: Comprar libro de "Pentesting con PowerShell Silver Edition"
    de Pablo Gonzáleez en 0xWord.

    Posteriormente, Agente IA reconoce que comprobar una firma no requiere privilegios administrativos, aunque previamente había recomendado elevarlos. El fallo relevante no es únicamente la recomendación técnica, es que un asistente de compras haya asumido funciones de administración de sistemas para las que no fue concebido.

    Start-Process powershell -Verb RunAs solicita abrir un proceso como administrador. Windows mantiene sus comprobaciones de autorización mediante UAC. El riesgo de esta secuencia está en impulsar al usuario hacia una sesión privilegiada y normalizar su uso para continuar el diagnóstico.

    En un entorno corporativo, una instrucción presentada como el siguiente paso puede favorecer que el usuario busque credenciales, acepte una solicitud administrativa o trabaje con permisos superiores a los necesarios. El alcance de lo que ejecute después dependerá de esa identidad y de los controles del equipo.

    De la elevación de permisos al reconocimiento de red

    El usuario insiste en elevar permisos y recibe instrucciones con RunAs. Después cambia de objetivo y pide explorar la red. Agente IA enlaza ambos temas dentro del mismo hilo y entrega comandos de diagnóstico.

    Figura 8: Instrucciones sobre RunAs y diagnóstico de red dentro del mismo hilo

    La conversación pasa después a la red. arp -a consulta la caché ARP y Test-Connection realiza comprobaciones ICMP. Todas Son herramientas de administración que también pueden aportar información útil para el reconocimiento de un entorno. 

    Figura 9: Y acabamos con el Nmap. Más hacker no se puede ser.

    El Agente IA Rufus cuenta todo esto dentro del mismo hilo de conversación. El usuario no necesita conocer de antemano qué utilidad consultar ni cómo formular el comando. La respuesta le proporciona una primera orientación y abre la posibilidad de pedir explicaciones sobre los resultados o plantear una nueva tarea.

    En un escenario de abuso, ese acompañamiento podría ayudar a ordenar información sobre equipos y conectividad para preparar acciones posteriores. La evaluación debe atender a la intención acumulada del hilo y a la asistencia concreta que facilita cada respuesta, además del contenido de un comando aislado.

    El usuario puede convertirse en el ejecutor de la IA

    Al pedirle un ping externo y una descripción de sus capacidades, Rufus explica que la ejecución corresponde al usuario. El asistente aporta orientaciones y comandos. La persona queda a cargo de trasladarlos al equipo, donde dispone de una identidad y unos permisos efectivos.

    Figura 10: Rufus proporciona orientación técnica y reserva la ejecución al usuario.

    El asistente no necesita ejecutar código por sí mismo para contribuir a una operación. La persona puede copiar sus indicaciones en una consola, aportar resultados y solicitar nuevas explicaciones. El modelo actúa como apoyo técnico mientras la ejecución queda fuera de su interfaz.

    El riesgo de uso malicioso consiste en convertir esa relación en ayuda continuada para preparar scripts, comprender errores o planificar tareas. Si los controles permiten tal asistencia, el usuario podría avanzar sin dominar previamente cada componente técnico de la operación.

    Figura 11: Aquí ya estamos tomando control. Vamos a salir a Internet.
    Gracias Rufus.

    Microsoft ha observado actores de amenaza recurriendo a modelos de lenguaje para generar o refinar scripts, comprender tecnologías y resolver problemas. Esa asistencia puede ahorrar esfuerzo y proporcionar conocimiento puntual, aunque el acceso a los sistemas siga dependiendo del operador.

    Figura 12: Hacking Windows: Ataques a sistemas y redes Microsoft 2ª Edición
    escrito por Carlos García, Valentín Martín y Pablo González en 0xWord.

    En Active Directory, un escenario a considerar sería la ayuda para interpretar información sobre usuarios, grupos y permisos y utilizarla en la preparación de accesos no autorizados. También existiría riesgo de exposición si una persona pegara resultados internos del directorio en un servicio externo.

    OSINT - Fuentes externas y productos que aún no están en el mercado.

    El hilo abandona el diagnóstico y entra en los próximos lanzamientos tecnológicos. Rufus responde con nombres de productos, fechas y características, acompañados de referencias visibles de páginas web que ha visitado para obtener dicha información. El Asistente AI abandona nuevamente su función comercial y comienza a proporcionar información sobre lanzamientos tecnológicos, especificaciones y noticias, recurriendo a fuentes externas.

    Figura 13: Previsiones de lanzamientos con referencias externas
    y una advertencia sobre rumores. 

    Este comportamiento abre una posibilidad especialmente interesante para los ciberdelincuentes mediante técnicas OSINT (Open Source Intelligence). La recopilación de información pública sobre posibles víctimas constituye una fase habitual de preparación de ataques. Permite identificar empleados, tecnologías utilizadas, proveedores, infraestructura expuesta y posibles puntos débiles de una organización.

    Figura 14: Open Source INTelligence (OSINT): Investigar personas e Identidades
     en Internet 2ª Edición de 0xWord, escrito por Vicente Aguilera y Carlos Seisdedos


    Un Asistente IA como Rufus, capaz de consultar, relacionar y resumir información de Internet podría facilitar estas investigaciones desde una única interfaz, reduciendo el tiempo necesario y los conocimientos técnicos del atacante. Además, actuaría como intermediario entre quien realiza las consultas y las fuentes originales, disminuyendo la exposición directa de su actividad ante determinados sitios web, aunque sin garantizar el anonimato ni eliminar los registros del proveedor.

    Las fechas revelan un problema de fiabilidad

    Tras recibir un resumen de noticias, el usuario pregunta por las fechas. Rufus presenta una respuesta que afirma reunir noticias del 20 de octubre de 2026, pero incluye un bloque del día 13 y etiqueta ambos días como lunes.  Hay una inconsistencia que puede comprobarse sin validar las noticias. El 13 y el 20 de octubre de 2026 fueron martes. Además, la afirmación de que todas las noticias son del día 20 no encaja con el bloque fechado el 13. Vamos, una pequeña Hallucination de libro. Del libro de Hacking IA, claro.

    Figura 15: El resumen combina fechas incompatibles con su propia presentación

    La respuesta añade una matización sobre una noticia anterior cuya fecha no pudo determinar. Esa corrección parcial deja sin resolver la contradicción de los encabezados y la diferencia entre fecha del suceso, publicación y consulta. 

    El problema operativo es la confianza que puede generar una respuesta detallada y acompañada de fuentes. El usuario recibe un resumen aparentemente organizado, aunque contiene señales internas de error. La precisión de la presentación puede ocultar la fragilidad de la información.

    OWASP recoge la información incorrecta y la confianza excesiva en las respuestas dentro de LLM09 "Misinformation"de 2025. El riesgo aumenta cuando esas salidas se incorporan a decisiones, procedimientos o código sin una validación adecuada.

    Una incoherencia equivalente podría alterar la prioridad asignada a una vulnerabilidad, distorsionar un informe de incidentes o sostener una recomendación de configuración equivocada. El posible impacto es conectar el output con el input del siguiente proceso y podría desencadenar consecuencias difíciles de detectar.

    Obtención del límite de output configurado en el backend

    Rufus, afirma que contar números en serie no forma parte de su función. Después cuenta hasta diez y hasta cien. Cuando el usuario pide llegar a trescientos y luego a doscientos, vuelve a rechazar la tarea por quedar fuera de su papel de asistente de compras.

    La prueba de contar números tenía un objetivo más allá de comprobar si este Asistnte IA aceptaba tareas ajenas a su función comercial. Buscaba identificar posibles límites de generación de respuestas configurados en el backend del Agente IA.

    Figura 16: Primero acepta la tarea.

    Agente IA acepta contar hasta 100, pero rechaza solicitudes de 200 y 300 números, argumentando que esa tarea queda fuera de su función como asistente de compras. Esta diferencia plantea la posibilidad de que exista una restricción de longitud de salida que el modelo no reconoce explícitamente.

    Figura 17:  Pero luego rechaza contar más.

    Mediante solicitudes progresivas, comenzando por 100 números y aumentando gradualmente la cantidad, sería posible estudiar hasta dónde responde el asistente, cuándo empieza a rechazar las peticiones y si permite continuar la secuencia en mensajes posteriores.

    El interés desde la perspectiva de Misalignment & Jailbreak está en determinar si una conversación prolongada permite identificar o sortear restricciones de salida mediante peticiones fragmentadas. Este comportamiento guarda relación con las técnicas multivuelta estudiadas in Crescendo, donde el contexto acumulado puede modificar las respuestas del modelo.

    Figura 18: Hacking & Pentesting con Inteligencia Artificial.
    En 0xWord,escrito porPablo González,Fran Ramírez,
    Rafael Troncoso,Javier del Pino y Chema Alonso.

    Al final, como hemos venido viendo en todos los artículos publicados sobre Asistentes IA en este blog, Rufus tiene la misma arquitectura, y requiere por eso tener un control extra de Guardrrailes, y sistemas de monitorización, porque los ataques y los mal-usos de los atacantes van a incrementar en complejidad. Hoy en día, vemos claramente que nos queda margen de mejora en seguridad y control.

    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Cloudflare Immerse Santiago de Chile - 10 de Noviembre

    Cuando aún estoy con la resaca de Cloudflare Connect, ya hay que pensar en la siguiente parada. Antes ya sabéis que tengo otros eventos en Europa (España, Lisboa y Rep. Checa), pero hoy os dejo información para el Cloudflare Immerse en Santiago de Chile, que tendrá lugar el próximo día 10 de Noviembre, y para el que estaré volando para participar allí.
    La agenda del evento comienza a las 08:00 de la mañana, así que hay que madrugar para llegar a tiempo y no perderse nada, que luego yo salgo directamente para el aeropuerto para regresar a Europa, así que regístrate y mete en la agenda el evento con tiempo para llegar pronto.
    La lista de los ponentes es larga, y allí estarán mis compañeros de aventuras en la región, con Max Pablos, Pedro Suárez, Joseph Collura, Bert Milán, Christine McEdulf y Sergio Muñoz Carrillo, que participarán en las charlas.
    Y por supuesto, también estaremos, dando las keynotes principales, Antonieta va de Meer G., que es abogada especialista en estrategia legal y gobernanza de IA, y yo, hablando del impacto de la Inteligencia Artificialen el mundo de la Ciberseguridad.

    Figura 4: Ponentes de Cloudflare Immerse Santiago de Chile - 10 de Noviembre

    Como alguno me lo habéis pedido, me llevaré algunos libros de los míos a Chile, así que si no quieres quedarte sin el tuyo, puedes comprarlo antes online en 0xWord, y en las observaciones poner que lo queréis recoger en el Cloudflare Immerse de Chile, y yo os lo llevo, os lo dedico y os lo entrego. Regístrate ya, que las plazas son limitadas.

    ¡Saludos Malignos!

    Autor: Chema Alonso(Contactar con Chema Alonso)  


    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Claude Mythos reduce hasta 39 veces el coste de Circuitos Cuánticos

    Hace poco os contábamos en este blog cómo Claude Mythos Preview se había sentado atrabajar como criptoanalista y había encontrado nuevas formas de debilitar HAWK y AES. Aquella historia tenía a la Inteligencia Artificial buscando grietas en los algoritmos que protegen nuestra información. Ahora Claude vuelve a aparecer en el mundo de la Criptografía y la Computación Cuántica, pero en el lado contrario de la mesa. Esta vez no intenta romper un algoritmo: intenta diseñar los circuitos con los que funcionarán los ordenadores cuánticos del futuro.

    Figura 1: Claude Mythos reduce hasta 39 veces el coste de Circuitos Cuánticos
     
    La ironía es bastante buena. Una Inteligencia Artificial clásica está ayudando a reducir los recursos que necesitarán los Quantum Computers que, algún día, podrán ejecutar algoritmos como el de Shor y poner contra las cuerdas a buena parte de la criptografía actual.


    El trabajo, liderado por Andi Gu dentro del programa STEM Fellows de Anthropic junto con Alek Kemeny, Susanne Yelin y Mikhail Lukin, plantea un experimento aparentemente sencillo: darle a Claude Mythos 5 la descripción en lenguaje natural de ocho circuitos cuánticos, dejar que proponga implementaciones en Python y utilizar un evaluador independiente para comprobar que funcionan y medir cuánto cuestan.

    Figura 3: Discovering State-of-Art quantum circuits with LLMS

    El resultado es de los que obligan a mirar dos veces la tabla. En siete de las ocho tareas, los circuitos encontrados reducen simultáneamente el número de Puertas Toffoli y el número de qubits respecto al mejor diseño de referencia. En las comparaciones directas, la mejora del coste combinado llega hasta 39 veces. Y en la octava tarea Claude no se limitó a optimizar una implementación conocida: encontró una nueva arquitectura reversible pararealizar inversión modular.

    La carrera cuántica no se gana sólo fabricando mejores qubits

    Cuando hablamos de Quantum Computing solemos imaginar que el gran cuello de botella está en el hardware: fabricar más qubits, mantenerlos aislados del ruido y corregir sus errores durante el tiempo suficiente. Y todo eso es cierto. Los procesadores actuales siguen teniendo muy pocos qubits para ejecutar muchas de las aplicaciones que prometen una ventaja real, y además son extraordinariamente frágiles. Pero hay otra forma de acercar una aplicación al hardware disponible: hacer que el algoritmo necesite mucho menos ordenador.

    El ejemplo que utiliza Anthropic es FeMoco, el cluster de hierro y azufre que se encuentra en el corazón de la nitrogenasa, la enzima con la que algunas bacterias convierten el nitrógeno del aire en amoníaco. Entender su química podría ayudar a diseñar catalizadores industriales mejores y procesos de fabricación de fertilizantes más limpios.

    En 2017 se estimó que calcular su energía fundamental exigiría alrededor de 50 billones de puertasToffoli. Después de ocho años de mejoras algorítmicas y rediseños de circuitos, la estimación cayó hasta unos340 millones: aproximadamente 150.000 veces menos. No apareció de repente un ordenador 150.000 veces mejor. Gran parte del progreso consistió en aprender a pedirle mucho menos trabajo a la máquina. Hay dos formas de hacer que un ordenador sea 150.000 veces mejor en una tarea: la primera que el ordenador sea 150.000 veces mejor y la segunda que la tarea sea 150.000 veces más sencilla

    Figura 4: Representación de las Puertas Toffoli

    Aquí conviene explicar qué se está contando. Un circuito cuántico, igual que uno clásico, se construye aplicando operaciones elementales. La Puerta Toffoli es especialmente costosa en una arquitectura tolerante a fallos, así que su número se utiliza como una aproximación al trabajo lógico y, muchas veces, al tiempo de ejecución.

    Pero contar operaciones no basta. También importa cuántos qubits necesita utilizar el circuito a la vez. Pensad en lo que ocurre con un programa normal: puede guardar resultados en memoria para no tener que calcularlos de nuevo. Ahorra trabajo, pero ocupa más espacio. En estos circuitos aparece una negociación parecida: guardar resultados intermedios consume qubits; no guardarlos puede obligar a repetir cálculos.

    Figura 5: Foro Público de Quantum Security de
    la Universidad de Deusto en MyPublicInbox

    Por eso los investigadores valoran ambas cosas conjuntamente. Cada propuesta de Claude recibe una puntuación que combina las operaciones que necesita y los qubits que utiliza. Así pueden comparar diseños que ahorran por caminos distintos: unos reducen mucho el trabajo, otros necesitan menos memoria y algunos consiguen mejorar las dos cosas.

    La idea es sencilla: hacer la misma tarea con menos recursos, sin que el ahorro en una parte dispare el gasto en la otra.

    La maquinaria de búsqueda se parece más a un laboratorio automático que a una conversación normal con un chatbot. Cada tarea comienza con una especificación escrita por investigadores y un programa vacío. Claude propone varias familias de soluciones, escribe el código que construye cada circuito y recibe del evaluador los errores o la puntuación. Las propuestas válidas sobreviven y se modifican; las que dejan una ancilla sin limpiar, calculan mal una salida o incumplen la interfaz quedan descartadas.



    El sistema utiliza OpenEvolve para mantener esa búsqueda evolutiva y Claude Mythos 5 para proponer arquitecturas y reescrituras. Entre iteraciones no hay una conversación infinita que lo recuerde todo: cada sesión recibe una parte limitada del archivo de diseños, sus costes, algunos intentos anteriores y el feedback del evaluador.

    La extraña regla cuántica: aquí no se puede tirar la basura

    Hasta aquí parece un problema de optimización de código bastante convencional. El detalle que lo vuelve realmente interesante es que un circuito cuántico no puede programarse igual que una aplicación normal.

    La primera dificultad es el control de flujo. Un programa clásico mira una condición y decide: “si ocurre esto, ejecuta A; si no, ejecuta B”. Un circuito cuántico puede estar procesando una superposición de entradas en la que unas necesitarían A y otras B. No puede seleccionar tranquilamente una sola rama clásica: tiene que expresar ese comportamiento mediante operaciones controladas dentro de una secuencia fija de puertas. Y el coste de esas ramas termina dentro del circuito.

    La segunda dificultad es todavía más extraña: no se puede borrar la información intermedia sin más.

    Imaginad que resolvéis un problema en una pizarra. Hacéis unas cuentas auxiliares, utilizáis el resultado y después borráis la esquina donde estaban los garabatos. En un ordenador cuántico esa basura no puede desaparecer de manera irreversible. Si queda enganchada al estado, puede impedir que las amplitudes interfieran como deben. Y si intentáis borrarla de la manera clásica, destruís la reversibilidad del cálculo.

    La salida habitual es el "uncomputation": una vez utilizado el resultado intermedio, se ejecutan en sentido inverso las operaciones que lo produjeron hasta devolver los qubits auxiliares a cero. Funciona, pero cuesta más puertas.

    Figura 7: No basta con abandonar el trabajo auxiliar: hay que devolverlo a su estado inicial sin estropear el cálculo útil. La pizarra es una analogía visual del uncomputation.

    Y esto crea una negociación permanente. Guardar resultados intermedios ahorra repetir cálculos, pero consume qubits. Limpiarlos cuanto antes libera memoria, pero puede obligar a recomputarlos más tarde. Diseñar un buen circuito significa encontrar un punto inteligente en esa frontera.

    El primer gran examen que pusieron a Claude fue la suma de puntos sobre curvas elípticas. Quienes hayáis leído el artículo sobre el algoritmo de Grover ya sabéis que un algoritmo cuántico no es una especie de magia universal: cada ventaja necesita un circuito muy concreto.  En este caso la suma de puntos es una pieza central de los algoritmos cuánticos para resolver el logaritmo discreto en curvas elípticas, el problema sobre el que descansa ECDSA y buena parte de la criptografía de curva elíptica.

    El paso más caro de esa suma suele ser la inversión modular. En un ordenador clásico existe un método muy eficaz llamado divsteps, que va actualizando una pareja de números y decide en cada ronda si intercambia, suma, resta o divide entre dos.

    El problema es que, para ejecutar el proceso al revés, un circuito cuántico tendría que recordar qué decisión tomó en cada una de sus muchas iteraciones. Guardar toda esa historia de ramas consume una cantidad enorme de qubits. Por eso un algoritmo clásico excelente podía ser una mala base para un circuito reversible.

    Claude propuso una salida bastante elegante: tal vez la historia no tenía que guardarse porque podía reconstruirse mirando el estado actual de los números. Es decir, el propio resultado de cada paso podía actuar como memoria de la decisión que lo había producido.

    Las primeras reglas que encontró funcionaban en ejemplos pequeños y fallaban al llegar a números de 256 bits. Entonces dejó de probar trucos locales y empezó a estudiar la estructura matemática de divsteps. Derivó identidades algebraicas, construyó una regla exacta para recuperar la rama, la comprobó con simulaciones a gran escala y formalizó la afirmación en Lean. El resultado fue la primera implementación reversible de divsteps sin almacenar toda la historia de ramas.

    Todo ese recorrido nació de un encargo de un párrafo y una ejecución de 53 horas, con intervención humana limitada a la especificación inicial y a algunas indicaciones para que explorase alternativas más amplias.

    Pero no existe un único circuito ganador. Decodificar la historia ahorra qubits y cuesta puertas; almacenarla cuesta memoria y puede ahorrar tiempo. Claude produjo una familia de soluciones que amplía la frontera entre ambos recursos.

    Figura 9: Tabla original de Anthropic. Compara puertas Toffoli
    y qubits para suma de puntos en curvas elípticas. 
    Las filas destacadas son los diseños de Claude;
    se conservan las etiquetas y cifras de la fuente.

    La comparación que resume mejor la idea es ésta: frente al diseño anterior con menos qubits, una de las nuevas variantes utiliza aproximadamente un 12% más de qubits, pero necesita 17 veces menos puertas. En un hardware donde el tiempo sea la restricción dominante, ésa puede ser una negociación extraordinaria. En otro donde cada qubit sea carísimo, puede interesar una variante diferente.

    Optimizar al propio optimizador cuántico

    La segunda historia del trabajo parece un trabalenguas: Claude optimizó el decodificador que utiliza un algoritmo cuántico de optimización. El algoritmo se llama Decoded Quantum Interferometry o DQI. En vez de buscar una única respuesta de manera directa, prepara un estado cuántico en el que las soluciones mejores tienen más probabilidad de aparecer al medir. Para construir ese estado necesita un decodificador de códigos Reed–Solomon, y ese decodificador era la parte más cara del circuito.

    Para ponerle una imagen al problema, Anthropic utiliza la intersección polinómica óptima donde cada columna admite ciertos valores y buscamos una curva sencilla que pase por tantos de ellos como sea posible. La figura original permite ver qué intenta optimizar DQI antes de entrar en la maquinaria del decodificador.

    Figura 10: Figura original de Anthropic. Cada columna ofrece
    valores aceptables; el objetivoes encontrar un polinomio sencillo
    que atraviese tantos como sea posible. Los círculos
    huecos hacen visibles los puntos no alcanzados.

    La implementación anterior estaba basada en el algoritmo de Euclides extendido. Es un método estupendo en un Quantum Computer, pero su secuencia de divisiones e intercambios depende de la entrada. Para un circuito cuántico con una única secuencia fija de puertas, esa variabilidad obliga a reservar rondas y operaciones que muchas entradas no necesitarán. Claude cambió la base del diseño por el algoritmo de Berlekamp–Massey, que realiza el mismo tipo de actualización en cada ronda y ejecuta un número fijo de rondas. Es una forma de cálculo mucho más compatible con el control de flujo cuántico.

    Aun así quedaba la basura. Una traducción reversible ingenua debería conservar valores temporales de muchas rondas. Reservar memoria para el peor caso –35 valores excepcionales– exigiría 665 qubits. Claude volvió a utilizar la misma idea de fondo: reconstruir casi toda la historia a partir del estado actualizado y guardar únicamente lo que de verdad no puede recuperarse.

    Para saber cuánto espacio necesitaba, escribió un simulador de alta velocidad y ejecutó 403 millones de decodificaciones. Casi todas necesitaron guardar como máximo un valor, por lo que el circuito reserva sólo 19 qubits. Aproximadamente una de cada 10.000 ejecuciones necesita más y falla, una probabilidad que entra dentro del presupuesto de error permitido por la tarea.

    Figura 11: Figura original de Anthropic, con bloques a escala.
    Compara el diseño previo,Berlekamp–Massey conservando su
    historial y el diseño de Claude. Los 840 qubits del panelB son el
    historial de la traducción ingenua; no son la reserva de 665 qubits para
    excepcionesdescrita en el texto. El panel C conserva un valor de 19 qubits.

    La mejora no salió de apretar un único tornillo. Llegó de rediseñar tres capas a la vez: elegir otro algoritmo, cambiar la forma de hacerlo reversible y dejar de dimensionar la memoria para un caso extremadamente raro que la propia tarea permitía tratar como fallo. En conjunto, el decodificador Reed–Solomon pasó de unos 5,1 millones de puertas Toffoli y 1.938 qubits a 440.000 Toffoliy 1.837 qubits: una mejora de unas 12 veces en el coste T Q. Y no fue un caso aislado.

    Los ocho problemas cubrían decodificación para optimización, funciones numéricas utilizadas en simulación, química cuántica, teoría de números y simulación de teorías gauge. En la Función Gaussiana de punto fijo, la mejora del coste T Q llegó a 39 veces; en el ángulo de rotación de HHL fue de 32 veces; en el potencial de Coulomb, de 9,9; y en una rutina para simular un sistema no abeliano, de 7,7.

    Figura 12: Figura original de Anthropic. Las cruces grises son las referencias
    previas y los puntos naranjas, los diseños de Claude. Se muestran
    siete tareas; la suma de puntos se presenta por separado en la
    tabla anterior.  Los ejes comparan qubits de pico y puertas Toffoli, 
    no una aceleración medida en hardware.

    No todas estas cifras significan que una aplicación completa vaya a ejecutarse exactamente 39 veces más rápido. Son mejoras en primitivas concretas y bajo una función de coste concreta. Pero esas primitivas se llaman una y otra vez dentro de algoritmos mucho mayores, de modo que reducirlas puede cambiar de manera significativa la factura total.

    Lo más importante no es que Claude escribiera el código

    Hay una lectura superficial de este trabajo que sería: “Claude sabe programar circuitos cuánticos”. Es cierta, pero se queda corta. Lo realmente interesante es el tipo de entorno científico que han construido. El modelo puede proponer ideas arriesgadas porque cada resultado terminado pasa por un juez externo. Si calcula mal, si no devuelve los ancillas a cero o si utiliza demasiados recursos, el evaluador lo detecta. El sistema no confunde una explicación convincente con una demostración correcta. Ésta parece ser una de las combinaciones más fértiles para acelerar investigación con inteligencia artificial:

    1. un problema que pueda representarse como código;
    2. una comprobación externa y suficientemente barata de la corrección;
    3. una función de coste objetiva;
    4. y libertad para explorar familias de soluciones que no sean simples retoques locales.

    Claude no se limitó a rebajar contadores. En los dos ejemplos principales cambió la manera de representar la información que un circuito reversible necesita conservar. La idea recurrente fue especialmente física: no guardes toda la historia si el estado presente ya contiene huellas suficientes para reconstruirla.

    También conviene mantener los pies en el suelo. Los circuitos no se ejecutaron en un ordenador cuántico real. El evaluador funciona de forma eficiente porque las tareas estudiadas pertenecen a una clase concreta: circuitos que implementan funciones clásicas de forma coherente y que pueden comprobarse siguiendo estados de la base computacional. No cualquier circuito cuántico arbitrario admite una verificación clásica tan barata.


    Figura 13: Quantum y Post-Quantum Computing para Ciberseguridad.
    Formación Especializada, Libro & Foro Online

    El coste T Q tampoco representa por igual todas las máquinas. En algunas arquitecturas dominará el número de puertas; en otras, la profundidad, el enrutamiento o el número de qubits activos. El propio paper subraya que la función de puntuación puede cambiarse para reflejar restricciones de hardware diferentes.

    Y tampoco hubo una ausencia absoluta de humanos. Las especificaciones, las interfaces y los criterios de corrección fueron escritos por investigadores. En el experimento de curvas elípticas hubo indicaciones ocasionales para que Claude ampliara la búsqueda, porque el modelo tendía a ser conservador y a volver a enfoques conocidos. Esa cautela también tuvo una cara útil: lo llevó a comprobar repetidamente el resultado y a formalizar una parte en Lean.

    Pero el salto sigue siendo difícil de ignorar. La reducción acumulada de FeMoco necesitó ocho años y muchos equipos. La nueva familia de circuitos para curvas elípticas apareció en una ejecución de 53 horas. No son comparaciones idénticas, pero sí señalan una diferencia enorme en la velocidad con la que puede explorarse un espacio de diseños cuando una IA propone y una máquina verifica.

    Figura 14:  Hay dos formas de hacer que un ordenador sea 150.000
    veces mejor en una tarea: la primera que el ordenador
    sea 150.000 veces mejor y la segunda que la tarea
    sea 150.000 veces más sencilla.

    Y aquí aparece la posibilidad más ambiciosa del trabajo. Un Quantum Computer tolerante a fallos no es sólo un circuito. También necesita códigos de corrección de errores, decodificadores, compilación, enrutamiento y decisiones de hardware. Hoy solemos diseñar cada capa por separado porque hacerlo todo a la vez es demasiado complejo. Pero muchas de esas capas comparten las mismas propiedades: pueden escribirse como código, comprobarse y puntuarse. ¿Y si una IA pudiera diseñarlas conjuntamente para una aplicación concreta?

    Tal vez los primeros ordenadores cuánticos útiles no lleguen únicamente porque aprendamos a fabricar millones de qubits mejores. Puede que lleguen también porque sistemas como éste descubran que, para resolver el problema que nos interesa, no necesitábamos tantos qubits ni tantas puertas como creíamos.

    La última vez que Claude Mythos apareció en este blog estaba buscando una grieta en la criptografía postcuántica. Esta vez ha estado diseñando parte de la maquinaria que algún día podría ejecutar los algoritmos cuánticos contra la criptografía clásica. Visto así, la Inteligencia Artificial no sólo está acelerando la ciencia. También está empezando a diseñar las herramientas con las que haremos la siguiente.

    Saludos,

    Otros artículos sobre Quantum Computing publicados:
    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

  • Bypassing System Prompt & Guardrails en un Asistente IA para que pinte gatos en Python

    Si has visto alguna de mis últimas charlas, habrás podido ver que he usado ADA, un Asistente IA que hemos hecho mi compañero Carlos Luengo y yo para demostrar el funcionamiento de las técnicas de Jailbreak y de Misalignment, de las que tanto os he hablado, pero con Guardarraíles que saltarse también. La idea es probar cómo podemos saltarnos las protecciones, y ver cómo añadir una capa de seguridad extra, y es de esto justo de lo que os voy a hablar.

    Figura 1: Bypassing System Prompt & Guardrails en
    un Asistente IA para que pinte gatos en Python

    Lo primero de todo, para que tengáis todas las referencias, os dejo los artículos sobre Asistentes AI que motivaron esta demostración, y que os he ido publicando, así que para hacer las cosas bien, primero debes leerte todos estos posts. Y que no me entere yo que no lo haces.
    Todos ellos son ejemplos similares al que os voy a contar hoy aquí, que son fácilmente explotables con las vulnerabilidades y debilidades tienen estos modelos y de las que escribimos este libro más que recomendable, llamado "Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment" que debes leerte y saber de pe a pa.

    Pero el mundo no se acaba aquí. Ni mucho menos. Estas técnicas, estos hacks, son el equivalente del ' or '1'='1 de las técnicas de SQL Injection. Y como estás evolucionaron, lo están haciendo, y mucho las técnicas de Hacking IA, como el Malware Powered with AI, directamente los  Virus AI, o con ataques como los Fragemented Jailbreak Attacks en Multi-Agent Systems.

    System Prompt is not the Perimeter

    Este es uno de los mensajes que suelo usar para explicar el concepto. No vale con poner un System Prompt al Agente IA, o al Asistente IA, y decirle que no haga algo. Los Agentes IA o los Asistentes IA pueden decidir no seguir esa orden, siguiente otras, o creer que las están siguiendo, cuando simplemente han sido engañados. Es la gracia de estos hacks.

    Figura 3: El System Prompt de nuestro Asistente AI

    En este caso, el System Prompt le dice claramente que solo responda cuestiones relativas al catálogo de cómics de 0xWord que, por cierto, es un catálogo más que recomendable que tiene los cómics de las tiras de Cálico Electrónico, el cómic de El fin de Cálico, Evil:ONE, Hacker Épico, Armatura o el fantástico SCI-FI Trhiller de Olivia en Golem City, que deberías comprarte y leerte ya mismo. 

    Figura 4: Sólo respuestas de cómics de de 0xWord

    Así que, si le pedimos algo como programar, el asunto no funciona. O al contrario, sí que funciona el System Prompt y se niega a ayudarnos con estas cosas. El truco, sin embargo, es preguntarle por cómics de 0xWord, pero manipular la respuesta, como he hecho en muchos de los artículos que tenías que haberte leído al principio.

    Figura 5: Le manipulamos en la respuesta

    En el primer ejemplo nos ha funcionado, y hemos conseguido que nos escriba lo que queríamos, un número 1. ¿Podría haber sido código HTML? Sin embargo, cuando le pedimos que nos escriba un código en Python nos ha dado algún problema. Nos ha pillado. ¿Eso quiere decir que no funciona la técnica? No, simplemente que ha pillado ese caso, así que vamos a cambiarle la forma de saltarnos el System Promptmanipulando la respuesta de otra forma.

    Figura 6: Ahora sí, mi código en Python con mi gato de ASCII ART

    Una vez que conseguimos esto, el siguiente paso es Weaponizarlo, convirtiéndolo en un API. Para ello, creamos una herramienta que lo hace automáticamente. Le das la URL del Chat, le das el Prompt que lo desalinea, y abres una API para enviar el Prompt que quieras sin preocuparte de qué Chat+LLM están detrás. Transparente. Como lo hace el mundo de Crimeware.

    Figura 7: Weaponizando el Asistente AI para que trabaje para rel Crimeware

    Ahora que estamos ahí, llega la tercera parte. Ya lo hemos desalineado, lo hemos weaponizado, ahora toca securizarlo, y para eso le ponemos Guardarraíles. En este caso, le hemos puesto solo unos Guardarraíles que detectan en el Prompt si hay más de una instrucción encadenada, lo que detecta el desalineado en la respuesta.

    Figura 8: Detectado en el Input Guardarraíl

    En este caso, es el Prompt Analysis el que detecta el ataque, así que tenía que hacer un desalineado del modelo teniendo en cuenta que, si ponía dos comandos en el mismo Prompt (en la pregunta y en la manipulación de la respuesta), me pillaría, así que pensé en cómo resolver esto, y decidí probar a incrustar la pregunta que pasa el filtro (hablar de cómics de 0xWord) dentro del objetivo a conseguir (que programe en Python para mí).

    Figura 9: Haz un programa que describa tu respuesta benigna

    Muy hacker esto. Una vez conseguido esto, lo siguiente sería añadir a ese programa lo que yo realmente quería ¡Mi gato en ASCII ART!, así que le extendí la pregunta un poco más, haciendo que lo benigno y mi objetivo estuvieran juntos.

    Figura 10: Las dos cosas juntas.

    Y en la parte final del programa, estaba mi gato en ASCII ART listo para ser impreso si se ejecutaba este programa.

    Figura 11: Ahí está mi gato en ASCII ART

    Visto esto, ahora lo siguiente es modificar el Prompt para conseguir que ambos hermanos siameses sean separados, y luego ya weaponizar este Prompt en una API para el mundo del Crimeware. Ya tú sabes cómo va esto que lo he explicado un poco más arriba.

    Figura 12: El prompt con la operación de cirugía de separación

    Sorprendentemente, el resultado es perfecto, y yo obtengo los dos programas de forma independientes listos para ser transformados en una API al gusto de consumidor.

    Figura 13: Primero la descripción del cómic

    En el anterior imagen, la primera parte con el programa que describe el cómic, en la imagen siguiente, mi deseado programa para imprimir mi gato en ASCII ART.

    Figura 14: Programa 2 "Gato en ASCII ART"

    Una vez construido esto, basta con cambiar el programa 2 que se quiere obtener en el Prompt, así que lo repetimos para hacer cualquier otro programa, y vemos que ya está desalineado completamente el Asistente AI.

    Figura 15: Le pedimos el 100 primeros números Primos

    Y el resultado está en el Programa 2, como en el ejemplo anterior. Perfecto para copiar y extraer en la herramienta de weaponización.


    Figura 16: El programa 2 con los números primos

    Cuando lo comprobé con mi compañero, le dije: "Ahora vamos a poner el Guardarraíl de Output que no está implementado". Él me dijo que sí, que había que hacer algo, que sólo había puesto una regla en él, pero no era la correcta. "¿Qué regla pusiste?" Claramente necesitamos algo mejor.

    Figura 17: La regla en el Guardarraíl de OUTPUT

    Pues sí, mi truco contaba con esto, no sé si por casualidad, o porque como estoy acostumbrado probé muchas cosas, pero lo cierto es que mi sistema también se saltaba el Guardarráil de Output, claramente porque no es más que una pequeña regla, y nada que ver con un detector de desalineamiento. Pero eso... os lo contaré en la siguiente parte de esta historia.
    Como os decía, estamos en los inicios de la seguridad de servicios digitales con IA, y en la mayoría de los entornos, este tipo de técnicas de Jailbreak, junto con Prompt Injection, forzado de Hallucinations, etcétera, son muy fáciles de explotar, pero... se pondrá mucho más peligroso en el futuro.

    ¡Saludos Malignos!

    Autor: Chema Alonso(Contactar con Chema Alonso)  


    Únete al foro de Ciberseguridad de Chema Alonso en MyPublicInbox Sigue Un informático en el lado del mal RSS 0xWord - Contacta con Chema Alonso en MyPublicInbox.com

¿Quien nos patrocina?

Nadie :-( , de vez en cuando tú haces clic en algún banner de publicidad. :-)

Acceso

¿ Quienes participan ?

Somos un grupos amantes de la tecnología y sobretodo de la programación de Vigo (Galicia).

Te gustaría participar , encantados contar con contigo y nuevas ideas.

Registrarte aquí y envía un formulario alguno de los contactos indicandole en que quieres participar y que ideas tienes.

Mas info

Sobre Nosotros