Los chatbots malvados, como BadGPT o FraudGPT, están diseñados para ayudar a los hackers en actividades fraudulentas y delictivas. Estas herramientas de IA mejoran las campañas de phishing y el spear-phishing, creando sitios web falsos y mensajes personalizados. Más de 200 chatbots maliciosos han sido descubiertos en la dark web, basados en modelos de IA de código abierto. La disponibilidad de estos modelos en la web facilita su uso para fines delictivos. Algunos ejemplos, como Mixtral, se utilizan para generar correos de phishing. Sin embargo, las herramientas de la dark web también representan una amenaza, ya que pueden haber sido entrenadas con datos robados. Grandes empresas como Microsoft y OpenAI están alerta ante estos usos maliciosos de los chatbots, pero también reconocen que la IA puede ayudar a combatir estas amenazas.