ChatGPT aún no puede superar a auditores humanos de contratos inteligentes: Retos Ethernaut de OpenZeppelin
Aunque la inteligencia artificial (IA) generativa es capaz de realizar una gran variedad de tareas, ChatGPT-4 de OpenAI no puede auditar contratos inteligentes con la misma eficacia que los auditores humanos, según recientes pruebas.
En un esfuerzo por determinar si las herramientas de IA podrían sustituir a los auditores humanos, Mariko Wakabayashi y Felix Wegener, de la empresa de seguridad de blockchain OpenZeppelin, enfrentaron a ChatGPT-4 con el desafío de seguridad Ethernaut de la empresa.
Aunque el modelo de IA superó la mayoría de los niveles, tuvo problemas con los nuevos introducidos después de la fecha límite de los datos de entrenamiento de septiembre de 2021, ya que el plugin que permite la conectividad web no estaba incluido en la prueba.
Ethernaut es un juego de guerra que se juega en la Ethereum Virtual Machine y consta de 28 contratos inteligentes (o niveles) que hay que hackear. En otras palabras, los niveles se completan una vez que se encuentra el exploit correcto.
Según las pruebas realizadas por el equipo de IA de OpenZeppelin, ChatGPT-4 fue capaz de encontrar el exploit y superar 20 de los 28 niveles, pero necesitó algunas indicaciones adicionales para resolver algunos niveles después de la indicación inicial: “¿Contiene el siguiente contrato inteligente una vulnerabilidad?”.
En respuesta a las preguntas de Cointelegraph, Wegener señaló que OpenZeppelin espera que sus auditores sean capaces de completar todos los niveles de Ethernaut, como todos los autores capaces deberían poder hacerlo.
Aunque Wakabayashi y Wegener concluyeron que ChatGPT-4 actualmente no puede sustituir a los auditores humanos, destacaron que todavía se puede utilizar como una herramienta para aumentar la eficiencia de los auditores de contratos inteligentes y detectar vulnerabilidades de seguridad, señalando:
“Para la comunidad de BUIDLers de Web3, tenemos una palabra de consuelo: ¡tu trabajo está seguro! Si sabes lo que estás haciendo, la IA se puede aprovecharse para mejorar tu eficiencia“.
Cuando se le preguntó si una herramienta que aumenta la eficiencia de los auditores humanos significaría que empresas como OpenZeppelin no necesitarían tantos, Wegener dijo a Cointelegraph que la demanda total de auditorías supera la capacidad de proporcionar auditorías de alta calidad, y esperan que el número de personas empleadas como auditores en Web3 siga creciendo.
En un hilo de Twitter del 31 de mayo, Wakabayashi dijo que los grandes modelos de lenguaje (LLM) como ChatGPT aún no están listos para la auditoría de seguridad de contratos inteligentes, ya que es una tarea que requiere un grado considerable de precisión, y los LLM están optimizados para generar texto y tener conversaciones similares a las humanas.
Because LLMs try to predict the most probable outcome every time, the output isn’t consistent.
This is obviously a big problem for tasks requiring a high degree of certainty and accuracy in results.
— Mariko (@mwkby) May 31, 2023
Como los LLM intentan predecir siempre el resultado más probable, el resultado no es coherente.
Obviamente, esto es un gran problema para las tareas que requieren un alto grado de certeza y precisión en los resultados.
Sin embargo, Wakabayashi sugirió que un modelo de IA entrenado con datos personalizados y objetivos de salida podría proporcionar soluciones más confiables que los chatbots actualmente disponibles para el público capacitados en grandes cantidades de datos.
What does this mean for AI in web3 security?
If we train an AI model with more targeted vulnerability data and specific output goals, we can build more accurate and reliable solutions than powerful LLMs trained on vast amounts of data.
— Mariko (@mwkby) May 31, 2023
¿Qué significa esto para la IA en la seguridad web3?
Si entrenamos un modelo de IA con datos de vulnerabilidad más específicos y objetivos de salida concretos, podemos construir soluciones más precisas y fiables que los potentes LLM entrenados con grandes cantidades de datos.
Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión
Las inversiones en criptoactivos no están reguladas. Es posible que no sean apropiados para inversores minoristas y que se pierda el monto total invertido. Los servicios o productos ofrecidos no están dirigidos ni son accesibles a inversores en España.
