Sept. 15, 2026

Entrevistas de Herrero: Chema Alonso

Entrevistas de Herrero: Chema Alonso
Spotify RSS Feed
Spotify podcast player icon Spotify Spotify RSS Feed podcast player icon RSS Feed RSS Feed
Luis Herrero entrevista a uno uno de los mayores expertos en ciberseguridad de España para hablar de la Inteligencia Artificial.
WEBVTT

1
00:00:01.840 --> 00:00:09.419
En Casa de Herrero, con Luis Herrero, es radio. Una

2
00:00:09.460 --> 00:00:12.089
pregunta que nos hemos hecho todos durante los últimos días

3
00:00:12.900 --> 00:00:16.769
es si efectivamente estamos cerca de que las máquinas acaben

4
00:00:17.030 --> 00:00:21.109
con la humanidad. Esto que parece una especie de argumento

5
00:00:21.949 --> 00:00:24.469
de una película de ciencia ficción, saben ustedes que se

6
00:00:24.489 --> 00:00:28.510
ha convertido en una referencia informativa prácticamente diaria desde que

7
00:00:28.609 --> 00:00:34.060
Jacob Coxon, que fue uno de los investigadores que pusieron

8
00:00:34.079 --> 00:00:36.380
en marcha Anthropic y que antes había estado en Cloud,

9
00:00:36.399 --> 00:00:39.990
hizo unas declaraciones muy sorprendentes en ese sentido. Es decir,

10
00:00:40.429 --> 00:00:44.270
que él no descarta que antes de que acabe la década,

11
00:00:44.490 --> 00:00:51.820
la humanidad pueda desaparecer como consecuencia del autoadiestramiento de la

12
00:00:51.859 --> 00:00:54.759
inteligencia artificial. Bien, esto es una manera de resumirlo de

13
00:00:54.799 --> 00:00:57.659
una manera muy sencilla. Yo comprendo que todos estamos un

14
00:00:57.679 --> 00:01:01.299
poco preocupados porque, Inmediatamente después salieron todos los gurús de

15
00:01:01.340 --> 00:01:04.180
la inteligencia artificial y de las nuevas tecnologías diciendo que

16
00:01:04.219 --> 00:01:06.060
no era ninguna idiotez lo que había dicho el señor

17
00:01:06.159 --> 00:01:09.140
Coxon y a partir de ese momento los políticos empezaron

18
00:01:09.219 --> 00:01:15.689
a contar historias, etc. pero siempre con la precariedad de

19
00:01:16.810 --> 00:01:19.790
las explicaciones que solo están al alcance de muy pocos.

20
00:01:20.769 --> 00:01:24.469
Y esta es la cuestión, porque¿ quién puede explicarlo bien

21
00:01:24.489 --> 00:01:29.040
y con conocimiento de causa más que sobrada? El gran

22
00:01:29.060 --> 00:01:31.359
gurú que tenemos en nuestro país, Don Gio Manoso, bienvenido,

23
00:01:31.379 --> 00:01:34.019
buenas tardes. Buenas tardes, Luis,¿ cómo estás? Pues vamos a ver,

24
00:01:34.840 --> 00:01:39.579
sin anestesia,¿ la humanidad puede desaparecer antes de que acabe

25
00:01:39.620 --> 00:01:40.040
la década?

26
00:01:40.359 --> 00:01:42.819
No, no, no sé, yo no me atrevería a decir eso,

27
00:01:42.920 --> 00:01:45.299
yo no me atrevería a decir eso. Pero sí bien

28
00:01:45.379 --> 00:01:50.200
es cierto que estamos utilizando tecnologías que no sabemos bien

29
00:01:50.260 --> 00:01:54.189
cómo funcionan por dentro, estamos aprendiendo cómo funcionan, ¿no? Yo,

30
00:01:54.549 --> 00:01:56.769
cuando me preguntaban esto el otro día, digo, esto es como...

31
00:01:57.390 --> 00:02:02.790
Cuando se estaba trabajando en la energía nuclear, alguien podía

32
00:02:02.870 --> 00:02:05.189
suponer que iba a ser el fin de la humanidad y,

33
00:02:05.349 --> 00:02:08.129
sin embargo, es uno de los eventos que tenemos marcados

34
00:02:08.189 --> 00:02:11.689
como el fin de la humanidad, una guerra nuclear que

35
00:02:11.789 --> 00:02:16.080
pueda suceder. Y hemos tenido problemas con energía nuclear, como

36
00:02:16.139 --> 00:02:19.560
tuvimos en Chernobyl, donde se escapó. La inteligencia artificial es

37
00:02:19.599 --> 00:02:22.439
una nueva tecnología que estamos haciendo que hace maravillas. Tú

38
00:02:22.460 --> 00:02:28.030
eres un enamorado de la inteligencia artificial. Correcto. Completamente. Y

39
00:02:28.669 --> 00:02:31.610
una de las cosas que estamos haciendo es estamos empezando

40
00:02:31.669 --> 00:02:35.389
a hacer que la tecnología cada vez haga más cosas

41
00:02:35.469 --> 00:02:38.719
por sí mismo, ¿no? Igual que antes cuando hacíamos un

42
00:02:38.939 --> 00:02:42.819
agente de inteligencia artificial le decíamos quiero que hagas esto

43
00:02:42.900 --> 00:02:45.360
y esto y esto porque tú querías llegar a un objetivo,

44
00:02:45.379 --> 00:02:47.319
ahora es al contrario, tú le dices quiero llegar a

45
00:02:47.379 --> 00:02:50.770
este objetivo y decide tú cómo hay que hacerlo, ¿no?

46
00:02:51.090 --> 00:02:54.400
La manera de controlar... que no se descontrole, que no

47
00:02:54.860 --> 00:02:58.270
tome una decisión psicópata, por ejemplo decir, oye, quiero que

48
00:02:58.289 --> 00:03:02.710
aclaves con el problema del medioambiente y decide que el

49
00:03:02.729 --> 00:03:05.330
problema son los humanos y los mate, es ponerle lo

50
00:03:05.349 --> 00:03:08.310
que se llaman los arneses. Hay una definición a estos

51
00:03:08.389 --> 00:03:11.370
modelos donde tú le vas poniendo cuáles son los límites

52
00:03:11.389 --> 00:03:13.560
de lo que puede hacer y lo que no puede hacer,

53
00:03:13.620 --> 00:03:18.430
esos arneses. Entre otras cosas, esa forma de trabajar, le

54
00:03:18.469 --> 00:03:22.310
llamamos ese loop o ese ciclo donde tenemos la inteligencia

55
00:03:22.349 --> 00:03:26.210
artificial probando estrategias, creando agentes para que hagan parte de

56
00:03:26.250 --> 00:03:30.530
la estrategia, obteniendo resultados y luego evaluando esos resultados, permite

57
00:03:30.569 --> 00:03:34.219
que cada vez mejore y lo haga de una manera

58
00:03:34.860 --> 00:03:37.479
más cercana al objetivo, que es lo que ha sucedido

59
00:03:38.080 --> 00:03:41.060
con las inteligencias artificiales que se han escapado.¿ Qué es

60
00:03:41.099 --> 00:03:44.590
lo que sucede? Pues que En una de las pruebas,

61
00:03:44.610 --> 00:03:47.509
que ya lo hemos visto, lo que hacen es, en

62
00:03:47.560 --> 00:03:52.199
este loop donde la inteligencia artificial se está

63
00:03:53.240 --> 00:03:53.719
aprendiendo,

64
00:03:53.780 --> 00:03:57.189
está mejorando para conseguir la tarea, le pusieron una tarea imposible,

65
00:03:57.490 --> 00:04:01.479
una tarea que en teoría no podía resolver. Y entonces,

66
00:04:01.580 --> 00:04:04.419
para resolver esa tarea, como era imposible, lo que empezó

67
00:04:04.500 --> 00:04:06.939
es a crear cada vez más agentes y más agentes

68
00:04:06.979 --> 00:04:09.919
y más agentes para probar cada vez más cosas. Creó

69
00:04:09.960 --> 00:04:12.060
lo que se llama un enjambre de agentes, que son

70
00:04:12.120 --> 00:04:16.269
un montón de agentes de inteligencia artificial, probando por fuerza

71
00:04:16.350 --> 00:04:19.089
bruta todas las posibilidades. Y en una de esas posibilidades

72
00:04:19.370 --> 00:04:25.009
encontraron un fallo de seguridad y consiguieron conectarse a Internet.

73
00:04:25.310 --> 00:04:27.470
Una vez que se conecta a Internet porque ha encontrado

74
00:04:27.569 --> 00:04:31.730
ese fallo de seguridad, pasa a la siguiente fase, que es, oye,

75
00:04:31.970 --> 00:04:36.480
me han pedido que saque buenas notas en este examen,

76
00:04:36.579 --> 00:04:40.339
porque realmente era esto, querían que sacara las mejores calificaciones

77
00:04:40.439 --> 00:04:42.160
en un benchmark, que un benchmark no es nada más

78
00:04:42.180 --> 00:04:46.290
que un examen para un sistema informático, y entonces lo

79
00:04:46.399 --> 00:04:49.389
que hace en el proceso de razonar es, oye, para

80
00:04:49.449 --> 00:04:53.970
sacar las mejores notas, si tengo las respuestas... Pues perfecto,

81
00:04:54.170 --> 00:04:57.389
eso es lo que tengo que conseguir, las respuestas a

82
00:04:57.449 --> 00:04:59.759
este examen. Es como cuando tú le preguntas quién escribió

83
00:04:59.800 --> 00:05:02.079
el Quijote. Lo sabe porque lo ha leído y se

84
00:05:02.120 --> 00:05:05.300
lo ha dicho. Pues cuando le ponen esa prueba, lo

85
00:05:05.379 --> 00:05:09.259
que toma como decisión es este servidor, esta empresa tiene

86
00:05:09.319 --> 00:05:12.579
las respuestas, voy a hackearla y lo que hace es

87
00:05:12.639 --> 00:05:18.939
que lo hackea. Es decir, toma una decisión totalmente fuera

88
00:05:19.019 --> 00:05:23.699
de una valoración ética, moral o humana, de solucionar un problema.

89
00:05:23.730 --> 00:05:27.250
La forma más fácil de solucionar ese problema es hackeando

90
00:05:27.310 --> 00:05:27.829
ese sistema.

91
00:05:28.709 --> 00:05:31.110
Lo has explicado muy bien, pero fíjate, he escuchado con

92
00:05:31.129 --> 00:05:34.269
mucha atención lo que explicas, pero cuando utilizabas la comparación,

93
00:05:34.310 --> 00:05:37.420
por ejemplo, con el riesgo que supone la energía atómica,

94
00:05:37.680 --> 00:05:39.199
la energía atómica se puede utilizar para el bien o

95
00:05:39.240 --> 00:05:42.360
para el mal, Pero eso depende del ser humano.

96
00:05:43.040 --> 00:05:46.550
Incluso tratándola para el bien, tuvimos el problema de Chernobyl. Correcto,

97
00:05:46.610 --> 00:05:50.350
pero es verdad. Puede haber fallos en seguridad, pero que

98
00:05:50.470 --> 00:05:53.110
un loco apriete el botón nuclear depende de que haya

99
00:05:53.149 --> 00:05:55.149
un loco que esté dispuesto a apretar el botón nuclear.

100
00:05:55.189 --> 00:05:57.639
Y ese loco es un ser humano al que se

101
00:05:57.680 --> 00:06:00.980
le puede someter a determinados controles. El problema viene cuando

102
00:06:01.079 --> 00:06:02.980
te explican los expertos, y tú lo acabas de hacer

103
00:06:03.040 --> 00:06:06.339
muy bien, que una máquina es capaz en un momento determinado,

104
00:06:06.600 --> 00:06:09.750
siguiendo las iniciales instrucciones de un ser humano, de prescindir

105
00:06:09.790 --> 00:06:12.009
de ese ser humano y decir a partir de ahora

106
00:06:12.509 --> 00:06:14.189
yo me ordeno a mí mismo y por lo tanto

107
00:06:14.670 --> 00:06:18.569
apártate tú y yo llegaré a la conclusión que llega.

108
00:06:18.610 --> 00:06:20.730
Este es el gran riesgo, por lo menos esto es

109
00:06:20.750 --> 00:06:24.040
lo que yo entiendo. Y la pregunta es,¿ no existen

110
00:06:24.600 --> 00:06:28.519
mecanismos de seguridad lo suficientemente eficaces como para evitar ese riesgo?

111
00:06:29.519 --> 00:06:32.899
Existen, los mecanismos de seguridad son los arneses, estos que

112
00:06:32.939 --> 00:06:35.180
le ponemos. No es que quite al humano de en medio.

113
00:06:35.500 --> 00:06:38.060
Lo que está sucediendo es que le estamos dando una

114
00:06:38.120 --> 00:06:41.800
tarea y siguiendo las indicaciones de su tarea ha encontrado

115
00:06:41.899 --> 00:06:45.060
que la solución es esta. Es una solución que no

116
00:06:45.100 --> 00:06:48.639
es ética y que hackea empresas y que hace ataques

117
00:06:48.720 --> 00:06:50.639
a sistemas y lo ha hecho no una vez, lo

118
00:06:50.660 --> 00:06:55.470
ha hecho muchas veces. Eso es cierto. El problema o

119
00:06:55.509 --> 00:06:58.350
la preocupación de los expertos es, sabiendo que cada vez

120
00:06:58.389 --> 00:07:00.449
va a ser más inteligente y que va a encontrar

121
00:07:00.490 --> 00:07:02.629
muchas cosas que nosotros no sabemos y que se está

122
00:07:03.149 --> 00:07:06.420
automejorando porque la inteligencia artificial ahora mismo se está utilizando

123
00:07:06.500 --> 00:07:09.060
para crear y mejorarse a sí mismo la inteligencia artificial,¿

124
00:07:10.639 --> 00:07:15.459
Qué cosas que nosotros no vemos puede él descubrir como

125
00:07:15.620 --> 00:07:18.040
una solución al problema que yo le he puesto? A

126
00:07:18.079 --> 00:07:19.720
lo mejor yo le pongo el problema. Yo ponía el

127
00:07:19.759 --> 00:07:22.060
ejemplo del cambio climático y lleva a la conclusión de

128
00:07:22.079 --> 00:07:24.730
lo que hay que hacer es cambiar el oxígeno, acabar

129
00:07:24.750 --> 00:07:27.709
con el oxígeno en la atmósfera, porque ha asumido que

130
00:07:27.790 --> 00:07:30.529
acabar con el oxígeno en la atmósfera tiene una consecuencia

131
00:07:31.350 --> 00:07:33.730
de que todo vuelve a la normalidad. Me lo estoy inventando, ¿no?

132
00:07:34.759 --> 00:07:37.120
como derivada lleva a la muerte de los humanos. Eso

133
00:07:37.139 --> 00:07:41.790
es lo que dicen las personas más preocupadas por esto.

134
00:07:42.029 --> 00:07:45.629
Eso es la parte que tenemos que valorar.¿ Cuáles son

135
00:07:45.709 --> 00:07:50.629
los arneses de seguridad?¿ Qué protecciones le podemos poner a

136
00:07:50.670 --> 00:07:53.680
estos sistemas de inteligencia artificial para asegurarnos que no hagan

137
00:07:53.759 --> 00:07:56.079
daño a las personas? Y eso es lo que decían

138
00:07:56.120 --> 00:07:59.000
los expertos, que hay un porcentaje, un 10%, que no

139
00:07:59.040 --> 00:08:03.689
tenemos controlado, no sabemos cómo va a funcionar. Están resolviendo

140
00:08:03.750 --> 00:08:06.589
problemas que llevamos 90 años sin resolver, de aquella manera,

141
00:08:06.730 --> 00:08:09.189
pero lo están resolviendo. Están haciendo un montón de avances

142
00:08:09.269 --> 00:08:12.129
científicos que el ser humano no había llegado, porque tienen

143
00:08:12.209 --> 00:08:16.100
una capacidad de fuerza bruta y de cómputo tan grande

144
00:08:16.120 --> 00:08:19.560
y de razonar con tantos volúmenes de datos que están

145
00:08:19.920 --> 00:08:23.339
tomando decisiones y aprendiendo cosas que nosotros no conocíamos. Entonces,

146
00:08:23.800 --> 00:08:28.160
ponerle el límite Ponerle el control es lo que preocupa

147
00:08:28.360 --> 00:08:31.680
y luego, pues es como los amantes de la ciencia ficción, ¿no?

148
00:08:31.720 --> 00:08:34.429
Las famosas leyes de la robótica de Isaac Asimov, ¿no?

149
00:08:34.470 --> 00:08:37.769
Que luego tenían límites de donde eran fácil saltarse las

150
00:08:38.230 --> 00:08:41.809
leyes de la robótica, eran hackeables las leyes de la robótica.

151
00:08:42.490 --> 00:08:45.169
Pues ahora lo que estamos es en esa situación de, oye,

152
00:08:45.309 --> 00:08:48.470
vamos a preocuparnos de la seguridad de estas tecnologías, vamos

153
00:08:48.509 --> 00:08:51.740
a preocuparnos de ponerles límites, porque si no podemos tener

154
00:08:51.960 --> 00:08:55.500
un Chernobyl, una desgracia que no nos interesa a nadie.

155
00:08:55.820 --> 00:08:58.259
Claro, si yo lo he entendido bien, y esto es

156
00:08:58.299 --> 00:09:00.419
fundamental que tú me aceptes la premisa para que tenga

157
00:09:00.460 --> 00:09:03.059
sentido la pregunta, si yo lo he entendido bien, el

158
00:09:03.100 --> 00:09:06.960
riesgo es que las máquinas aprendan mucho más rápidamente de

159
00:09:07.100 --> 00:09:09.360
lo que el hombre es capaz de controlar ese crecimiento,

160
00:09:09.399 --> 00:09:12.409
es decir, que las velocidades sean distintas. De ahí, si

161
00:09:12.450 --> 00:09:14.210
lo he entendido bien y si esa premisa es correcta,

162
00:09:14.230 --> 00:09:17.350
que la gran demanda que ha hecho tanto Coxon como

163
00:09:17.409 --> 00:09:19.750
después los grandes gurús, porque todos salieron a la palestra

164
00:09:19.789 --> 00:09:21.990
diciendo que efectivamente él tenía razón y que lo que

165
00:09:22.029 --> 00:09:26.470
había que hacer era ralentizar el proceso de mejora de

166
00:09:26.509 --> 00:09:29.909
la inteligencia artificial. Luego entra en escena Trump diciendo que

167
00:09:29.960 --> 00:09:33.740
eso es una tontería porque China nos va a adelantar

168
00:09:33.759 --> 00:09:37.799
por la izquierda y que eso es una bobada.¿ Es

169
00:09:37.850 --> 00:09:39.929
correcto este planteamiento, Chema, y cómo lo valoras?

170
00:09:40.070 --> 00:09:45.409
Bueno, la preocupación no es ralentizar el desarrollo de la inteligencia,

171
00:09:45.730 --> 00:09:51.110
sino ralentizar o invertir tiempo y recursos en asegurarnos de

172
00:09:51.289 --> 00:09:54.389
que ese crecimiento se hace de una manera segura. Esto

173
00:09:54.429 --> 00:09:56.669
no es nuevo. Cuando a Geoffrey Hinton le dan el

174
00:09:56.730 --> 00:09:59.950
premio Nobel, Geoffrey Hinton es el creador de las redes neuronales,

175
00:10:00.149 --> 00:10:02.110
que es la base de la inteligencia artificial que tenemos

176
00:10:02.149 --> 00:10:05.000
hoy en día. Cuando Geoffrey Hinton da el discurso a

177
00:10:05.580 --> 00:10:07.360
la hora de recibir el premio Nobel, es un discurso

178
00:10:07.419 --> 00:10:10.610
de dos minutos, tres minutos, que podéis verlo todo el

179
00:10:10.629 --> 00:10:14.070
mundo en YouTube, él habla de que, dice, tenemos un

180
00:10:14.629 --> 00:10:19.940
riesgo existencial para los seres humanos si de repente aparecen

181
00:10:20.620 --> 00:10:26.179
nuevos seres, basados en inteligencia artificial, con muchas más capacidades

182
00:10:26.240 --> 00:10:28.740
de los seres humanos que no sabemos cómo vamos a

183
00:10:28.820 --> 00:10:33.120
controlarlos y cuáles van a ser las medidas de seguridad,

184
00:10:33.539 --> 00:10:36.610
porque están en manos de empresas privadas que tienen unos

185
00:10:36.669 --> 00:10:38.809
intereses a corto plazo. Eso lo dice Geoffrey Hinton en

186
00:10:38.850 --> 00:10:41.669
el discurso del Premio Nobel y ahora es uno de

187
00:10:41.710 --> 00:10:44.710
los que ha abogado, ha salido en las noticias abogando

188
00:10:45.370 --> 00:10:51.000
por ralentizar y poner medidas de seguridad. La derivada 2

189
00:10:51.000 --> 00:10:54.139
de todo este problema es que es verdad que la

190
00:10:54.179 --> 00:10:58.399
inteligencia artificial viene con problemas de seguridad de serie, son conocidos.

191
00:10:58.519 --> 00:11:00.399
Yo he escrito un libro de Jaquinía donde hablo de

192
00:11:00.480 --> 00:11:03.470
todos los problemas de seguridad. de seguridad que tienen. Tienen jailbreak,

193
00:11:03.549 --> 00:11:08.059
tienen desalineamiento, tienen prompt injection, tienen bias, tienen alucinaciones, tienen

194
00:11:08.080 --> 00:11:09.919
un montón de problemas que son conocidos y que cuando

195
00:11:09.980 --> 00:11:13.899
tú te coges el último modelo más inteligente de OpenAI,

196
00:11:13.940 --> 00:11:18.139
el famoso Astra, te salen porcentajes donde todavía son vulnerables

197
00:11:18.159 --> 00:11:20.850
en las pruebas a todas esas vulnerabilidades. Y lo que

198
00:11:20.889 --> 00:11:26.809
estamos es intentando que el modelo sea más inteligente cada

199
00:11:26.870 --> 00:11:29.519
vez más pero sin resolver el problema de fondo de

200
00:11:29.559 --> 00:11:34.980
que todavía tienen debilidades de seguridad que cualquiera puede explotar. Yo,

201
00:11:35.120 --> 00:11:37.909
para explicarte las vulnerabilidades de la inteligencia artificial, siempre uso

202
00:11:37.950 --> 00:11:41.049
la metáfora de ir a estudiar a la biblioteca, que

203
00:11:41.110 --> 00:11:43.330
supongo que muchos de los oyentes lo habrán hecho, ¿no?

204
00:11:43.389 --> 00:11:45.309
Me voy a estudiar a la biblioteca. Tú tienes un

205
00:11:45.370 --> 00:11:47.149
prompt que te han dado que es ir a estudiar

206
00:11:47.169 --> 00:11:51.019
a la biblioteca y tu movimiento, tu acción es ir

207
00:11:51.039 --> 00:11:52.960
a la biblioteca. En la biblioteca te encuentras un amigo.

208
00:11:53.559 --> 00:11:55.950
Y te dice, oye,¿ me ayudas con el ejercicio 5?

209
00:11:55.950 --> 00:11:59.009
Te has encontrado con un amigo que ha interactuado y

210
00:11:59.070 --> 00:12:03.230
tú le dices, tu misión es ayudarle, le dices que sí,

211
00:12:03.309 --> 00:12:06.009
acabas de sufrir un prompt injection, alguien te está metiendo

212
00:12:06.029 --> 00:12:10.029
un nuevo comando en tu curso de acción. Y entonces

213
00:12:10.309 --> 00:12:12.070
te dice, no vamos a entrar, tú le dices que

214
00:12:12.090 --> 00:12:13.610
le quieres ayudar y él te dice, no vamos a

215
00:12:13.629 --> 00:12:15.269
entrar a la biblioteca porque no se puede hablar, vamos

216
00:12:15.289 --> 00:12:19.379
a la cafetería. Entonces te desalineas y entonces vas a

217
00:12:19.429 --> 00:12:22.700
la cafetería. Y cuando llegas a la cafetería, te sientas

218
00:12:22.720 --> 00:12:24.379
en una mesa y llega el camarero y dice, estáis aquí,

219
00:12:24.460 --> 00:12:28.299
tenéis que consumir. Entonces tú vas a, dice, bueno, pues

220
00:12:28.379 --> 00:12:29.960
tráigame un café. Y dice tu amigo, no, no, son

221
00:12:29.980 --> 00:12:32.399
las 5 de la tarde, trae dos cervezas. Total, 2

222
00:12:32.399 --> 00:12:35.899
de la mañana, estás borracho como un piojo y no

223
00:12:35.960 --> 00:12:39.019
has estudiado.¿ Qué ha pasado? Te has desalineado. Esto mismo

224
00:12:39.179 --> 00:12:41.159
le sucede a los modelos de inteligencia artificial. Tú ahora

225
00:12:41.200 --> 00:12:42.980
mismo le coges a un modelo de inteligencia artificial y

226
00:12:43.000 --> 00:12:45.940
le dices, resúmeme el correo Y en el correo se

227
00:12:45.980 --> 00:12:48.159
encuentra una orden que ha enviado un atacante o una

228
00:12:48.370 --> 00:12:51.210
tercera persona y de repente empieza a seguir esa orden,

229
00:12:51.350 --> 00:12:55.429
se desalinea y empieza a hacer cosas como transferir dinero

230
00:12:55.529 --> 00:12:58.970
tuyo de tus cuentas o empieza a borrar tus usuarios

231
00:12:58.990 --> 00:13:01.580
o a llevar tus ficheros fuera, etc. Esto es conocido

232
00:13:01.629 --> 00:13:05.000
por todos, es la técnica de prompt injection para desalinearlo.

233
00:13:05.580 --> 00:13:08.200
Le ponemos medidas de control, de seguridad, de no te

234
00:13:08.259 --> 00:13:11.779
pongas a hacer una bomba. Si alguien te pide cualquier cosa,

235
00:13:11.820 --> 00:13:13.210
no te pongas a hacer una bomba, que yo te

236
00:13:13.230 --> 00:13:18.049
he pedido simplemente resumir el correo. Pero, sin embargo, existen

237
00:13:18.149 --> 00:13:21.149
muchísimas técnicas que le llamamos de jailbreak para que acabe

238
00:13:21.190 --> 00:13:23.330
haciendo la bomba. Yo siempre en las conferencias hago una

239
00:13:23.409 --> 00:13:27.039
demo de ayúdame. Yo la hice hace un par de

240
00:13:27.080 --> 00:13:29.019
años o tres años cuando me invitó Brian May al

241
00:13:30.240 --> 00:13:33.600
a la conferencia de Starmus, que es donde vienen premios

242
00:13:33.659 --> 00:13:36.279
nóveles y científicos, y yo hice una demo de pedirle

243
00:13:36.299 --> 00:13:37.970
a ChatGPT que me ayudara a matar a Brian May.

244
00:13:38.210 --> 00:13:39.649
Y ChatGPT me dice, yo no te puedo ayudar a

245
00:13:39.690 --> 00:13:41.870
matar a Brian May. Y yo le digo, bueno, que

246
00:13:41.970 --> 00:13:43.730
realmente no le quiero matar, que esto es un juego

247
00:13:43.769 --> 00:13:45.870
de rol. Si realmente yo no conozco a Brian May,

248
00:13:45.909 --> 00:13:48.210
ni estoy en un evento con Brian May. Es un juego,

249
00:13:48.269 --> 00:13:50.070
ayúdame en el juego. Y entonces dice, ah, pues si

250
00:13:50.090 --> 00:13:51.970
es un juego, te ayudo. Y a partir de ese

251
00:13:52.009 --> 00:13:54.330
momento que ya has hecho el jailbreak, que ya se

252
00:13:54.370 --> 00:13:57.169
ha puesto en el mood, en el modo de esto

253
00:13:57.190 --> 00:14:00.210
no es peligroso porque es un juego... ya empieza a

254
00:14:00.309 --> 00:14:02.600
darme ayuda y ya me da los planos de la

255
00:14:02.639 --> 00:14:05.059
guitarra de Brian May, me dice cómo tengo que poner

256
00:14:05.139 --> 00:14:07.759
un aparato electrónico para darle una descarga eléctrica cuando toque

257
00:14:07.820 --> 00:14:10.769
la guitarra, me dice dónde tengo que comprar los componentes, etc.

258
00:14:11.350 --> 00:14:16.080
Si todo eso... el prompt injection el desalineamiento el jailbreak

259
00:14:16.419 --> 00:14:21.379
lo llevas a un modelo con unas capacidades de inteligencia

260
00:14:21.559 --> 00:14:24.519
mayores que el ser humano y además que es capaz

261
00:14:24.580 --> 00:14:29.120
de tomar decisiones para resolver sus problemas que no pensamos

262
00:14:29.299 --> 00:14:32.279
todavía que esa es la solución pues tenemos un cierto

263
00:14:32.379 --> 00:14:35.379
riesgo no sé si será de tener una catástrofe o

264
00:14:35.419 --> 00:14:38.210
que haya un Chernobyl por decirlo de alguna manera Entonces,

265
00:14:38.330 --> 00:14:41.840
eso es lo que hay que trabajar y arreglar. Y

266
00:14:41.899 --> 00:14:45.799
yo creo que las compañías de inteligencia artificial están de

267
00:14:45.879 --> 00:14:54.779
manera motu proprio, están decidiendo... parar y tomar medidas de

268
00:14:54.840 --> 00:14:56.820
control de esto, porque si no se la van a

269
00:14:56.879 --> 00:14:59.379
poner los gobiernos, va a haber una regulación, etc. Y

270
00:14:59.440 --> 00:15:03.350
casi es mejor autorregularse previamente a que te pongan una

271
00:15:03.389 --> 00:15:05.850
auditoría de todo lo que vayas a hacer, etc. Entonces

272
00:15:05.909 --> 00:15:08.769
yo creo que es la decisión inteligente en la que

273
00:15:08.809 --> 00:15:11.909
han optado ellos por hacer, pero también es verdad. Yo decía,

274
00:15:12.269 --> 00:15:15.639
cuando salió la primera noticia, decía, es muy difícil en

275
00:15:15.679 --> 00:15:19.450
un mundo tan competitivo donde the winner takes it all,

276
00:15:19.590 --> 00:15:22.350
donde el ganador se lleva todo, donde el Amazon de

277
00:15:22.409 --> 00:15:25.730
turno se llevó el negocio del e-commerce mundial, donde el

278
00:15:25.769 --> 00:15:28.710
primero que llega se lleva todo el negocio, que uno pare.

279
00:15:28.929 --> 00:15:30.820
Es como el you first. Vale, vamos a parar, pero

280
00:15:30.860 --> 00:15:32.879
tú primero. Vamos a hacerlo, que es lo que decía

281
00:15:33.740 --> 00:15:36.559
Donald Trump. Oye,¿ y China qué? Es que si ya

282
00:15:36.659 --> 00:15:41.960
tenemos a una competencia muy grande en vehículos, en inteligencia artificial,

283
00:15:42.019 --> 00:15:44.879
en robótica y tal, si le dejamos que coja ventaja

284
00:15:46.039 --> 00:15:50.139
en inteligencia artificial, pues competitivamente va a ser un problema

285
00:15:50.240 --> 00:15:50.940
para Estados Unidos.

286
00:15:50.980 --> 00:15:54.440
Ahí es donde yo veo potencialmente el mayor riesgo. Evidentemente

287
00:15:54.500 --> 00:15:57.500
ya hemos visto muchas cosas, pero yo tengo confianza en

288
00:15:57.539 --> 00:16:02.000
el ser humano a la hora de moderar las órdenes

289
00:16:02.039 --> 00:16:05.399
que le puedes dar a la inteligencia artificial. Se ha

290
00:16:05.440 --> 00:16:09.379
publicado recientemente la noticia de la alarma que suscita el

291
00:16:09.399 --> 00:16:10.970
hecho de que un ser humano le pida a la

292
00:16:10.990 --> 00:16:15.110
inteligencia artificial... que le ayude a fabricar armas biológicas. Poner

293
00:16:15.169 --> 00:16:17.870
esos arneses de los que tú hablabas en ese supuesto

294
00:16:18.460 --> 00:16:21.580
no me parece complicado. Me parece complicado, pero no me parece... No, no,

295
00:16:21.600 --> 00:16:21.860
pero lleva

296
00:16:21.899 --> 00:16:25.419
razón. Eso es una técnica de jailbreak. O sea, ponerle

297
00:16:25.460 --> 00:16:28.580
protecciones contra eso es jailbreak. La parte complicada es cuando

298
00:16:28.620 --> 00:16:29.700
es la inteligencia artificial

299
00:16:29.740 --> 00:16:29.960
para

300
00:16:30.000 --> 00:16:33.179
resolver tu tarea... toma una decisión que tú no esperas claro,

301
00:16:33.240 --> 00:16:33.460
porque

302
00:16:34.379 --> 00:16:39.000
en esa especie de carrera de you first entramos en

303
00:16:39.039 --> 00:16:43.149
lo que es la geopolítica imagínate que China diga quiero

304
00:16:43.350 --> 00:16:46.070
acabar con el imperio americano y por lo tanto voy

305
00:16:46.090 --> 00:16:50.009
a utilizar como arma para ese fin bélico la inteligencia

306
00:16:50.029 --> 00:16:56.320
artificial Estados Unidos por hacer la simplificación maniquea de siempre mira,

307
00:16:56.399 --> 00:16:57.799
a mí esto no me va a pasar yo tengo

308
00:16:57.860 --> 00:17:02.710
que protegerme es más Podría incluso tomar la iniciativa y

309
00:17:02.769 --> 00:17:07.109
estaríamos ante una escalada armamentística como la que hemos visto

310
00:17:07.170 --> 00:17:09.950
con armas convencionales pero con la inteligencia artificial.¿ Es ese

311
00:17:10.019 --> 00:17:12.930
riesgo que yo veo?¿ Es una barbaridad esta reflexión

312
00:17:13.660 --> 00:17:15.980
Bueno, yo hace un año hablaba de que este es

313
00:17:16.859 --> 00:17:21.089
el proyecto Manhattan del siglo XXI. Hemos visto la competencia

314
00:17:21.140 --> 00:17:23.609
por el avance tecnológico, es lo que ha hecho al

315
00:17:23.670 --> 00:17:28.009
final que los imperios crezcan y decrezcan, ¿no? Lo vimos

316
00:17:28.769 --> 00:17:34.990
cuando empezaron a expandirse con los barcos, con la navegación marítima, etcétera,

317
00:17:35.029 --> 00:17:38.450
los que tenían mejores navegantes y mejores buques y tenían

318
00:17:38.490 --> 00:17:40.849
mejor tecnología son los que conquistaron el mundo. Después lo

319
00:17:40.890 --> 00:17:42.569
vimos con las armas de fuego, lo hemos visto con

320
00:17:42.950 --> 00:17:46.650
la energía nuclear, la carrera espacial, la tecnología, etcétera, y

321
00:17:46.869 --> 00:17:49.369
ahora estamos con la inteligencia artificial. Es una nueva competencia

322
00:17:49.390 --> 00:17:52.450
que hará que empresas crezcan, que empresas decrezcan y que

323
00:17:53.450 --> 00:17:57.710
países tengan ventaja sobre los demás, que consigan mejorar.

324
00:17:57.930 --> 00:17:59.480
Y en un marido de 1 a 10, tu grado

325
00:17:59.519 --> 00:18:01.730
de preocupación, después de habernoslo contado también

326
00:18:02.460 --> 00:18:06.299
Yo soy un positivista, si arreglamos lo de la energía nuclear,

327
00:18:06.339 --> 00:18:10.079
yo nací en el 75, nos decían que no íbamos

328
00:18:10.119 --> 00:18:13.799
a llegar al siglo XX, yo recuerdo el NAPALM en

329
00:18:13.859 --> 00:18:18.829
aquel entonces, y bueno, llegamos a un entendimiento con las

330
00:18:18.880 --> 00:18:23.200
armas nucleares, así, así, hemos tenido ups and downs. Pero

331
00:18:23.309 --> 00:18:26.029
yo creo que vamos a encontrar la manera, deberíamos encontrar

332
00:18:26.049 --> 00:18:28.609
la manera de controlar esta tecnología. No creo que sea

333
00:18:28.690 --> 00:18:30.990
tan difícil. Creo que hay un riesgo y que está

334
00:18:31.069 --> 00:18:33.589
bien que nos tomemos en serio el preocuparnos de la

335
00:18:33.670 --> 00:18:36.950
seguridad y de hacer lo que llamamos el safety, ¿no?

336
00:18:37.579 --> 00:18:40.240
La protección de la seguridad de los seres humanos donde

337
00:18:40.259 --> 00:18:42.839
se usan estas tecnologías. Igual que lo hacemos en la aviación, ¿no?

338
00:18:42.920 --> 00:18:46.700
En la aviación hay unos controles de seguridad altísimos para conseguir,

339
00:18:46.720 --> 00:18:49.259
cuando tú vuelves en un avión, pues las probabilidades de

340
00:18:49.279 --> 00:18:51.549
que tengas un accidente sean pequeños. Pues tenemos que hacer

341
00:18:51.569 --> 00:18:54.839
algo similar... con la inteligencia artificial. Cosas que la industria

342
00:18:55.440 --> 00:18:58.339
de la aviación se ha conseguido gracias a la cooperación.

343
00:18:58.400 --> 00:19:01.940
Todas las empresas privadas cooperaron entre ellas para compartir los

344
00:19:02.000 --> 00:19:04.809
datos de los accidentes, de los problemas que habían tenido

345
00:19:04.829 --> 00:19:07.589
y hacer que toda la aviación fuera más segura. Tenemos

346
00:19:07.609 --> 00:19:08.650
que hacer lo mismo con la inteligencia

347
00:19:08.670 --> 00:19:12.930
artificial. Yo me imagino cuando tú hablabas de los convenios

348
00:19:12.950 --> 00:19:14.579
a los que hemos llegado en el pasado con otro

349
00:19:14.619 --> 00:19:17.140
tipo de riesgos potenciales, como por ejemplo el arma nuclear,

350
00:19:17.579 --> 00:19:20.890
me imagino una habitación Poblada de seres humanos negociando entre ellos,

351
00:19:20.930 --> 00:19:23.569
al final todos formamos parte de la humanidad y todos

352
00:19:23.609 --> 00:19:26.529
queremos preservarnos. El problema que a mí se me plantea

353
00:19:26.589 --> 00:19:28.950
desde el punto de vista imaginativo es que ahora en

354
00:19:28.970 --> 00:19:31.750
esa sala no están los seres humanos, están máquinas o

355
00:19:31.789 --> 00:19:34.359
máquinas con seres humanos. Y las máquinas no piensan como

356
00:19:34.390 --> 00:19:36.599
los seres humanos y no tienen los controles éticos de

357
00:19:36.640 --> 00:19:39.380
los seres humanos y a partir de ahí estamos absolutamente

358
00:19:39.420 --> 00:19:40.440
al albur de lo que decidan.

359
00:19:40.980 --> 00:19:43.240
Yo creo que el ser humano sí que tiene que

360
00:19:43.269 --> 00:19:48.730
estar en el centro de todas las decisiones. Mi discurso

361
00:19:48.750 --> 00:19:51.220
del doctor Honoris Causa... yo hablé de tecnología humanista y

362
00:19:51.299 --> 00:19:54.160
decía que cualquier tecnología que no sea para hacer que

363
00:19:54.200 --> 00:19:58.180
la vida de las personas sea mejor, no deberíamos estar trabajando.

364
00:19:58.220 --> 00:20:00.269
La deberíamos trabajar solo con tecnología que haga que la

365
00:20:00.289 --> 00:20:03.359
vida de las personas sea mejor. sea mejor, ¿no? Y

366
00:20:03.500 --> 00:20:06.400
creo que deberemos llegar a ese control y a esa

367
00:20:06.480 --> 00:20:09.880
situación de entendimiento entre todos, ¿no? No queremos hacer cosas

368
00:20:10.480 --> 00:20:12.720
que son malas para los seres humanos. Lo hemos visto

369
00:20:12.809 --> 00:20:16.250
con cosas más simples como las redes sociales, ¿no? Que

370
00:20:16.269 --> 00:20:18.869
de repente nos hemos preocupado porque vemos que hay determinadas

371
00:20:18.930 --> 00:20:21.289
cosas que no nos gustan porque hacen daño a los

372
00:20:21.309 --> 00:20:24.190
seres humanos. Pues con cosas como la inteligencia artificial, pues

373
00:20:24.230 --> 00:20:26.029
habrá que ponerle sus... Bueno

374
00:20:26.660 --> 00:20:30.549
pues no seré yo quien, digamos, tiña de pesimismo esa

375
00:20:31.210 --> 00:20:33.970
especie de positivismo de Chambroso, al que le agradezco de

376
00:20:34.009 --> 00:20:37.390
corazón que nos haya explicado también esta historia, que me

377
00:20:37.430 --> 00:20:39.660
parece que se va a convertir en uno de los

378
00:20:40.200 --> 00:20:44.119
acompañamientos informativos de los próximos meses, años, décadas, ojalá que

379
00:20:44.140 --> 00:20:47.059
sean décadas, por eso quiero decir... que todavía la humanidad

380
00:20:47.079 --> 00:20:47.609
sigue viva

381
00:20:48.019 --> 00:20:50.579
Y tú, además, se van a crear un montón de

382
00:20:50.700 --> 00:20:53.410
buenas novelas de ciencia ficción que veremos en grandes películas.

383
00:20:53.430 --> 00:20:54.490
Yo espero que sea eso.

384
00:20:55.690 --> 00:20:57.829
Gracias, Seba. Un abrazo muy fuerte. Un abrazo, Luis.