≡En resumen
- Bajo el mismo nombre conviven tres procesos distintos: dividir texto, proteger datos de pago y representar activos en blockchain.
- Los modelos de lenguaje usan tokenización por subpalabras (BPE y variantes) para manejar cualquier palabra con un vocabulario limitado.
- La tokenización de tarjetas reduce el alcance de PCI DSS, pero no elimina la obligación de cumplirlo.
- Un token de pago sí puede revertirse al dato original, pero solo dentro del sistema autorizado que custodia la correspondencia.
- Tokenizar un activo no cambia su naturaleza jurídica: si el token es un valor negociable, se rige por la normativa de valores y no por MiCA.
01 ¿Qué es la tokenización?
Tokenización de texto (NLP)
Divide el texto en palabras, subpalabras o caracteres y asigna a cada pieza un número para que un modelo de lenguaje pueda procesarlo.
Tokenización de datos de pago
Sustituye el número de la tarjeta y otros datos sensibles por un token que solo el sistema autorizado puede traducir al dato real.
Tokenización de activos
Representa un derecho sobre un activo (un inmueble, una acción, un bono) mediante tokens registrados en una blockchain.
02 Tokenización en procesamiento del lenguaje natural: cómo lee el texto una IA
Un modelo de lenguaje no trabaja con letras sino con números. La tokenización es el primer paso: parte el texto en unidades de un vocabulario fijo y sustituye cada una por su identificador. Hay tres grandes enfoques: por palabras (sencillo, pero no sabe qué hacer con palabras nuevas), por caracteres (nunca falla, pero genera secuencias muy largas) y por subpalabras, el equilibrio que usan los modelos actuales.
La técnica de subpalabras más extendida es BPE (Byte Pair Encoding). La propusieron para traducción automática Rico Sennrich, Barry Haddow y Alexandra Birch en un artículo presentado en ACL 2016, para codificar palabras raras o desconocidas como secuencias de piezas más pequeñas.
-
1
Se parte de caracteres o bytes
Al principio, el vocabulario contiene solo los símbolos básicos del corpus de entrenamiento.
-
2
Se cuentan las parejas contiguas
El algoritmo busca qué par de símbolos aparece junto con más frecuencia, por ejemplo «e» + «s».
-
3
Se fusionan en un símbolo nuevo
El par más frecuente pasa a ser una unidad propia («es») y se añade al vocabulario.
-
4
Se repite hasta el tamaño deseado
El proceso continúa hasta alcanzar el número de piezas fijado, que en los modelos actuales ronda las decenas o cientos de miles.
-
5
Se aplica a textos nuevos
Cualquier palabra se puede escribir combinando piezas del vocabulario, así que no hay palabras desconocidas.
| Herramienta | Método | Dato verificable |
|---|---|---|
| BPE para subpalabras | Fusión iterativa de los pares más frecuentes | Sennrich, Haddow y Birch, ACL 2016 |
| SentencePiece (Google) | BPE o modelo unigrama sobre texto en bruto | Kudo y Richardson, EMNLP 2018; independiente del idioma |
| tiktoken (OpenAI) | BPE a nivel de bytes | Codificaciones o200k_base y cl100k_base; unos 4 bytes por token de media |
Una palabra frecuente como «casa» suele ser un único token. Una larga o poco habitual, como «desintermediación», se parte en varias piezas (algo del tipo «des» + «inter» + «medi» + «ación»). La división exacta depende de cada tokenizador, así que tómalo como ilustración: para saber cuántos tokens tiene tu texto, usa el contador del proveedor del modelo.
La tokenización explica rarezas de los modelos, como que les cueste contar letras de una palabra (no ven letras, ven piezas) o que un mismo texto cueste más en unos idiomas que en otros. En el análisis de textos clásico, además, tokenizar es el paso previo a limpiar las stop words, lematizar o contar frecuencias.
03 Tokenización de tarjetas y PCI DSS
El PCI Security Standards Council, que mantiene la norma de seguridad de datos de tarjetas PCI DSS, define la tokenización como el proceso por el que el número de la tarjeta (PAN) se sustituye por un valor sustituto llamado token. La operación inversa, recuperar el PAN a partir del token, se llama destokenización y solo puede hacerla el sistema que custodia la correspondencia, habitualmente la pasarela de pago o la red de la tarjeta.
Tokens de la pasarela
Tu pasarela guarda la tarjeta y te devuelve un token para cobros recurrentes o pago en un clic. Tu base de datos nunca ve el número.
Tokens de red (EMV)
Los emite la red de la tarjeta según la especificación de EMVCo y se limitan a un comercio, dispositivo o canal. Son los de Apple Pay y Google Pay.
Tokenización de otros datos
El mismo principio se aplica a DNI, IBAN o historiales médicos para que las aplicaciones trabajen sin exponer el dato real.
Para una tienda online, lo práctico es elegir una de las pasarelas de pago que tokenizan las tarjetas y no almacenar nunca datos de tarjeta propios. Si tu negocio necesita suscripciones, marketplace o pagos dentro de una plataforma, la integración se diseña en el desarrollo de aplicaciones web desde el principio.
04 Tokenización vs. cifrado, hash y enmascaramiento
| Técnica | Cómo funciona | ¿Se recupera el dato? | Uso típico |
|---|---|---|---|
| Tokenización | Sustituye el dato por un valor sin relación matemática con él; la correspondencia se guarda en un sistema seguro | Sí, solo en el sistema de tokenización | Tarjetas guardadas, pagos recurrentes |
| Cifrado | Transforma el dato con un algoritmo y una clave | Sí, con la clave | Comunicaciones (HTTPS), discos, copias |
| Hash | Calcula una huella de longitud fija | No, es de un solo sentido | Contraseñas, verificación de integridad |
| Enmascaramiento | Oculta parte del dato | No, para quien lo ve | Mostrar «**** 1111» en un recibo |
La ventaja de la tokenización frente al cifrado es que, si alguien roba la base de datos del comercio, no hay clave que descifre los tokens: el dato real está en otro sistema. Su límite es que depende de ese sistema externo, que debe estar muy protegido.
05 Tokenización de activos: inmuebles, valores y el Reglamento MiCA
Tokenizar un activo es emitir tokens en una blockchain que representan derechos sobre él: la propiedad de una fracción, una parte de sus rentas o un derecho de uso. La promesa es fraccionar activos caros, liquidar operaciones más rápido y llevar un registro compartido. La realidad es que la etiqueta «token» no cambia la naturaleza jurídica de lo que se vende.
| Si el token… | Se rige por | Supervisión en España |
|---|---|---|
| Es un instrumento financiero (acción, bono, participación) | Normativa de valores (MiFID II); queda fuera de MiCA según su artículo 2.4 | CNMV |
| Se negocia en una infraestructura de registro distribuido autorizada | Régimen piloto TRD, Reglamento (UE) 2022/858 | CNMV |
| Es una ficha de dinero electrónico o referenciada a activos | MiCA, títulos IV y III, aplicables desde el 30 de junio de 2024 | Banco de España y CNMV según el caso |
| Es otro criptoactivo, como una ficha de consumo | MiCA, aplicable desde el 30 de diciembre de 2024 | CNMV |
06 ¿Qué tokenización necesita tu proyecto?
- ✓Un chatbot o agente de IA: mide los tokens de tus instrucciones y documentos, porque determinan el coste y lo que cabe en el contexto.
- ✓Una tienda online o una app con suscripciones: usa una pasarela que tokenice las tarjetas y no guardes datos de tarjeta en tu servidor.
- ✓Un sistema con datos personales sensibles: valora tokenizarlos para que solo un servicio aislado vea el dato real.
- ✓Un proyecto de activos digitales: define primero con un abogado qué es jurídicamente el token y qué autorización exige.
En proyectos de IA, la tokenización influye en la elección del modelo, en cómo se trocean los documentos para la búsqueda y en el presupuesto mensual. Es una de las variables que estudiamos como agencia de IA antes de proponer una arquitectura.
Preguntas frecuentes sobre Tokenización
Es convertir una información en tokens: dividir un texto en piezas para que lo procese una IA, sustituir un dato sensible por un código equivalente o representar un activo en una blockchain.
Es el paso en que el texto se divide en tokens (palabras, subpalabras o caracteres) y cada uno se convierte en un número que el modelo puede procesar. Los modelos actuales usan métodos de subpalabras como BPE.
El cifrado transforma el dato con una clave y cualquiera con la clave lo recupera. La tokenización lo sustituye por un valor sin relación matemática, y solo el sistema que guarda la correspondencia puede recuperarlo.
No. Según el PCI Security Standards Council, reduce el número de sistemas afectados por la norma, pero no elimina la obligación de cumplirla y validarla.
Es emitir tokens en una blockchain que representan derechos sobre él, como una fracción de su propiedad o de sus rentas. Si esos tokens son valores negociables, se rigen por la normativa de valores y los supervisa la CNMV.
Byte Pair Encoding es un algoritmo que construye un vocabulario de subpalabras fusionando una y otra vez los pares de símbolos más frecuentes. Es la base de los tokenizadores de muchos modelos de lenguaje.
No. El token es la unidad resultante y la tokenización es el proceso que la genera.
Fuentes consultadas
Sobre el autor
Germán Gutiérrez
Development Manager en appyweb
Dirige el equipo de desarrollo de appyweb: aplicaciones web y móviles, SaaS, integraciones y arquitectura de software.
Ver perfil en LinkedIn ↗