Grandes modelos de lenguaje: una guía práctica (Spanish Edition). Comprensión y generación del lenguaje Jay Alammar, Maarten Grootendorst

Dostępność produktu

Produkt został zweryfikowany pod kątem ułatwień dostępu więcej przeczytasz w deklaracji dostępności.

Spis treści książki

• Prefacio
  • Una filosofía que prioriza la intuición
  • Requisitos previos
  • Estructura del libro
    • Parte I: Comprender los modelos de lenguaje
    • Parte II: Uso de modelos de lenguaje preentrenados
    • Parte III: Entrenamiento y ajuste fino de modelos de lenguaje
  • Requisitos de hardware y software
  • Claves API
  • Convenciones utilizadas en este libro
  • Uso de ejemplos de código
  • OReilly Online Learning
  • Cómo contactarnos
  • Agradecimientos
• I. Comprender los modelos de lenguaje
• 1. Una introducción a los grandes modelos de lenguaje
  • Qué es la IA lingüística?
  • Una historia reciente de la IA del lenguaje
    • Representar el lenguaje como una bolsa de palabras
    • Mejores representaciones con incrustaciones de vectores densos
    • Tipos de incrustaciones
    • Codificación y decodificación del contexto con atención
    • La atención es todo lo que necesitas
    • Modelos de representación: modelos solo con codificador
    • Modelos generativos: modelos solo decodificadores
    • El ao de la IA generativa
  • La definición cambiante de un gran modelo de lenguaje
  • El paradigma de entrenamiento de los grandes modelos de lenguaje
  • Aplicaciones de los modelos de lenguaje grandes: qué los hace tan útiles?
  • Desarrollo y uso responsable de los LLM
  • Solo necesitas recursos limitados
  • Interconexión con grandes modelos de lenguaje
    • Modelos privados y de código cerrado
    • Modelos abiertos
    • Marcos de código abierto
  • Generar tu primer texto
  • Resumen
• 2. Tokens y incrustaciones
  • Tokenización de LLM
    • Cómo preparan los tokenizadores las entradas para el modelo de lenguaje
    • Descargar y ejecutar un LLM
    • Cómo descompone el texto el tokenizador?
    • Tokens de palabra frente a tokens de subpalabra frente a tokens de carácter frente a tokens de byte
    • Comparación de tokenizadores LLM entrenados
      • Modelo base BERT (sin distinción entre mayúsculas y minúsculas) (2018)
      • Modelo base de BERT (con mayúsculas) (2018)
      • GPT-2 (2019)
      • Flan-T5 (2022)
      • GPT-4 (2023)
      • StarCoder2 (2024)
      • Galactica
      • Phi-3 (y Llama 2)
    • Propiedades del tokenizador
      • Métodos de tokenización
      • Parámetros del tokenizador
      • El dominio de los datos
  • Incrustaciones de tokens
    • Un modelo de lenguaje contiene incrustaciones para el vocabulario de su tokenizador
    • Creación de incrustaciones de palabras contextualizadas con modelos de lenguaje
  • Incrustaciones de texto (para oraciones y documentos completos)
  • Incrustaciones de palabras más allá de los LLM
    • Uso de incrustaciones de palabras preentrenadas
    • El algoritmo Word2vec y el entrenamiento contrastivo
  • Incrustaciones para sistemas de recomendación
    • Recomendación de canciones mediante incrustaciones
    • Entrenamiento de un modelo de incrustación de canciones
  • Resumen
• 3. Una mirada al interior de los grandes modelos de lenguaje
  • Una visión general de los modelos Transformer
    • Las entradas y salidas de un LLM Transformer entrenado
    • Los componentes del paso hacia adelante
    • Elegir un solo token de la distribución de probabilidad (muestreo/decodificación)
    • Procesamiento paralelo de tokens y tamao del contexto
    • Acelerar la generación mediante el almacenamiento en caché de claves y valores
    • Dentro del bloque Transformer
      • La red neuronal feedforward de un vistazo
      • La capa de atención de un vistazo
      • La atención es todo lo que necesitas
      • Cómo se calcula la atención
      • Autoatención: puntuación de relevancia
      • Autoatención: Combinación de información
  • Mejoras recientes en la arquitectura Transformer
    • Atención más eficiente
      • Atención local/esparsa
      • Atención de consultas múltiples y consultas agrupadas
      • Optimización de la atención: de múltiples cabezas a múltiples consultas y a consultas agrupadas
      • Flash Attention
    • El bloque Transformer
    • Incrustaciones posicionales (RoPE)
    • Otros experimentos y mejoras arquitectónicas
  • Resumen
• II. Uso de modelos de lenguaje preentrenados
• 4. Clasificación de texto
  • El sentimiento de las reseas de películas
  • Clasificación de texto con modelos de representación
  • Selección de modelos
  • Uso de un modelo específico para la tarea
  • Tareas de clasificación que aprovechan las incrustaciones
    • Clasificación supervisada
    • Y si no tenemos datos etiquetados?
  • Clasificación de texto con modelos generativos
    • Uso del transformador de transferencia de texto a texto
    • ChatGPT para la clasificación
  • Resumen
• 5. Agrupación de textos y modelado de temas
  • Artículos de ArXiv: Computación y Lenguaje
  • Un proceso común para la agrupación de textos
    • Incrustación de documentos
    • Reducir la dimensionalidad de las incrustaciones
    • Agrupa las incrustaciones reducidas
    • Inspeccionando los clústeres
  • Del agrupamiento de textos al modelado de temas
    • BERTopic: un marco modular de modelado de temas
    • Aadir un bloque de Lego especial
      • KeyBERTInspired
      • Relevancia marginal máxima
    • El bloque Lego de generación de texto
  • Resumen
• 6. Ingeniería de prompts
  • Uso de modelos de generación de texto
    • Elegir un modelo de generación de texto
    • Cargando un modelo de generación de texto
    • Control de la salida del modelo
      • Temperatura
      • top_p
  • Introducción a la ingeniería de prompts
    • Los ingredientes básicos de un prompt
    • Prompts basados en instrucciones
  • Ingeniería avanzada de prompts
    • La complejidad potencial de un prompt
    • Aprendizaje en contexto: proporcionar ejemplos
    • Prompting en cadena: Descomponer el problema
  • Razonamiento con modelos generativos
    • Cadena de pensamiento: piensa antes de responder
    • Autoconsistencia: muestreo de resultados
    • Árbol de pensamiento: explorando pasos intermedios
  • Verificación de resultados
    • Proporcionar ejemplos
    • Gramática: muestreo restringido
  • Resumen
• 7. Técnicas y herramientas avanzadas de generación de texto
  • E/S del modelo: Cargar modelos cuantificados con LangChain
  • Cadenas: ampliando las capacidades de los LLM
    • Un único eslabón de la cadena: la plantilla de prompt
    • Una cadena con múltiples prompts
  • Memoria: ayudando a los LLM a recordar conversaciones
    • Buffer de conversación
    • Buffer de conversación por ventanas
    • Resumen de la conversación
  • Agentes: Creación de un sistema de LLM
    • El motor que impulsa a los agentes: razonamiento paso a paso
    • ReAct en LangChain
  • Resumen
• 8. Búsqueda semántica y generación aumentada por recuperación
  • Resumen de la búsqueda semántica y RAG
  • Búsqueda semántica con modelos de lenguaje
    • Recuperación densa
      • Ejemplo de recuperación densa
        • Obtener el archivo de texto y dividirlo en fragmentos
        • Incorporar los fragmentos de texto
        • Creación del índice de búsqueda
        • Buscar en el índice
      • Advertencias sobre la recuperación densa
      • División de textos largos
        • Un vector por documento
        • Varios vectores por documento
      • Búsqueda del vecino más cercano frente a bases de datos vectoriales
      • Ajuste fino de modelos de incrustación para la recuperación densa
    • Reordenación
      • Ejemplo de reordenación
      • Recuperación y reordenamiento de código abierto con transformadores de oraciones
      • Cómo funcionan los modelos de reordenación
    • Métricas de evaluación de la recuperación
      • Puntuación de una sola consulta con precisión promedio
      • Puntuación en múltiples consultas con precisión media
  • Generación aumentada por recuperación (RAG)
    • De la búsqueda a RAG
    • Ejemplo: Generación basada con una API de LLM
    • Ejemplo: RAG con modelos locales
      • Cargando el modelo de generación
      • Cargando el modelo de incrustación
      • The RAG prompt
    • Técnicas avanzadas de RAG
      • Reescritura de consultas
      • RAG con múltiples consultas
      • RAG de múltiples saltos
      • Enrutamiento de consultas
      • RAG con capacidad de agencia
    • Evaluación de RAG
  • Resumen
• 9. Grandes modelos de lenguaje multimodales
  • Transformadores para la visión
  • Modelos de incrustación multimodal
    • CLIP: Conectando texto e imágenes
    • Cómo puede CLIP generar incrustaciones multimodales?
    • OpenCLIP
  • Hacer que los modelos de generación de texto sean multimodales
    • BLIP-2: Superando la brecha modal
    • Preprocesamiento de entradas multimodales
      • Preprocesamiento de imágenes
      • Preprocesamiento de texto
    • Caso de uso 1: Subtitulación de imágenes
    • Caso de uso 2: Solicitudes multimodales basadas en chat
  • Resumen
• III. Entrenamiento y ajuste de modelos de lenguaje
• 10. Creación de modelos de incrustación de texto
  • Modelos de incrustación
  • Qué es el aprendizaje contrastivo?
  • SBERT
  • Creación de un modelo de incrustación
    • Generación de ejemplos contrastivos
    • Entrenar el modelo
    • Evaluación en profundidad
    • Funciones de pérdida
      • Similaridad coseno
      • Pérdida de clasificación de múltiples negativos
  • Ajuste fino de un modelo de incrustación
    • Supervisado
    • SBERT aumentado
  • Aprendizaje no supervisado
    • Autoencoder secuencial de reducción de ruido basado en transformadores
    • Uso de TSDAE para la adaptación de dominios
  • Resumen
• 11. Ajuste fino de modelos de representación para la clasificación
  • Clasificación supervisada
    • Ajuste fino de un modelo BERT preentrenado
    • Congelar capas
  • Clasificación con pocos ejemplos
    • SetFit: Ajuste fino eficiente con pocos ejemplos de entrenamiento
    • Ajuste fino para la clasificación con pocos ejemplos
  • Continuación del preentrenamiento con modelado de lenguaje enmascarado
  • Reconocimiento de entidades nombradas
    • Preparación de datos para el reconocimiento de entidades nombradas
    • Ajuste fino para el reconocimiento de entidades nombradas
  • Resumen
• 12. Ajuste fino de modelos de generación
  • Los tres pasos del entrenamiento de un LLM: preentrenamiento, ajuste fino supervisado y ajuste de preferencias
  • Ajuste fino supervisado (SFT)
    • Ajuste fino completo
    • Ajuste fino eficiente en parámetros (PEFT)
      • Adaptadores
      • Adaptación de rango bajo (LoRA)
      • Comprimir el modelo para un entrenamiento (más) eficiente
  • Ajuste de instrucciones con QLoRA
    • Creación de plantillas de datos de instrucciones
    • Cuantificación del modelo
    • Configuración de LoRA
    • Configuración del entrenamiento
    • Entrenamiento
    • Combinar pesos
  • Evaluación de modelos generativos
    • Métricas a nivel de palabra
    • Puntos de referencia
    • Tablas de clasificación
    • Evaluación automatizada
    • Evaluación humana
  • Ajuste de preferencias / Alineación / RLHF
  • Automatización de la evaluación de preferencias mediante modelos de recompensa
    • Las entradas y salidas de un modelo de recompensa
    • Entrenar un modelo de recompensa
      • Conjunto de datos de entrenamiento del modelo de recompensa
      • Paso de entrenamiento del modelo de recompensa
    • Entrenamiento del modelo de recompensa
  • Ajuste de preferencias con DPO
    • Datos de alineación de plantillas
    • Cuantificación del modelo
    • Configuración del entrenamiento
    • Entrenamiento
  • Resumen
• Epílogo
• Index

pokaż cały spis treści

ukryj recenzje