1 option
Language Models Kompakt : Praxisorientierte Sprachmodellierung Mit Pytorch.
- Format:
- Book
- Author/Creator:
- Burkov, Andriy.
- Language:
- German
- Physical Description:
- 1 online resource (197 pages)
- Edition:
- 1st ed.
- Place of Publication:
- Heidelberg : O'Reilly Verlag GmbH & Co. KG, 2025.
- Summary:
- Der schnellste Weg, um die Mechanismen von LLMs zu verstehen- Dieses Buch ist eine sehr komprimierte und gleichzeitig gut verständliche Einführung in die Entwicklung von Large Language Models- Ideal für alle, die sich schnell und fundiert in die Grundlagen von LLMs einarbeiten wollen- Vom Bestseller-Autor Andriy Burkov, der in seiner renommierten.
- Contents:
- Intro
- Stimmen zum Buch Language Models kompakt
- Inhalt
- Vorwort
- Einführung
- Für wen dieses Buch gedacht ist
- Was dieses Buch nicht ist
- Wie dieses Buch aufgebaut ist
- Beispiele und Wiki zum Buch
- Verwenden von Codebeispielen
- Danksagungen
- Kapitel 1: Grundlagen des Machine Learning
- KI und Machine Learning
- Modelle
- Machine Learning - Prozess in vier Schritten
- Vektoren
- Neuronale Netze
- Matrizen
- Gradientenabstieg
- Automatisches Differenzieren
- Kapitel 2: Grundlagen der Sprachmodellierung
- Bag-of-Words
- Wort-Embeddings
- Byte-Paar-Codierung
- Sprachmodelle
- Zählbasierte Sprachmodelle
- Sprachmodelle bewerten
- Perplexität
- ROUGE
- Menschliche Bewertung
- Kapitel 3: Rekurrente neuronale Netze
- Elman-RNN
- Mini-Batch-Gradientenabstieg
- Ein RNN programmieren
- RNN als Sprachmodell
- Embedding-Schicht
- Ein RNN-Sprachmodell trainieren
- Die Klassen Dataset und DataLoader
- Trainingsdaten und Verlustberechnung
- Kapitel 4: Transformer
- Decoder-Block
- Self-Attention
- Schritt 1 der Self-Attention
- Schritt 2 der Self-Attention
- Schritt 3 der Self-Attention
- Schritt 4 der Self-Attention
- Schritt 5 der Self-Attention
- Schritt 6 der Self-Attention
- Positionsbezogenes Multilayer Perceptron
- Rotary Position Embedding
- Multi-Head-Attention
- Residualverbindungen
- RMS-Normalisierung
- Schlüssel-Wert-Caching
- Transformer in Python
- Kapitel 5: Große Sprachmodelle (LLMs)
- Warum größer besser ist
- Große Parameteranzahl
- Großer Kontextumfang
- Großer Trainingsdatensatz
- Großer Rechenaufwand
- Überwachtes Feintuning
- Ein vortrainiertes Modell feintunen
- Baseline für den Klassifizierer von Emotionen
- Emotionen erzeugen
- Feintuning zum Befolgen von Anweisungen
- Sampling von Sprachmodellen
- Einfaches Sampling mit Temperatur
- Top-k-Sampling.
- Nucleus-(Top-p-)Sampling
- Strafen
- Low-rank Adaptation (LoRA)
- Die Kernidee
- Parametereffizientes Feintuning (PEFT)
- LLM als Klassifizierer
- Prompt Engineering
- Merkmale eines guten Prompts
- Folgeaktionen
- Codegenerierung
- Synchronisieren der Dokumentation
- Halluzinationen
- Gründe für Halluzinationen
- Halluzinationen verhindern
- LLMs, Urheberrecht und Ethik
- Trainingsdaten
- Generierte Inhalte
- Open-Weight-Modelle
- Allgemeine ethische Erwägungen
- Kapitel 6: Fortgeschrittene Themen
- Mixture of Experts
- Model Merging
- Modellkomprimierung
- Präferenzbasierte Ausrichtung
- Advanced Reasoning
- Sicherheit von Sprachmodellen
- Vision Language Models
- Überanpassung verhindern
- Schlussbemerkungen
- Mehr vom Autor
- Index
- Über den Autor.
- Notes:
- Description based on publisher supplied metadata and other sources.
- ISBN:
- 3-96010-940-7
- 3-96010-941-5
- 9783960109402
- OCLC:
- 1540323908
The Penn Libraries is committed to describing library materials using current, accurate, and responsible language. If you discover outdated or inaccurate language, please fill out this feedback form to report it and suggest alternative language.