Flutter ExecuTorch On-Device LLM: Llama 3.2 Quantisierung

Beim Integrieren von LLM-Funktionen (Large Language Models) in mobile Anwendungen stehen Entwickler vor drei Haupthürden: „kumulative API-Kosten pro Aufruf“, „Dienstunterbrechungen bei fehlender Netzwerkverbindung“ und „Bedenken hinsichtlich des Datenschutzrisikos“. Cloud-LLM-APIs verursachen mit steigender Nutzerzahl monatliche Fixkosten von mehreren Tausend Dollar, und in Funklöchern wie Tunnels oder U-Bahnen fällt die App-Funktionalität vollständig aus.

Um dieses Problem grundlegend zu lösen, hat sich die direkte Integration von ExecuTorch (der offiziellen Edge-AI-Engine von PyTorch) und den leichten Meta Llama 3.2 On-Device-Modellen in das Flutter-Ökosystem im Jahr 2026 als Standard in der modernen App-Entwicklung etabliert. ExecuTorch basiert auf einer extrem leichten C++-Runtime von nur etwa 50 KB und führt 4-Bit-gruppenquantisierte (INT4 Group Quantization) .pte-Modelle über Hardwarebeschleuniger wie XNNPACK/NPU unter Android sowie CoreML unter iOS aus.

Dieser Artikel bietet eine vollständige Praxisanleitung mit Quellcode: vom 4-Bit-Quantisierungsprozess des Llama 3.2-Modells über Dart-FFI-Bindings mittels des executorch_flutter-Pakets, eine reibungslose UI-Streaming-Implementierung mit 120 fps auf Basis separater Isolates bis hin zu Benchmarks, die eine 100%ige Kostenreduzierung ($0) im Vergleich zu Cloud-APIs belegen.

Wesentliche Zusammenfassung

• Offizielle PyTorch Edge Runtime (ExecuTorch): Eine leichte C++-Runtime von unter 50 KB, die die PyTorch-Core-Engine für mobile Umgebungen portiert und mobile NPU- sowie CPU-Beschleuniger integriert nutzt.
• Llama 3.2 4-Bit (INT4) Quantisierung: Durch 4-Bit-Blockquantisierung der leichten 1B/3B-Modelle wird die Modellgröße auf 1.2GB reduziert, was den RAM-Speicherbedarf auf dem Mobilgerät minimiert.
• Dart FFI & Hintergrund-Isolate: Die Berechnung der LLM-Token-Generierung wird in ein separates Dart Isolate ausgelagert, sodass Frame-Drops der Flutter-UI (60fps/120fps) während der Modell-Inferenz vollständig vermieden werden.
• API-Kosten $0 & Offline-Funktionalität: Da keine Cloud-API-Aufrufe erforderlich sind, funktioniert das System auch ohne Netzwerkverbindung zu 100% und verursacht keine Serverkosten pro Token.

1. Cloud-LLM-API vs. ExecuTorch On-Device im Vergleich

Dies ist ein Vergleich auf Basis der offiziellen PyTorch ExecuTorch-Dokumentation sowie realer mobiler AI-Messungen aus dem Jahr 2026.

[클라우드 API 방식] 💸
모바일 앱 ──(인터넷 네트워크)──► OpenAI / Anthropic API ($0.0015/1k tokens + 400ms 지연)

[ExecuTorch 온디바이스 방식] ⭕️
모바일 앱 ──(Dart FFI)──► ExecuTorch C++ Runtime (.pte 모델) ──► NPU/CPU (0원 + 오프라인)

2. Llama 3.2 모델 4-bit 양자화 및 .pte 생성 (export_llama.py)

Unter Verwendung des Tools export_llm aus dem PyTorch ExecuTorch-Repository wird das Llama 3.2 1B Instruct-Modell in eine INT4 4-Bit-quantisierte .pte-Datei konvertiert.

# export_llama.py - PyTorch ExecuTorch 모델 양자화 변환 스크립트
import torch
from executorch.backends.xnnpack.quantization.subgraph import XNNPACKQuantizer
from executorch.extension.llm.export.builder import LlamaBuilder

def export_quantized_llama():
    print("[1/3] Llama 3.2 1B Instruct 모델 로딩 중...")
    # Hugging Face 또는 Meta 공식 파라미터 로딩
    builder = LlamaBuilder(
        model_name="meta-llama/Llama-3.2-1B-Instruct",
        checkpoint_path="./checkpoints/llama-3.2-1b/",
        params_path="./checkpoints/llama-3.2-1b/params.json"
    )

    print("[2/3] 4-bit INT4 Group Quantization 적용 중...")
    # 모바일 NPU/CPU 실행을 위해 4-bit 그룹 양자화 적용 (그룹 크기: 128)
    builder.set_quantization(
        quant_type="int4",
        group_size=128,
        quantizer=XNNPACKQuantizer()
    )

    print("[3/3] ExecuTorch .pte 실행 파이프라인 익스포트 중...")
    exec_program = builder.build()
    
    # 모바일 앱의 assets 폴더에 탑재할 .pte 바이너리 파일 저장
    output_path = "./exported/llama3_2_1b_int4.pte"
    with open(output_path, "wb") as f:
        exec_program.write_to_file(f)
        
    print(f"✅ 양자화 익스포트 완료: {output_path}")

if __name__ == "__main__":
    export_quantized_llama()

# 터미널 실행 명령
python export_llama.py
# → exported/llama3_2_1b_int4.pte (약 1.15GB 생성)

3. Flutter 프로젝트 연동 및 Dart FFI 세팅 (pubspec.yaml, llama_service.dart)

Konfiguration der Paketabhängigkeiten und Modell-Assets (pubspec.yaml)

# pubspec.yaml
name: flutter_ondevice_ai
description: ExecuTorch Llama 3.2 On-Device LLM App

environment:
  sdk: '>=3.5.0 <4.0.0'
  flutter: '>=3.24.0'

dependencies:
  flutter:
    sdk: flutter
  # PyTorch ExecuTorch 공식 Flutter 플러그인
  executorch_flutter: ^0.4.0
  flutter_riverpod: ^2.5.1

flutter:
  assets:
    # 4-bit 양자화 모델 및 토크나이저 바이너리 파일
    - assets/models/llama3_2_1b_int4.pte
    - assets/models/tokenizer.bin

Isolate-basierter asynchroner On-Device-LLM-Dienst (lib/services/llama_service.dart)

Durch Anwendung des Hintergrund-Isolationsmusters aus dem Leitfaden für rechenintensive Aufgaben mit Flutter Isolate.spawn werden UI-Frame-Drops verhindert.

// lib/services/llama_service.dart
import 'dart:async';
import 'dart:isolate';
import 'package:executorch_flutter/executorch_flutter.dart';
import 'package:flutter/foundation.dart';

/// UI 스레드 간 주고받을 DTO 정의
class LlamaRequest {
  final String prompt;
  final SendPort sendPort;
  LlamaRequest(this.prompt, this.sendPort);
}

class OnDeviceLlamaService {
  Isolate? _executorchIsolate;
  SendPort? _isolateSendPort;

  /// 1. 백그라운드 Isolate 스폰 및 ExecuTorch 런타임 초기화
  Future<void> initialize() async {
    final receivePort = ReceivePort();
    _executorchIsolate = await Isolate.spawn(
      _isolateEntryPoint,
      receivePort.sendPort,
    );

    // Isolate로부터 생성된 SendPort 수신
    _isolateSendPort = await receivePort.first as SendPort;
    debugPrint('✅ ExecuTorch 백그라운드 Isolate 초기화 완료');
  }

  /// 2. Isolate 엔트리 포인트 (독립된 힙 메모리 공간에서 실행)
  static void _isolateEntryPoint(SendPort mainSendPort) async {
    final isolateReceivePort = ReceivePort();
    mainSendPort.send(isolateReceivePort.sendPort);

    // ExecuTorch 모델 로딩 (C++ FFI 바인딩)
    final runner = await ExecuTorchLlamaRunner.load(
      modelPath: 'assets/models/llama3_2_1b_int4.pte',
      tokenizerPath: 'assets/models/tokenizer.bin',
      temperature: 0.7,
      maxTokens: 512,
    );

    await for (final msg in isolateReceivePort) {
      if (msg is LlamaRequest) {
        // 백그라운드에서 추론 실행 및 토큰 스트리밍 전송
        await runner.generateStream(
          prompt: msg.prompt,
          onToken: (token) {
            msg.sendPort.send(token); // 토큰 단위로 UI 스레드 전달
          },
        );
        msg.sendPort.send(null); // 스트림 종료 신호
      }
    }
  }

  /// 3. UI 컴포넌트에 토큰 스트림 제공
  Stream<String> generateResponse(String prompt) {
    if (_isolateSendPort == null) {
      throw StateError('ExecuTorch 서비스가 초기화되지 않았습니다.');
    }

    final responsePort = ReceivePort();
    _isolateSendPort!.send(LlamaRequest(prompt, responsePort.sendPort));

    final controller = StreamController<String>();

    responsePort.listen((message) {
      if (message == null) {
        controller.close();
        responsePort.close();
      } else if (message is String) {
        controller.add(message);
      }
    });

    return controller.stream;
  }
}

Implementierung der UI-Komponente (lib/views/chat_screen.dart)

// lib/views/chat_screen.dart
import 'package:flutter/material.dart';
import '../services/llama_service.dart';

class OnDeviceChatScreen extends StatefulWidget {
  const OnDeviceChatScreen({super.key});

  @override
  State<OnDeviceChatScreen> createState() => _OnDeviceChatScreenState();
}

class _OnDeviceChatScreenState extends State<OnDeviceChatScreen> {
  final OnDeviceLlamaService _llamaService = OnDeviceLlamaService();
  final TextEditingController _controller = TextEditingController();
  final List<String> _messages = [];
  String _currentStreamResponse = '';
  bool _isGenerating = false;

  @override
  void initState() {
    super.initState();
    _llamaService.initialize();
  }

  void _sendMessage() {
    final text = _controller.text.trim();
    if (text.isEmpty || _isGenerating) return;

    setState(() {
      _messages.add('User: $text');
      _controller.clear();
      _isGenerating = true;
      _currentStreamResponse = '';
    });

    // 백그라운드 Isolate로부터 스트리밍 토큰 수신
    _llamaService.generateResponse(text).listen(
      (token) {
        setState(() {
          _currentStreamResponse += token;
        });
      },
      onDone: () {
        setState(() {
          _messages.add('Llama 3.2: $_currentStreamResponse');
          _currentStreamResponse = '';
          _isGenerating = false;
        });
      },
    );
  }

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: const Text('ExecuTorch Llama 3.2 (온디바이스 0원)'),
        backgroundColor: Colors.indigo,
      ),
      body: Column(
        children: [
          Expanded(
            child: ListView.builder(
              padding: const EdgeInsets.all(16),
              itemCount: _messages.length + (_isGenerating ? 1 : 0),
              itemBuilder: (context, index) {
                if (index < _messages.length) {
                  return Padding(
                    padding: const EdgeInsets.symmetric(vertical: 4),
                    child: Text(_messages[index], style: const TextStyle(fontSize: 16)),
                  );
                } else {
                  return Text('Llama 3.2: $_currentStreamResponse ▌',
                      style: const TextStyle(fontSize: 16, color: Colors.indigo));
                }
              },
            ),
          ),
          Container(
            padding: const EdgeInsets.all(8),
            color: Colors.grey[200],
            child: Row(
              children: [
                Expanded(
                  child: TextField(
                    controller: _controller,
                    decoration: const InputDecoration(hintText: '질문을 입력하세요...'),
                  ),
                ),
                IconButton(
                  icon: const Icon(Icons.send, color: Colors.indigo),
                  onPressed: _sendMessage,
                ),
              ],
            ),
          ),
        ],
      ),
    );
  }
}

Gemäß den Kompatibilitätsstandards für Android 15 mit 16 KB Speicherseiten, die im Leitfaden zur Unterstützung von 16 KB Page-Size in Flutter behandelt wurden, ist eine 16-KB-Alignment-Erstellung auch für die C++-Native-Shared-Library (libexecutorch.so) zwingend erforderlich.

4. Reale Benchmarks und Ressourcenvergleich

Dies sind die Ergebnisse eines Benchmarks mit 1.000 aufeinanderfolgenden Inferenzläufen des Llama 3.2 1B INT4-Modells auf einem Snapdragon 8 Gen 3 Gerät (Galaxy S24 Ultra).

5. Enterprise-Best-Practices und Checkliste

Häufig gestellte Fragen (FAQ)

Läuft das Llama 3.2 3B-Modell auf Mobilgeräten reibungslos?

Auf Flaggschiff-Geräten mit 8 GB RAM oder mehr (iPhone 15 Pro, Galaxy S24) läuft das Llama 3.2 3B 4-Bit-Modell (ca. 2.1 GB) mit einer Geschwindigkeit von 15 bis 18 Token pro Sekunde reibungslos. Wenn Sie jedoch Geräte der Einsteiger- oder Mittelklasse berücksichtigen möchten, wird die Verwendung des 1B-Modells empfohlen.

Vergrößert die C++ ExecuTorch-Bibliothek die App-Binärdatei nicht zu stark?

Die ExecuTorch C++-Core-Runtime selbst ist mit etwa 50 KB bis 150 KB sehr klein. Anstatt jedoch die .pte-Modelldatei (1.2 GB) direkt in die App-APK/IPA einzubauen, wird empfohlen, diese beim ersten Start der App über ein CDN oder Cloudflare R2 herunterzuladen und im lokalen Speicher abzulegen.

Wird auf iOS und Android dieselbe .pte-Datei verwendet?

Eine .pte-Datei, die mit dem Standard-XNNPACK-CPU-Backend erstellt wurde, wird von iOS und Android zu 100% identisch genutzt. Speziell optimierte Modelle mit Apple CoreML- oder Qualcomm Hexagon NPU-Beschleunigung müssen jedoch für das jeweilige Plattform-Backend-Gerät separat exportiert werden.

Wie ist die Leistung bei der Verarbeitung anderer Sprachen wie Koreanisch?

Die Llama 3.2 1B/3B-Basismodelle sind primär auf Englisch fokussiert. Nach einem LoRA-Feintuning (Fine-Tuning) mit koreanischen oder anderen sprachspezifischen Datensätzen und anschließendem 4-Bit-Quantisierungsexport über ExecuTorch liefern sie jedoch auch in der On-Device-Umgebung hervorragende Zusammenfassungs- und Dialogleistungen.