Serverless AI Function Calling und Chatbots mit Cloudflare Workers AI und Llama 3.3/Qwen

Moderne KI-Anwendungen nutzen Function Calling (Tool Calling), um externe APIs und Datenbanken anzusprechen und als autonome Agenten zu agieren.

Cloudflare Workers AI bietet native Unterstützung für Function Calling mit Llama 3.3 70B und Qwen 2.5 72B direkt an der Edge.

In diesem Artikel lernen Sie, wie Sie Tools mit JSON Schema definieren und Agenten-Loops in TypeScript aufbauen.

Wichtige Erkenntnisse

• Serverless Edge Inferenz: Llama 3.3 & Qwen 2.5 per env.AI.run() an Edge PoPs.
• Natives Tool Calling: Das LLM gibt aufzurufe Funktionen und strukturierte JSON-Argumente zurück.
• Kosteneffizienz: Bis zu 80% Ersparnis gegenüber proprietären Cloud-APIs.

TypeScript-Beispiel

export interface Env {
  AI: Ai;
  DB: D1Database;
}

const tools = [
  {
    name: "get_weather",
    description: "Wetter für einen Ort abfragen.",
    parameters: {
      type: "object",
      properties: {
        location: { type: "string" },
      },
      required: ["location"],
    },
  },
];

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const { prompt } = await request.json<{ prompt: string }>();
    const messages = [{ role: "user", content: prompt }];

    let response = await env.AI.run(
      "@cf/meta/llama-3.3-70b-instruct-fp8-fast",
      { messages, tools }
    );

    if (response.tool_calls?.length > 0) {
      for (const toolCall of response.tool_calls) {
        const toolResult = { location: toolCall.arguments.location, temp: "22C" };
        messages.push({ role: "assistant", tool_calls: [toolCall] });
        messages.push({ role: "tool", name: toolCall.name, content: JSON.stringify(toolResult) });
      }

      response = await env.AI.run(
        "@cf/meta/llama-3.3-70b-instruct-fp8-fast",
        { messages }
      );
    }

    return Response.json({ answer: response.response });
  },
};

Fazit

Cloudflare Workers AI ermöglicht extrem schnelle, kostengünstige und wartungsfreie KI-Agenten an der Edge.