🤘BenGER
🇩🇪

Architektur

BenGER verwendet eine moderne Microservice-Architektur, die aus mehreren unabhängigen, aber zusammenarbeitenden Komponenten besteht.

Übersicht

┌─────────────┐     ┌─────────────┐     ┌─────────────┐
│   Frontend  │     │ API Gateway │     │   Workers   │
│  (React/TS) │────▶│  (FastAPI)  │────▶│  (Celery)   │
└─────────────┘     └─────────────┘     └─────────────┘
       │                   │                   │
       │                   │                   │
       ▼                   ▼                   ▼
┌─────────────┐     ┌─────────────┐     ┌─────────────┐
│Label Studio │     │  PostgreSQL │     │    Redis    │
│ (Annotation)│     │ (Datenbank) │     │  (Broker)   │
└─────────────┘     └─────────────┘     └─────────────┘

Frontend

Das Frontend ist eine React-Single-Page-Application (SPA), die in TypeScript entwickelt wurde.

Technologien

  • React: JavaScript-Bibliothek für Benutzeroberflächen
  • TypeScript: Typsicheres JavaScript
  • Next.js: React-Framework für Produktionsanwendungen
  • Tailwind CSS: Utility-First CSS-Framework
  • Headless UI: Zugängliche UI-Komponenten

Verzeichnisstruktur

services/frontend/
├── src/
│   ├── app/             # Next.js App Router
│   ├── components/      # React-Komponenten
│   ├── contexts/        # React-Kontexte
│   ├── lib/             # Utility-Funktionen
│   ├── types/           # TypeScript-Typdeklarationen
│   ├── styles/          # CSS und Styling
│   └── images/          # Statische Bilder und Assets
└── package.json         # Abhängigkeiten und Skripte

API Gateway

Das API Gateway dient als zentraler Einstiegspunkt für alle Client-Anfragen und verwaltet die Authentifizierung.

Technologien

  • FastAPI: Hochleistungs-Web-Framework für Python
  • Pydantic: Datenvalidierung und -modellierung
  • SQLAlchemy: ORM für Datenbankinteraktionen
  • JWT: JSON Web Tokens für Authentifizierung
  • HTTPX: Asynchrone HTTP-Client-Bibliothek

Zusätzliche Services

Das Projekt umfasst weitere spezialisierte Services:

  • Migrations: Datenbankmigrationen und Schema-Management
  • Evaluation: Spezialisierte LLM-Evaluations-Services

Celery Worker

Die Worker führen rechenintensive und asynchrone Aufgaben aus.

Technologien

  • Celery: Aufgabenverteilung und -ausführung
  • Redis: Message-Broker
  • Transformers: Hugging Face Transformer-Bibliothek
  • PyTorch: Machine Learning Framework
  • Scikit-learn: Machine Learning Bibliothek
  • LLMs: Integration verschiedener Sprachmodelle

Label Studio Integration

BenGER integriert Label Studio für professionelle Annotationsaufgaben mit flexibler Oberfläche für verschiedene Annotationstypen.

Datenbanken

PostgreSQL

Speichert alle strukturierten Daten:

  • Benutzer und Rollen
  • Tasks und Konfigurationen
  • Dokumente und Metadaten
  • Annotationen und Evaluationen

Redis

Verwendet für:

  • Message Broker
  • Caching
  • Rate Limiting
  • Sitzungsverwaltung

Deployment

Docker und Docker Compose

Für lokale Entwicklung mit infra/docker-compose.yml

Kubernetes und Helm

Für Produktions- und Staging-Umgebungen mit Helm Charts in infra/helm/