«Wir wollen der One-Stop-Shop für KI-Risiken werden.»

Wenn KI-Systeme versagen oder diskriminierende Entscheidungen treffen, steht mehr auf dem Spiel als nur technisches Versagen. Julian Riebartsch und sein Team bei Calvin Risk haben es sich zur Aufgabe gemacht, genau diese Risiken zu managen – bevor sie entstehen.

Was hat dich dazu inspiriert, Calvin Risk zu gründen?

Ich habe zuvor im Venture-Capital-Bereich gearbeitet und immer wieder gesehen, dass Softwarefirmen mit integrierten KI-Systemen Schwierigkeiten hatten, diese bei grossen Unternehmen wirklich in Produktion zu bringen. Besonders im Banken- und Versicherungssektor gab es eine Hürde, die Systeme nicht nur zu testen, sondern tatsächlich live einzusetzen. Die Angst vor Risiken und die Unsicherheit über die Qualität der Modelle waren enorm. Das hat mich dazu inspiriert, Calvin Risk zu gründen – eine Plattform, die AI-Governance und Risiko-Assessment vereint.

Was genau macht Calvin Risk?

Calvin Risk digitalisiert das AI-Governance- und Risikomanagement. Wir helfen Unternehmen, vor allem Banken und Versicherungen, ihre KI-Systeme zu testen und sicher zu implementieren. Dabei decken wir zwei Hauptbereiche ab: Erstens die AI-Governance, also das Risiko- und Lifecycle-Management von KI-Systemen. Zweitens das Testing zur Qualitätssicherung – hier prüfen wir die Sicherheit, Robustheit, Fairness und Performance der Modelle. Unser Ziel ist es, Unternehmen die Sicherheit zu geben, dass ihre KI-Systeme so risikolos wie möglich sind.

Was unterscheidet euch von anderen Anbietern auf dem Markt?

Unser Alleinstellungsmerkmal ist die Kombination aus AI-Governance und Testing. Es gibt Anbieter, die sich auf eines der beiden spezialisieren, aber die Integration beider Bereiche ist der Schlüssel zu umfassender Sicherheit. Wir bieten nicht nur unabhängige Validierung, sondern auch eine Methodik zur Risikoquantifizierung. Das bedeutet, dass wir die Wahrscheinlichkeit und das potenzielle Schadensausmass eines KI-Ausfalls berechnen können – ähnlich wie es in der Versicherungsbranche gemacht wird.

Wie relevant ist KI-Validierung heute und in Zukunft?

KI-Validierung ist essenziell, weil es immer mehr Incidents gibt – also Fälle, in denen KI-Systeme fehlerhaft arbeiten. Ein bekanntes Beispiel ist der Chatbot von Air Canada, der Kunden falsche Rabatte angeboten hat und dadurch zu einem rechtlichen Problem wurde. Unternehmen müssen sicherstellen, dass ihre KI-Modelle sicher und fair agieren. In Zukunft wird das noch wichtiger, da KI-Systeme immer komplexer und weitreichender werden.

Welche Herausforderungen gab es bei der Entwicklung der Plattform?

Die grösste Herausforderung war herauszufinden, wie AI-Governance in Unternehmen tatsächlich gelebt wird. Als wir 2022 gestartet sind, gab es kaum Prozesse und Verantwortlichkeiten in diesem Bereich. Inzwischen hat sich das geändert, aber die Firmen sind auf unterschiedlichen Reifegraden. Unsere Plattform musste flexibel genug sein, um mit diesen Reifegraden mitzuwachsen. Eine weitere Herausforderung war, Vertrauen zu gewinnen – gerade bei Banken und Versicherungen, die sehr hohe Sicherheitsanforderungen haben.

Wie unterstützt ihr Unternehmen bei der Einhaltung von Regulierungen wie dem EU AI Act?

Wir helfen Unternehmen, ihre KI-Use-Cases gemäss den Anforderungen des EU AI Acts zu klassifizieren und sicherzustellen, dass sie alle regulatorischen Vorgaben erfüllen. Das reicht von Transparenzanforderungen bis hin zu robusten Sicherheitsprüfungen. Unser System zeigt klar auf, welche Anforderungen erfüllt werden müssen und unterstützt aktiv bei der Umsetzung.

Welche langfristigen Trends siehst du im Bereich AI-Risikomanagement?

Ein grosser Trend ist die AI Risk Literacy – also das Verständnis der Mitarbeiter für KI-Risiken. Viele Unternehmen überlassen das Risikomanagement intern Teams, die jedoch oft nicht ausreichend geschult sind. Zudem sehe ich eine Entwicklung in Richtung AI-Versicherungen, um Restrisiken zu managen. Hier könnten wir in Zukunft als Datenprovider eine wichtige Rolle spielen.

Wo siehst du Calvin Risk in fünf Jahren?

Wir wollen der One-Stop-Shop für AI-Risikomanagement werden – von der Risikoidentifikation über die Risikominderung bis hin zum Risikotransfer. Unser Ziel ist es, dass Unternehmen durch uns nicht nur sicherere KI-Systeme entwickeln, sondern auch effizientere Prozesse etablieren. Wir wollen Unternehmen helfen, KI schneller und sicherer einzusetzen und so Innovationsbarrieren zu überwinden.

Das Team von Calvin Risk, Foto: Calvin Risk

Welche Vision und Mission verfolgt ihr mit Calvin Risk?
Unsere Mission ist klar: Wir wollen KI sicher und effizient einsetzbar machen. Dabei sehen wir uns als Enabler für Unternehmen, die KI-Technologie nutzen wollen, ohne unbekannte Risiken einzugehen. Unsere Vision ist es, der führende Anbieter im Bereich AI-Risikomanagement zu werden und Unternehmen weltweit zu helfen, das volle Potenzial von KI auszuschöpfen.

Was würdest du anderen Gründern raten, die im Bereich KI oder Risikomanagement starten wollen?

Mein wichtigster Rat: Einfach ausprobieren und keine Angst vor Rückschlägen haben. Man wird auf dem Weg zur Marktreife viel negatives Feedback bekommen, aber davon darf man sich nicht entmutigen lassen. Es braucht Durchhaltevermögen und den Mut, Dinge immer wieder zu hinterfragen und zu verbessern.