Computer Vision ersetzt Strichcodes
Cloudflight entwickelte, validierte, implementierte und hostete die Softwaresysteme für die optische Gepäckverfolgung und -identifizierung für die Fraport AG und nutzte dabei die große Vielfalt an internen Experten. Wir passten modernste maschinelle Lernansätze aus anderen Bereichen der Identifikationsproblematik, z.B. der Gesichtserkennung, an die Anforderungen der Gepäckidentifikation an.
Alessio Montuoro Computer Vision Cloudflight
Challenge
Tracking baggage by conventional means (such as bar codes etc.) is both costly and error prone, e.g. bar codes can be lost. Furthermore, a continuous tracking of baggage within large scale installations requires a large number of tracking sensors – which are expensive to purchase and maintain.
Idee
Durch die Erweiterung bestehender Tracking-Lösungen und kamerabasierter Systeme wird die allgemeine Tracking-Genauigkeit verbessert und neue Anwendungsfälle können abgedeckt werden. Kamerasysteme, die an Schlüsselpositionen des logistischen Gepäcktransportprozesses montiert sind (z.B. an Check-in-Schaltern, vor und nach Sicherheitskontrollen, an Flugzeugladerampen, …), können Gepäck sowohl erkennen als auch verfolgen und somit einen vollständigen Prüfpfad sicherstellen. Dies kann in einer Vielzahl von Anwendungsfällen angewendet werden:
- Sicherheit: Wurde das Gepäck, das in das Flugzeug verladen wird, an der Sicherheitskontrolle abgefertigt?
- Verloren und gefunden: Hat das aufgegebene Gepäck es in das Flugzeug geschafft?
- Haftung: Wo ging ein Gepäckstück verloren und von wem? Auf dem Flughafen? Durch die Fluggesellschaft?
- Diebstahlprävention: Ist ein aus einem Flugzeug ausgeladenes Gepäckstück in der Gepäckausgabe angekommen? Wenn ja, wie lange war es dort?
Lösung
Anstatt ein großes zentralisiertes System zu entwickeln, teilte Cloudflight die Lösung in zwei Hauptteile auf:
- Eine kleine und kostengünstige Kamera und Bildverarbeitungsdienste
- und einen zentralisierten Identifikations- und Verfolgungsdienst
Mit dieser Architektur verarbeiten wir Bilder nahezu in Echtzeit. Das bedeutet, dass das Video nicht über das Netzwerk gestreamt werden muss, was zu einer geringen Netzwerklast beiträgt. Auch ein zentraler Verarbeitungsserver ist nicht erforderlich (kein Single Point of Failure).
Bildverarbeitungsdienst Cloudflight hat eine mehrstufige Echtzeit-Bildverarbeitungspipeline erstellt, die aus den folgenden Schritten besteht: Objekterkennung: Erkennung, Lokalisierung und Klassifizierung von Gepäckstücken auf dem Videostrom
- Welche Objekte sind sichtbar?
- Wo befinden sich diese Objekte auf dem Video?
- Welche Art von Objekten sind sichtbar? Personen? Gepäck? Frachtcontainer?
Instanzsegmentierung: Welche Teile des Bildes gehören genau zu welchem Objekt?
- Mehrere, sich möglicherweise berührende und überlappende Gepäckstücke?
- Personen, die Gepäckstücke handhaben und verdecken?
Objekt-Fingerprinting: Finden eines numerischen Merkmals und Darstellung der Charakteristika des erkannten Gepäcks
- Welche Merkmale unterscheiden das Gepäckstück am meisten von anderen?
- Es gibt Millionen von schwarzen Trolleys, aber vielleicht hat nur einer ein blaues Cloudflight-Logo drauf?
Identifizierungs- und Verfolgungsdienst Der zentrale Server empfängt die Fingerabdrücke der Objekte von den Bildverarbeitungsdiensten und speichert sie in einer zentralen Datenbank. Durch den Vergleich dieser Fingerabdrücke – ein schneller und einfacher Vorgang – kann der Server die aktuelle Erkennung von Gepäckstücken leicht mit der früheren Erkennung vergleichen und so einen vollständigen Prüfpfad erstellen.
Vision
- Müssen Sie einzelne Objekte in Ihrer Produktionsanlage verfolgen?
- Würde Ihr Unternehmen von der Echtzeit-Verfolgung von Anlagen profitieren?
- Brauchen Sie automatisierte Warnmeldungen, wenn bestimmte Objekte virtuelle Geo-Zäune verlassen oder betreten?
Alessio Montuoro Computer Vision Cloudflight
