Ich war noch in der Forschung und Entwicklung tätig, als ein Kunde mit dieser speziellen Pharmakapsel zu uns kam. Sehr speziell. Ich werde nicht im Detail darauf eingehen, warum die Kapsel so speziell und schwierig war, aber fast zehn Jahre später ist dies immer noch die größte Herausforderung bei der Sichtprüfung, der wir je gegenüberstanden.
Die Magie brauchte anderthalb Jahre und über
30.000 Stunden Entwicklungszeit, bevor wir
für den ersten Kampf bereit waren. Das
Experiment: Mensch gegen Maschine.
Zuerst dachte ich, wir würden gefragt, ob Maschinen das Unsichtbare inspizieren können. Unsere Gehirne überschlugen sich beim Anblick der Kapsel und wir hatten Angst, als wäre die Kapsel ein Monster aus einem Fantasy-Buch. Dieses Monster hatte einige Lösungen vor uns besiegt, das war offensichtlich. Es reichte nicht aus, die Schwerter für dieses Monster zu schärfen, wir brauchten Magie, um es zu bekämpfen. Und Magie haben wir versucht. Die Magie brauchte anderthalb Jahre und über 30.000 Stunden Entwicklungszeit, bevor wir für den ersten Kampf bereit waren. Das Experiment: Mensch gegen Maschine.
DAS EXPERIMENT
Gemeinsam mit dem Kunden nahmen wir zwei Proben von jeder in der SOP aufgeführten Fehlerart, insgesamt 42 fehlerhafte Kapseln. Anschließend markierten wir die 42 Proben mit UV-Marker. Die UV-Markierung ist für Menschen und für die Maschinen mit LED-Licht (die wir verwendet haben) unsichtbar, so dass die UV-Markierungen uns geholfen haben, die Leistung der Maschine und der Menschen zu bewerten. Wir mischten die markierten Kapseln mit einer Charge von etwa 200.000 Kapseln und prüften die Kapseln auf der Maschine mit Magie, d. h. mit der neu entwickelten Software für diese Aufgabe. Während der Inspektion haben wir dafür gebetet, dass die Maschine das Monster besiegen möge, haben aber in keiner Weise in den Prozess eingegriffen. Nachdem die Maschine die Kapseln geprüft und sortiert hatte, versiegelten wir den Behälter mit den defekten Kapseln. Der Behälter wurde zur manuellen Inspektion direkt an das Team des Kunden zurückgegeben. Der Kunde wurde nicht über das Experiment informiert. Er wurde gebeten, die Mängel im Behälter gemäß seiner SOP zu finden.
Hier bereite ich mich auf das Experiment vor.
Die manuelle Inspektion wurde nicht über
das Experiment informiert, sie wurden lediglich
angewiesen, gemäß ihrer SOP Mängel im
Behälter zu finden.
DIE PANIK
Etwa einen Monat später erhielten wir das erste Feedback vom Projektteam des Kunden: „Bei der manuellen Inspektion wurden einige Mängel an dem Behälter festgestellt, den wir ihnen geschickt haben. Wir haben ihre Ergebnisse mit UV-Licht überprüft. Es gab nur 6 UV-markierte Mängel.“ Wir gerieten in Panik: „Wie war das? Sie haben nur sechs gefunden?“ Eine Erklärung dafür war, dass UV-markierte Mängel bei der manuellen Inspektion nicht gefunden werden konnten, weil unsere Maschine einen lausigen Job machte und markierte Mängel in Behälter für gute Kapseln sortierte. Die andere Erklärung war, dass die manuelle Inspektion, ganz offen gesagt, blind war. Wir waren besorgt, weil wir wissen, dass eine Person sehr genau sein kann, und wir erwarteten, dass sie mehr finden würden. Wussten Sie, dass Menschen schwarze Punkte bis zu einer Größe von 60 µm sehen können? Um besser zu verstehen, wie klein das ist: Ein Mensch kann eine Hautzelle, die die Größe von 30 µm hat, fast unterscheiden! Das Problem besteht darin, dass eine Person, die etwas sehr genau untersuchen möchte, sich konzentrieren muss, was einige Zeit in Anspruch nimmt, normalerweise einige Sekunden für jedes Produkt. Und wir waren besorgt, weil das manuelle Inspektionsteam keinen Zeitdruck hatte.
Verschiedene Arten von Mängeln werden manuell klassifiziert und stehen für die Testvalidierung durch eine automatisierte Inspektionsmaschine bereit.
Wir gerieten in Panik: „Wie war das? Bei der manuellen
Prüfung wurden nur sechs UV-markierte
Mängel festgestellt?“
IN DIE DUNKELHEIT
Der nächste Schritt bestand natürlich darin, zu überprüfen, wo sich die restlichen UV-markierten Mängel befanden. Wir begannen damit, den Inhalt des Behälters mit den Kapseln, die bei der manuellen Prüfung als gut eingestuft wurden, von der Maschine aber als fehlerhaft sortiert wurden, auf markante Mängel hin zu untersuchen. Da wir kleine UV-Markierungen finden mussten, arbeiteten wir in einem völlig dunklen Raum mit UV-Licht. Ich war dort. Das Monster schien im Dunkeln viel größer zu sein. Ich erinnere mich nur daran, dass ich immer wieder gesagt habe: Sie müssen hier sein, sie müssen hier sein! Und das waren sie. Wir haben 35 weitere UV-markierte Mängel gefunden! Das bedeutet, dass die Maschine 41 deutliche Fehler von 42 in die Charge eingebrachten Fehlern festgestellt hat. Die Maschine übersah lediglich einen Mangel und dieser wurde als geringfügig eingestuft. Die Magie funktionierte. Bei der manuellen Prüfung wurden hingegen nur 6 von 41 Mängeln im Behälter festgestellt und einige der kritischen Mängel übersehen! Die Panik war plötzlich auf der Seite des Kunden: „Erreichen wir mit der manuellen Prüfung überhaupt etwas?“
Die manuelle Prüfung erfolgte auf einer „halbautomatischen“ Maschine mit Förderband und zusätzlichem Licht. Die Inspektion und Sortierung erfolgte manuell.
Die Panik war plötzlich auf der
Seite des Kunden: „Erreichen wir
mit der manuellen
Prüfung überhaupt etwas?“
DAS VERTRAUEN
Zu zeigen, was eine manuelle Prüfung bei dieser Spezialkapsel leisten kann und was nicht, war nicht das Ziel des Experiments. Ziel war es, dem Kunden Vertrauen in automatische Inspektionsmaschinen zu geben, was uns gelungen ist. Allerdings können wir die Ergebnisse dieses Experiments nicht auf alle Produkte und Maschinen übertragen. Nicht alle Inspektionsmaschinen arbeiten mit der gleichen Zuverlässigkeit und wir haben noch nicht einmal über die falsche Rückweisung (gute Produkte, die als fehlerhaft aussortiert werden) gesprochen, die zu direkten Geschäftsverlusten führt.
Treffen Sie Investitionsentscheidungen auf
der Grundlage tatsächlicher Zahlen und nicht auf der Grundlage von Daten aus
Verkaufsbroschüren.
Auf diese Weise hilft ein kleiner Test dabei, komplexe Maschinen zu verstehen und Vertrauen in sie zu gewinnen. In diesem Whitepaper hat Sensum die Fallstricke bei Investitionen in Maschinen etwas ausführlicher beschrieben. Der Schwerpunkt des Artikels liegt auf Prüfmaschinen, es ist jedoch nicht schwierig, Parallelen zu anderen Investitionen zu ziehen. Mein Rat ist, Investitionsentscheidungen auf der Grundlage tatsächlicher Zahlen zu treffen und nicht auf Daten aus Verkaufsbroschüren.
Dieser Artikel wurde ursprünglich von Miha Možina, PhD, in einem seiner Artikel auf LinkedIn veröffentlicht:
– https://www.linkedin.com/pulse/experiment-human-vs-machine-miha-mozina-phd/