Testverfahren
Der neue ColorFoto-Kameratest - Testversion 1.6
ColorFoto hat zusammen mit Image Engineering, seit 15 Jahren unser Testlabor, den Kameratest überarbeitet. Ab sofort bestimmen wir die Bildqualität auch bei höheren Empfindlichkeiten, prüfen das Potential der RAW-Bilder und starten die erste Auflösung/Kontrast-Messung in farbigen Strukturen.
Ein Fotograf, der die Bildqualität einer Kamera beurteilen will, wird mit dem Testkandidaten verschiedene Bilder aufnehmen und dann aufgrund der Bilder ein Urteil fällen. Doch die Ansprüche an den Test für eine Fotofachzeitschrift sind anders. Die Testergebnisse sollen objektiv sein und jede Kamera soll sich einem identischem Test stellen, in einem Labor, in dem kontrollierte und reproduzierbare Bedingungen herrschen. Dies gilt sowohl für die Aufnahmen, die erstellt werden, als auch für Umgebungsbedingungen wie Temperatur oder Kamerahalterung während der Aufnahme.
Die Beurteilung der Bilder erfolgt im Testlabor nicht durch einen menschlichen Beobachter, dies erledigt eine Software. Die Erfahrung zeigt, dass die Beurteilung durch Menschen schwanken kann und stark vom Testumfeld abhängt. Eine mäßige Kamera wirkt im Vergleich zu schlechten Kameras anders als im Vergleich zu Spitzenmodellen.
Schwarze Kiste
Da viele technische Details einer Kamera dem Tester nicht bekannt sind und dieser auch keinen Zugriff auf mehr Daten hat als der spätere Anwender, sind die Tests so konzipiert, dass die Kamera als "Black-Box" (engl.: schwarze Kiste) betrachtet wird. Diese schwarze Kiste kann von einer Vorlage ein Bild erstellen. Wenn man diese Vorlage genau kennt, kann man durch den Vergleich von Vorlage und Bild bestimmen, was in der schwarzen Kiste passiert ist. Diese auch von IE genutzten Verfahren sind Semi-Referenz-Methoden.
Eine Voll-Referenz-Methode vergleicht ein ideales Bild mit einem veränderten Bild. Dies wird zum Beispiel benutzt, um Kompressionsalgorithmen zu prüfen: Man kennt das unkomprimierte Bild und vergleicht es mit dem geschrumpften Pendant. Eine Null-Referenz-Methode bestimmt die Bildqualität ohne Kenntnis des Inhalts, hat also den Anspruch, ohne Referenz auszukommen. Diese Methoden funktionieren meist nur sehr bedingt oder brauchen eine sehr große Anzahl von Testbildern, beides spricht gegen die Verwendung als Verfahren für objektive und effektive Tests. Alle verwendeten Verfahren basieren auf allgemein anerkannten Standards, meist durch die ISO (International Standardization Organisation) publiziert.
Das Testlabor Image Engineering arbeitet aktiv in diesen Gremien mit, um immer aktuell zu sein und neueste Entwicklungen zu berücksichtigen. Obendrein ist die Entwicklungsarbeit von Image Engineering in Feldern, in denen es keine Standards gab oder diese nicht den modernen Kameras gerecht wurden, in neue oder überarbeitete Standards der ISO eingeflossen.
Messumfang Systemkameras
Grundsätzlich misst IE nun bei allen Empfindlichkeiten die drei wichtigsten Komponenten Rauschen, Auflösung sowie Texturwiedergabe und bewertet neben den JPEG-Daten auch die RAW-Ergebnisse. So bekommt man einen guten Eindruck, wie die Kamera abgestimmt ist und wie sich die Bildqualität bei geringem Licht verhält.
Bei den modernen Systemkameras sieht man, dass sich erst bei mittlerer bis hoher Empfindlichkeit die Spreu vom Weizen trennt, es also wirklich signifikante Unterschiede in der Bildqualität gibt. JPEG steht für den vom Hersteller definierten Abstimmungskompromiss. Diese notwendige und sehr sinnvolle Signalverabeitung in der Kamera, um etwa das Rauschen zu senken, hat aber immer auch Nebenwirkungen. So zerstören zu aggressiv eingestellte Rauschfilter häufig die Feinzeichnung in kontrastarmen Strukturen. Die RAW-Messung zeigt, welches darüber hinaus gehende Potential in den Daten steckt. Dies gilt insbesondere für die Auflösung. Um den Einfluss des Objektivs möglichst gering zu halten, prüfen wir die Auflösung mit dem besten verfügbaren Objektiv und die Autofokusgeschwindigkeit mit einem schnellen Standardzoom.
Messumfang Kompaktkameras
Bei Kompaktkameras messen wir ISO 100, 400, 800, 1.600 und 3.200 im Weitwinkel (W) sowie ISO 100 in der Telestellung (T), aber keine RAW-Werte. Da hier die Objektive nicht wechselbar sind, berücksichtigen wir bewusst deren Einfluss auf das Bildergebnis. Gerade in der Telestellung lässt bei vielen Kompakten die Abbildungsqualität deutlich nach: Die offene Blende 5,6 vieler Kompaktkamera-Teles führt zu einer Beugung, die die Auflösung auch eines idealen Objektivs deutlich unter die winzige Pixelgröße der typischen Kompaktkamerasensoren senkt. Wenn ein Hersteller den Kontrast im Tele anhebt, um die sinkende Auflösung zu kaschieren, führt dies zu steigendem Rauschen im Bild. Deshalb messen wir nun die Telestellung komplett wie eine ISO-Stufe.
Darüber hinaus bestimmt IE zahlreiche weitere "Objektivparameter": den Randabfall der Auflösung, die wir in bei den Kompakten in der Mitte (M) und in den Ecken (E) angeben, Verzeichnung (krumme Linien am Bildrand), Vignettierung (dunkle Bildecken) und den Farbquerfehler (bunte Säume an Kanten). Detaillierte Informationen zu diesen Punkten finden Sie in den Erläuterungen des Objektivtestverfahrens.
Rauschen
Laut Definition ist Rauschen "die statistisch verteilte Schwankung einer Messgröße, die durch Zufallsprozesse entsteht". Wenn man sich wiederum jedes Pixel als ein Messin-strument der auftreffenden Lichtstärke vorstellt, die diese in Digitalwerten wiedergibt, kann man sagen: Rauschen ist das Schwanken des Digitalwerts eines jeden Pixels. Da dies auch von der Stärke des auftreffenden Lichts abhängig ist, wird eine Vorlage verwendet, die zwanzig Felder mit unterschiedlicher Leuchtdichte aufweist. Jedes Feld ist in sich homogen, daher kann darauf das Rauschen gemessen werden: Jedes Pixel, welches das Feld zeigt, wird gleich stark beleuchtet, daher sollten diese auch identische Digitalwerte liefern. Je stärker diese vom Mittelwert abweichen, desto stärker das Rauschen.
In der Messtechnik ist es üblich, diese Stärke als Verhältnis zur Signalstärke anzugeben (Signal-Rausch-Verhältnis, SNR). Da das Rauschen in modernen Kameras seine Charakteristik und seine Erscheinungsform durch die Signalverarbeitung stark verändern kann, eignet sich das SNR nicht zur Beurteilung des wahrgenommenen Rauschens. Dazu wird das "Visual Noise" (VN, engl. etwa: Visuelles Rauschen) bestimmt. Das VN berücksichtigt insbesondere die Betrachtungsbedingungen, da es einen großen Unterschied für die Rauschwahrnehmung macht, ob man das Bild mit einer 100%-Ansicht am Monitor betrachtet oder ob man einen kleinen Ausdruck aus mittlerer Entfernung beurteilt.
ColorFoto benutzt zur Berechnung des VN die Annahme, dass das Digitalbild perfekt auf ein 40 cm hohes Bild ausgegeben wurde (Breite ergibt sich aus dem Seitenverhältnis) und der Abstand von Bild und Betrachter der Diagonale des Bilds entspricht (ca. 72 cm).
Dynamikumfang
Der Kontrast zwischen dem hellsten und dem dunkelsten Feld der verwendeten Vorlage beträgt 10000:1 (13 Blendenstufen), ist also groß genug, um auch moderne Kameras zu fordern, und eignet sich daher zur Bestimmung der Eingangsdynamik der Kamera. Dies entspricht dem Kontrast zwischen der geringsten und der höchsten Leuchtdichte in einer Szene, die die Kamera wiedergeben kann.
Die Wiedergabe in den hellen Bildbereichen wird durch die Sättigung limitiert. Ist der Sensor an der Stelle gesättigt, führt mehr Licht nicht mehr zu einem höheren Digitalwert. Im dunklen Bildbereich wird die Wiedergabe durch das Rauschen begrenzt. Ein SNR von eins würde bedeuten, dass Signal und Rauschen gleich groß sind - es kann nicht mehr zwischen diesen Komponenten unterschieden werden. Da diese Grenze aus der Messtechnik stammt und für Anwendungen im Fotobereich zu hart und schwerer bestimmbar ist, verwendet ColorFoto ein SNR von drei als untere Grenze in der Berechnung des Dynamikumfangs.
Auflösung
Die Hersteller geben die Anzahl der Pixel des Sensors oft als Auflösung der Kamera an. Dieser "Megapixel"-Wert gibt allerdings nur an, mittels wievieler Pixel das aufgezeichnete Bild dargestellt wird. Es gibt nicht an, wie gut die Kamera feine Objekte in der Vorlage auflösen kann. Da der Sensor nur ein Teil des Systems ist - zusammen mit Optik und Signalverarbeitung - kann es gut sein, dass eine Kamera mit weniger Megapixel eine höhere Auflösung erreicht als die Konkurrenz mit mehr Pixeln.
Für den Test von Kameras mit Wechseloptiken verwendet Image Engineering Referenzobjektive, meist Festbrennweiten mittlerer Brennweite, die in Tests Bestergebnisse geliefert haben. Da der Autofokus nicht immer hundertprozentig genau arbeitet, müssen die Tester viele Aufnahmen erstellen, um dann die Beste zu finden. Dazu ist der Live-View eine Hilfe, dennoch bleibt die Auflösungsmessung eine aufwendige Prozedur.
Die Auflösungsmessung erfolgt mittels Siemenssternen. Die Struktur in der Vorlage wird von außen nach innen immer feiner. Für jeden Radius kann bestimmt werden, wie gut die Kamera die Struktur noch wiedergeben konnte. Die Vorlage hat immer eine Modulation von 1, die Modulation im Bild wird bei der Analyse bestimmt. Sinkt der Kontrast im Bild auf zehn Prozent des Ausgangskontrastes, ist die Grenzfrequenz erreicht. Noch feinere Strukturen mit entsprechend geringerem Kontrast gelten dann als nicht mehr aufgelöst. Wie fein die Struktur ist, wird in Linienpaare/Bildhöhe angegeben. 1000 LP/BH bedeutet also, dass die Kamera 1000 schwarze und weiße Linien in der Bildhöhe gerade wiedergeben kann, unabhängig von den zur Verfügung stehenden Pixeln. Um den Einfluss der internen Nachschärfung möglichst gering zu halten, sind die Kanten der schwarzen und weißen Segmente im Siemensstern nicht hart, sondern sinusförmig moduliert.
Texturwiedergabe/Kurtosis
Da Rauschen einen sehr störenden Einfluss auf das Bild hat, werden in der Signalverarbeitung komplexe Algorithmen eingesetzt, um das Rauschen zu reduzieren. Diese Algorithmen arbeiten jedoch bei stärkerem Rauschen nicht ohne negativen Einfluss auf das Bild. Feine, niedrig kontrastige Strukturen gehen im Bild verloren, diese Bildbereiche wirken verwaschen. Da die Auflösungsmessung diese Eigenschaft aufgrund anderer Anforderungen an die Vorlage nur bedingt wiedergeben kann, hat IE spezielle Tests entwickelt, um diese unerwünschten Nebenwirkungen zu erfassen. Eine bereits etablierte Methode ist die Bestimmung der statistischen Größe "Kurtosis". Diese beschreibt, wieweit eine Kamera bei der Reproduktion von weißem Rauschen die Verteilung in ihrer grundsätzlichen Form ändert. Nur eine adaptive, nicht-lineare Verarbeitung im Signalprozessor kann eine solche Veränderung erzeugen: Das heißt: Wenn ein Rauschfilter feine Strukturen mit geringem Kontrast löscht, aber hoch kontrastige erhält, dann führt dies zu einem guten Auflösungswert und geringem Rauschen, fällt jedoch in der Kurtosismessung auf. Das Bild wirkt dann oft in zahlreichen Details matschig.
Texturwiedergabe/Dead Leaves (DL)
Da nun aber gerade Kompaktkameras graue und farbige Strukturen sehr unterschiedlich behandeln, hat IE ein weiteres Verfahren entwickelt, das die Nebenwirkungen der Signalverarbeitung in farbigen Strukturen erfasst. Dieses basiert auf einem Diskussionsvorschlag eines Arbeitsgremiums für Tests an Mobiltelefonkameras und hat sich in den aufwendigen internen Tests als robust und sehr gut geeignet bewiesen, um den beobachteten Effekt des Texturverlusts zu beschreiben.
Anstatt einer perfekten Vorlage wie beim Siemensstern, wird ein Testmuster generiert welches aus Tausenden übereinander gestapelten Kreisen besteht, die sich im Radius und in ihrer Farbe unterscheiden. Dieses "Dead Leaves" (DL) (engl.: tote Blätter) genannte Muster lässt sich mathematisch genau beschreiben. So kann man durch den Vergleich des Betragsspektrums von Vorlage und Bild die Übertragungsfunktion bestimmen. Ähnlich einer Auflösungsmessung kann man zu jeder Ortsfrequenz einen Wert zwischen 0% (keine Wiedergabe) und 100% (perfekte Wiedergabe) bestimmen.
Sehr spannend ist dabei, dass auf einer farbigen Vorlage getestet wird, was die Signalverarbeitung ganz anders fordert und eher dem Verhalten in natürlicher Umgebung entspricht. Als besonders aussagekräftig hat sich in Tests die Angabe der Frequenz erwiesen, bei der die Übertragung auf 50% abgefallen ist. Je geringer dieser Wert, desto stärker der negative Einfluss der Rauschreduktion. Interessant ist ferner, wie sich dieser Wert mit stärkerem Rauschen ändert. Um dies zu erfassen, wird die Kamera bei allen ISO-Empfindlichkeitsstufen getestet.
Farbe
Ob eine Kamera "schöne Farben" liefert, ist eine höchst subjektive Entscheidung, die sich messtechnisch nicht fassen lässt. Was sich aber messen lässt, ist die Güte der Farb-reproduktion. Eine geringe Abweichung ist durchaus gewünscht, um aus korrekten schöne Farben zu machen. Eine große Abweichung zeigt aber Probleme in der Farbwiedergabe auf. Da die Hersteller je nach gewählter ISO-Stufe und dem damit verbundenen Rauschanstieg die interne Datenverarbeitung umstellen, prüft das Testlabor die Farbwiedergabe für verschiedene Empfindlichkeiten. So kann man beobachten, ob zum Beispiel die Sättigung deutlich runter geht und sich der Bildeindruck mit steigender Empfindlichkeit, abgesehen vom Rauschen, ändert.
RAW
Alle modernen SLRs können neben einem voll verarbeiteten JPEG auch RAW-Aufnahmen speichern. Hierbei werden die Sensordaten zwar meist aufbereitet, dann aber nicht komplett bis zum fertigen Bild verarbeitet, sondern so gespeichert. Mit Ausnahme von Sigmas Foveon-Sensor erfassen alle CCD und CMOS je Pixel nur eine Farbe, die fehlenden Farbinformationen rechnet dann die Firmware dazu. In RAW-Bildern unterbleibt grundsätzlich dieser Schritt, da er die weitere Verarbeitung deutlich einschränkt. Um zu sehen, was in den RAW-Daten steckt, benutzt das Testlabor den offenen Konverter "dcraw". Mit dcraw erzeugen wir kein perfekt ausgearbeitetes Bild - das würde ewige Diskussionen geben, ob nicht eine etwas andere Einstellung besser wäre - sondern schätzen das Potential der RAW-Daten ab. Hierzu wählen wir eine geringe Rauschreduktion und erhalten entsprechend ein Maximum bei der Auflösung. Alternativen wie Lightroom unterstützen zum Testzeitpunkt meist noch nicht die neuesten Kameras und ermöglichen wie die Konverter der Hersteller keinen so weitgehenden Zugriff auf die Originaldaten wie dcraw.
Zeiten
Neben der reinen Bildqualität bestimmt das Testlabor auch die Arbeitsgeschwindigkeit des Testkandidaten. Ein Sportfotograf z.B. wird Wert darauf legen, dass die Kamera schnell bereit ist und viele Bilder schnell und in Folge aufnehmen kann. Für die Zeitenmessung hat IE ein eigenes Testgerät entwickelt, das mittels Mikrocontroller LEDs in genau kontrollierten Abfolgen leuchten lässt. Die Aufnahme zeigt das leuchtende LED und so die Zeit.
A) Die Einschaltverzögerung ist die Zeit, welche die Kamera vom Anschalten bis zum Erstellen der ersten Aufnahme braucht.
B) Mit dem gleichen Aufbau bestimmt der Tester wieviele Bilder pro Sekunde aufgenommen werden können, jeweils für die beste JPEG-Qualität sowie RAW-Bilder. Da eine schnelle Kamera meist mehr Aufnahmen produziert, als sie auf die Speicherkarte schreiben kann, ist die Anzahl der Aufnahmen in schneller Folge limitiert. Image Engineering bestimmt die Anzahl der Aufnahmen, die erstellt werden können, ohne dass die Bildfolge langsamer wird.
C) Für das Einfangen des besonderen Moments ist es entscheidend, dass zwischen dem Druck auf den Auslöser und der tatsächlichen Aufnahme möglichst wenig Zeit vergeht. Hier ermittelt IE drei Zeiten: Die Zeit vom Druck auf den Auslöser bis zur Aufnahme, ohne dass die Kamera noch fokussieren muss (MF) sowie zwei Messungen, bei der die Kamera erst noch fokussieren muss. Dazu muss die Kamera von einem weit entfernten Objekt auf eine Distanz von 1 m fokussieren und auslösen, zunächst bei 30 und dann bei 1000 Lux. Auf diese Weise bestimmt IE den Einfluss der Umgebungshelligkeit auf die Autofokusgeschwindigkeit. In die AF-Messung geht so auch die Auslöseverzögerung ein.
