Forum Übersicht - RE: Foto- und Testzeitschriften: Testqualität - 4

ZITAT(matthiaspaul @ 2010-11-10, 5:46) Allen, die solchen Tests in Zeitschriften Relevanz einzuräumen geneigt sind, empfehle ich die Lektüre des folgenden photoscala-Artikels von Thomas Maschke:

http://www.photoscala.de/Artikel/Testsiegel-ohne-Testsieger[/quote]

... den schon opelgt oben verlinkt hatte.

QUOTE (Neonsquare @ 2010-11-10, 16:39) Stichwort "Transparenz von Fototests". Damit können wir hier und jetzt anfangen.[/quote]

Gerade einen erheblichen Mangel im FotoHits-Test zur SLT55 festgestellt: Die haben vergessen, den Link zum ausführlichen tabellarischen Testergebnis anzugeben:

http://www.fotohits.de/tests-technik/aktue...l/sony-slt-a55/

Beachtet man dies, ergibt sich ein Bild von einem bedeutend engagierteren Test als im Heft. Mann, die stellen sich ja selbst ein Bein. Beim Lesen des Heftes wundert man sich nur noch, warum die 60D eine deutlich bessere Bildqualitätsnote bekommt. Erst beim heranziehen der Kameratesttabelle

http://www.fotohits.de/tests-technik/aktue...-eos-60d-final/ wird deutlich, dass FotoHits da mehr Unterschiede sieht als die spärlichen Messdaten im Heft. Hier knockt sich ein Printmedium selber aus.

PROFIFOTO bringt evtl ganz ähnliche Tests wie FotoHits , beide aus dem GfW-Verlag

noch ein Beispiel: A550

Tester:

Stiftung Warentest, Chip Foto-Video, FoMag, FotoHits

Bei Stiftung Warentest ist die A550 die beste von vier gleich gut (Note 2,2, gegen 6 Kameras mit Note 2,1 - 1,9) bewerteten Sonys , und davon die einzige, die im "Sehtest" auch bei manuellen Aufnahmeeinstellungen besteht. Das immerhin hat bei der Stiftung Tradition: es zählt nicht nur der Messwert. FoMag misst Eingangs und Ausgangsdynamik und Rauschen bei 5 ISO-Werten, die eigenartige Auflösungsmessung nach Dateigröße ebenso, Artefakte und Schärfe nach Noten, und die Bild-Eckenfehler. Die Kamera schneidet knapp schlechter ab in der Bildqualität als A450 und A500. Bei FotoHits bekommt sie hingegen Bildqualität "Exzellent" besiegelt, bei fast gleicher BQ-Punktzahl wie die SLT55. Die Auflösung wertet FotoHits wie die Stiftung mit nur zufriedenstellend, und die Vignettierung wieder deutlich schwächer als FoMag. Bei wenig Licht ändert sich laut FoMag die Eingangsdynamik wenig, und auch die Stiftung sieht "bei wenig Licht" eine uneingeschränkt gute Bildqualität.

Der Hit in diesem Testvergleich zur A550 heißt nicht Foto-Hits, sondern Chip Foto-Video: Urteil: "Keine nennenswerten Nachteile" . Und als einzige testet Chip mit einem adäquaten Objektiv: 50mm f1,4. Das gibt gleich 200 Linien mehr Auflösung als bei FotoiHits. Noch ein Hit: Als einziges gibt Chip Rauschen nach ISO 15739 an - offenbar können selbst beim "schlechtesten Tester" die anderen sich noch ein Scheibchen abschneiden! Farbabweichung wird wie bei Colorfoto im normgerechten deltaE angegeben (siehe auch weiter oben bereits angegebene Quelle Wueller, Testnormen). Wermutstropfen für alle, die diesen Testtest hier mit orangener Brille lesen: Die Bildqualität der Nikon D5000 und der Canon 500D rückt durch Chip's großzügige Bewertung noch höher als bei FoMag. Insgesamt werden genau diese beiden Kameras auch von Stiftung Warentest und von FotoHits mit der gleichen besseren Tendenz in der Bildqualität bewertet, z.B BQ-Note 2,0 der Stiftung gegenüber beinahe unverschämten 2,5 für die A550.

Auch die FotoHits testet Bildqualität mit JPEGs aus der Kamera mit den bekannten Schwächen. Bei der Stiftung bin ich ebenfalls sehr gewillt an JPEG zu glauben.

Colorfoto dokumentiert sein Testverfahren und ist generell sehr stolz darauf - allerdings wird wie immer nicht angegeben, ob die Bildanalyse mit JPEGs gemacht wird. Ich würde aber darauf wetten. Die Auflösungsmessungen sind weiterhin Abhängig von der Grundschärfung der Kamera - die bei Canon von Haus aus recht hoch ist (Schärfung bereits im RAW!. PROFIFOTO hat sich damals im Vergleich A550 gegen EOS 550D darauf bezogen und ermittelt, dass man durch Nachschärfen der Sony-Bilder auf die gleiche Schärfe kam.

Gibt es noch das Testlabor BAS, Fomag testete früher dort?
Barnim A.Schulze war der Gründer.
Ernst-Dieter

QUOTE (Ernst-Dieter aus Apelern @ 2010-11-11, 12:40) Gibt es noch das Testlabor BAS, Fomag testete früher dort? Barnim A.Schulze war der Gründer.[/quote]

Hier ein FoMag-Artikel von 2007 dazu: BAS Objektivtests im Wandel der Zeiten

bemerkenswert: beim runderneuerten Testverfahren wird mehr mit Film gearbeitet als zuvor. Kein Wunder, man denke an unsere Diskussion von neulich über sinkende Sensoreffizienz bei schrägem Lichteinfall. Vignettierung einer Linse geht mit Sensor also garnichtmehr zu messen.

QUOTE (u. kulick @ 2010-11-11, 14:06) QUOTE (Ernst-Dieter aus Apelern @ 2010-11-11, 12:40) Gibt es noch das Testlabor BAS, Fomag testete früher dort? Barnim A.Schulze war der Gründer.[/quote]

Hier ein FoMag-Artikel von 2007 dazu: BAS Objektivtests im Wandel der Zeiten
[/quote]
Oh, danke!

QUOTE (Ernst-Dieter aus Apelern @ 2010-11-11, 14:08) Oh, danke![/quote]

Danke für den Namen Barnim A. Schultze. So konnte ich den Artikel schnell finden, und im gleichen FoMag-Archiv-Kapitel findet sich auch noch ein Artikel über FoMag's Kameratest-Methode:

http://www.fotomagazin.de/test_technik/tes...6&thema=109

da wird DCTau erwähnt, eine Testsoftware bzw. eine Testverfahren von Anders Uschold, siehe http://www.uschold.com/htm/Uebersicht/Tests/DCTau/dctau.htm

Die Stange hält DCTau digitalkamera.de, siehe Artikelserie http://szene.digitalkamera.de/blogs/dctau/default.aspx

In einem Forum fand ich den Hinweis, dass Barnim A. Schultze schon vor rund 40 Jahren z.B. für Colorfoto Objektive getestet hat - man erinnert sich, weil es zufällig legendäre Objektive geworden sind Bei Leica hat er auch mal mitgemischt. Der Optik-Ingenieur verstarb schon 1998, hoch angesehen in hohem Alter.

Hier noch mehr aus der fototesthistorischen Wundertüte: Tester-Legende Walter E. Schön (colorfoto)

Hier einmal Anders Uschold live mit seinem Herzensthema: Warum JPEG testen? ausführlich live mitten in dem Blog zum Themenartikel von digitalkamera.de

Nachdem man das liest, fragt man sich immer noch warum. RAW und nur RAW gibt die Kunst der eigentlichen Kameratechnik wieder. Die Firmware, die Software also, die in JPEG umwandelt, reift fast nie genug aus wegen der kurzen Kamera-Produktlebenszyklen. Im Übrigen sind die Umwandlungsprodukte Kunstprodukte, in denen manches Bilddetail oder manche Feinschattierung verloren geht beim Heraussrechnen von doch so allem Möglichem: Rauschen, Unschärfe, Verzerrung, Vignettierung, Farbfehler, Schattendunkelheit, etc. pp. In den Test einfließen sollte natürlich, ob all das in vernünftiger Weise passiert, aber sobald man eine Kamera mit RAW-Option hat, muss im Test die Qualität der RAWs zuerst begutachtet werden. Dann können die Tests auch differenziertere Betrachtungen beinhalten, z.B. Kamera gut, Firmware schlecht. Der letzte Schreiber in dem Blog schreibt am Beispiel, Sony A900 und Leica M9, dass diese mit den richtigen RAW-Konverter-Programmen gepaart eigentlich ideale Bildqualität liefern. Misst man im Test nur deren firmware-produzierten JPEGs, schneiden sie im Bildqualitätstest schlechter ab, als offenbar das Potential der RAW-Files. Bei Digiknipsen ohne RAW kann Uschold JPEG testen bis zum Umfallen, aber bei Systemkameras und sogar anspruchsvolleren Kompaktkameras: RAWdies first!

ZITAT(u. kulick @ 2010-11-11, 15:32) In den Test einfließen sollte natürlich, ob all das in vernünftiger Weise passiert, aber sobald man eine Kamera mit RAW-Option hat, muss im Test die Qualität der RAWs zuerst begutachtet werden.[/quote]Und wie testet man die "Qualität der RAWs" und nicht die der Zusammenarbeit mit dem RAW-Konverter?
Ein RAW ist kein Bild. Da müssen wir erst noch eines draus machen. Eine Möglichkeit ist die JPEG-Engine der Kamera.
Du kannst kein RAW alleine testen, du testest immer die Kombination mit der Art und Weise, wie der RAW-Konverter das Bild interpretiert und weiterverarbeitet.
ZITAT(u. kulick @ 2010-11-11, 15:32) Der letzte Schreiber in dem Blog schreibt am Beispiel, Sony A900 und Leica M9, dass diese mit den richtigen RAW-Konverter-Programmen gepaart eigentlich ideale Bildqualität liefern. Misst man im Test nur deren firmware-produzierten JPEGs, schneiden sie im Bildqualitätstest schlechter ab, als offenbar das Potential der RAW-Files.[/quote]Du kannst natürlich versuchen, jede Kamera mit dem deiner Meinung nach für diese Kamera am besten geeigneten RAW-Konverter unter den "besten" Einstellungen zu testen. Das wäre legitim.
Dann erfährst du möglicherweise auch, dass einige Kamera-Konverter-Kombinationen noch besser aufeinander abgestimmt sind als andere. Nebeinbei kannst du aber auch über jedes JPEG anschließend noch eine Bildbearbeitung laufen lassen und erst dann testen.

QUOTE (mts @ 2010-11-11, 15:52) QUOTE (u. kulick @ 2010-11-11, 15:32) In den Test einfließen sollte natürlich, ob all das in vernünftiger Weise passiert, aber sobald man eine Kamera mit RAW-Option hat, muss im Test die Qualität der RAWs zuerst begutachtet werden.[/quote]Und wie testet man die "Qualität der RAWs" und nicht die der Zusammenarbeit mit dem RAW-Konverter?
Ein RAW ist kein Bild. Da müssen wir erst noch eines draus machen. Eine Möglichkeit ist die JPEG-Engine der Kamera. Du kannst kein RAW alleine testen, du testest immer die Kombination mit der Art und Weise, wie der RAW-Konverter das Bild interpretiert und weiterverarbeitet.
[/quote]
Ein bisschen Software muss schon sein: Ein Plug-In zu einem Picture-Viewer, um bestimmte RAWs anzuzeigen. Und das möglichst schonungslos, denn beim RAW-Viewing will man ja auch sehen, was verbesserbar ist. Bisweilen kommt beim RAW-Viewing auch heraus, dass das RAW besser ist als das kameragenerierte JPEG. Da sagt man sich doch: Das JPEG ist nicht das Bild. Das RAW ist es.

Das RAW alleine testen ist nicht meine Idee, aber bei RAW-fähigen Kameras einen Testschwerpunkt darauf zu legen tut Not.

QUOTE QUOTE (u. kulick @ 2010-11-11, 15:32) Der letzte Schreiber in dem Blog schreibt am Beispiel, Sony A900 und Leica M9, dass diese mit den richtigen RAW-Konverter-Programmen gepaart eigentlich ideale Bildqualität liefern. Misst man im Test nur deren firmware-produzierten JPEGs, schneiden sie im Bildqualitätstest schlechter ab, als offenbar das Potential der RAW-Files.[/quote]Du kannst natürlich versuchen, jede Kamera mit dem deiner Meinung nach für diese Kamera am besten geeigneten RAW-Konverter unter den "besten" Einstellungen zu testen. Das wäre legitim.
Dann erfährst du möglicherweise auch, dass einige Kamera-Konverter-Kombinationen noch besser aufeinander abgestimmt sind als andere. Nebeinbei kannst du aber auch über jedes JPEG anschließend noch eine Bildbearbeitung laufen lassen und erst dann testen.
[/quote]

Letzterer Satz ist Quatsch. Man kann allenfalls testen, ob aus den JPEGS noch mehr rauszuholen ist. Aber wenn man RAW hat, ist viiiiiiel interessanter, was aus den RAWs rauszuholen ist.

ZITAT(u. kulick @ 2010-11-11, 16:07) Da sagt man sich doch: Das JPEG ist nicht das Bild. Das RAW ist es.[/quote]Nein, das RAW wird erst zum Bild, wenn du es durch eine geeignete Software jagst. Also testest du immer deren Interpretation der RAW-Daten. Während das JPEG ein fertiges Bild ist, also das JPEG-Format standardisiert und keinen Interpretationsspielraum mehr lässt.

Natürlich ist RAW ein Bildformat. Die Information ist bereits vollständig vorhanden - da ist nichts "halbfertiges" daran wie es von Kirchheim und Uschold behauptet wird. Eine Analysesoftware könnte durchaus direkt auf die RAW-Bilddaten angewandt werden. Dann würde man wenigstens erfahren, welcher Hersteller noch einiges in der Kamera aufbereitet. Ebenso könnte man erfahren, inwiefern die Hersteller die RAW-Daten bereits vorverarbeiten (Schärfen, Entrauschen, Tonwertkurven). Dazu müssten natürlich entsprechende Tools benutzt oder geschaffen werden. DxO hat dies beispielsweise gemacht und zeigt die Ergebnisse. Bei gleicher Basis ist ein Vergleich durchaus möglich.

Es ist eigentlich auch gar nicht die Frage JPEG oder RAW sondern schlicht RAW und JPEG. Heute stellen sich Tester hin und behaupten, die Bildqualität der Kamera wäre anhand der JPEG-Ergebnisse unter genauesten wissenschaftlichen Bedingungen messbar. Da wird über feinste Unterschiede von Rauschen und Dynamik geschrieben und am Ende sind das JPEGs mit Kompressionsartefakten, massiver Entrauschung, Schärfung und 8 Bit/Kanal RGB. Hinzu kommt, dass lediglich in "Standardeinstellungen" getestet wird - was nicht unbedingt dem Anwendungsfall eines JPEG fotografierenden Profis entspricht.

Natürlich gehören in einen anständigen Test auch Aussagen über die JPEG-Qualität; aber das täuscht nicht darüber hinweg, dass eine Beschränkung auf reine OOC-JPEGs zu halbfertigen Tests führt. (um das Wort "halbfertig" mal korrekt zu gebrauchen). Als Kunde interessiert es mich durchaus, inwiefern die "Option RAW" bei einer Kamera mir noch Vorteile bringen kann. Dpreview - vielgescholten - verhält sich diesbezüglich vorbildlich (inkl. Dokumentation).