Jergar

Bei Replaygain hatte ich unter Preferences -> Playback Album Gain eingestellt und auch beide Tracks mit Album Gain versehen. Das müßte doch richtig sein?

Nein, Track Gain ist hier richtig, damit beide Dateien die gleiche Lautstärke haben. Allerdings weiß ich nicht genau, ob die ABX-Komponente ohnehin automatisch die "Track Gain" Werte benutzt.

Unter der Voraussetzung, dass du nicht nur unterschiedliche Lautstärken aufgrund einer eventuell fehlerhaften Lautstärkeanpassung gehört hast, dass dies deine einzigen Versuche waren und du nicht noch weitere Ergebnisse à la 4/12 erreicht hast, könnte man die bisherigen Resultate zusammenrechnen und käme damit auf 25/36 und p=0,014, was statistisch signifikant ist und einen hörbaren Unterschied nachweist. Dass du in jedem Test dennoch 3-4 Fehler hast, kann man auf Ermüdung zurückführen, zuwenig Erfahrung mit ABX-Tests, oder darauf dass der Unterschied vielleicht nicht so leicht erkennbar ist.

Heute den Test nochmal zu wiederholen halte ich für sinnlos, morgen in der Frühe werde ich das noch mal wiederholen.

Ich habe den Test unter gleichen Bedingungen noch 2 mal wiederholt,  Ergebnisse waren soweit identisch. 

8/12
9/12

Ich habe keine Erklärung für den Effekt...

So jetzt wechsle ich die Soundkarte aus, SB Live gegen eine Audigy LS.

Jergar

Beim Test auf den Laustärkeanstieg beim "...live" achten da höre ich es am deutlichsten  und das war auch für mich das Kriterium ob a oder b.

Bei Replaygain hatte ich unter Preferences -> Playback Album Gain eingestellt und auch beide Tracks mit Album Gain versehen. Das müßte doch richtig sein?

Jergar

Ergebnis: 8/12

Acht richtige Ergebnisse bei 12 Versuchen sind leider nicht genug, das ergibt p=0,194. Eindeutig wird es erst unter 0,05, d.h. Bei 12 Versuchen müssten mindestens 10 richtig sein. Wichtig bei Hörtests ist es auch, sich vorher auf eine Anzahl von Versuchen festzulegen, damit man es nicht solange probiert, bis man ausreichend richtige Ergebnisse hat. Einen interessanten Artikel als Einstieg zu dieser statistischen Auswertung hat Pio2001 neulich auf Hydrogenaudio veröffentlicht: What is a blind ABX test ?, unbedingt mal durchlesen.

Danke für das Sample, ich werde mal schauen ob ich einen Unterschied hören kann.
Edit: bisher völlig transparent.

Jergar

Hallo Frank,

Frank Bicking 20.08.2004, 22:55
Genau so könnte es dir auch ergehen, dass du nach mehreren Erfahrungen plötzlich in der Lage bist, doch Unterschiede zu finden wo bisher noch keine hörbar waren. Das ist leider immer das Risiko von lossy Codecs, und ich denke man sollte sich nicht zu früh mit dem Urteil "Verschwendung" von den verlustfreien Varianten abwenden, nur weil man heute noch keinen Unterschied hört.

Stimmt natürlich, nur werden meine Ohren mit fortschreitendem Alter, 49 :-(, bestimmt nicht besser, selbst wenn ich mehr Erfahrungen sammle.
Ich habe in den letzten Tagen allerdings ein wenig mit Flac experimentiert. Die Einbindung in EAC sowie die sehr gute Unterstützung in foobar2000 sowie Winamp lassen mich schon nicht kalt. Zumal Festplatten mit Kapazitäten >250 Mb immer billiger werden.

Allerdings wird die Qualität der CDs auch nicht besser. Damit meine ich die Qualität der Einspielung. Das ist aber hier OT.  ;-)

Jergar

Hallo,

Heute habe ich einen ausgiebigen Hörtest mit Live-Material gemacht und bin dabei auf ein Problem oder besser eine Schwäche vom Megamix2.1 Ogg/Vorbis Encoder gestoßen.

ABX Test Details unter foobar 2000 v0.8.3
OGG/Vorbis Megamix2.1 bei q 6,00
CD 2 vom Walnut Creek (8.10.2003) Konzert der Allman Brothers Band
Titel 1 : Old Before My Time   (Range  1:15 -1:20) EAC Rip
Ergebnis: 8/12

Der Encoder scheint den Lautstärke Anstieg in der Stimme zu dämpfen, jedenfalls habe ich daran den Unterschied erkennen können.  Bei dem Ogg/Vorbis kodierten Track verläuft der "Stimmanstieg" wesentlich weicher und erreicht auch nicht die Höhe.
Nun könnte man ja vermuten es hängt mit dem Replaygain zusammen, nur kann ich das ja nicht abstellen.
Die problematische Stelle ist bei "... in an ocean of live". In der wav Variante ist die Dynamik deutlich höher als in der Ogg/Vorbis kodierten.
Ich würde  den Ausschnitt von 1:13 bis ca 1:20 gerippt und flac komprimiert anhängen aber irgendwie geht es nicht.

Jergar

Stimmt natürlich, nur werden meine Ohren mit fortschreitendem Alter, 49 :-(, bestimmt nicht besser, selbst wenn ich mehr Erfahrungen sammle.
Ich habe in den letzten Tagen allerdings ein wenig mit Flac experimentiert. Die Einbindung in EAC sowie die sehr gute Unterstützung in foobar2000 sowie Winamp lassen mich schon nicht kalt. Zumal Festplatten mit Kapazitäten >250 Mb immer billiger werden.

Allerdings wird die Qualität der CDs auch nicht besser. Damit meine ich die Qualität der Einspielung. Das ist aber hier OT.  ;-)

Jergar

noch etwas zu den ABX-Tests: bestimmte Unterschiede auszumachen und dann auch über mehrere Durchgänge hinweg zu hören erfordert einfach etwas Übung. Viele unter denjenigen, die auch bei hohen Einstellungen mit manchen Samples problemlos Unterschiede finden können, betonen deshalb auch, dass garnicht so sehr die verwendete Hardware eine Rolle spielt und dass sie nicht automatisch ein besseres Gehör haben, sondern dass es ganz einfach eine Frage des Trainings ist.

Bei bestimmten Artefakten kann es schon helfen, erstmal Beispiele dafür gehört und mit ihnen geübt zu haben, ansonsten weiß man nicht worauf man überhaupt achten soll und findet womöglich keinen Unterschied bzw. kann ihn dann nur schlecht umschreiben oder wiedererkennen. Ebenfalls spielen während solcher Tests Faktoren wie Müdigkeit, Konzentrationsverlust, Erwartungshaltung, Suggestion, Erwartungsdruck etc. eine Rolle.

Man schaue sich einfach mal die Entwicklung von Qualitätsaussagen um Musepack an: im Jahr 2001 hieß es soweit ich recherchiert habe noch, dass es überhaupt nur 2-3 bekannte Samples gibt, bei denen ein Unterschied bei --quality 5 nachgewiesen werden kann. Heute sind es ein ganzes Ende mehr, frag mich aber nicht nach genauen Zahlen. Die Hörer haben also trainiert und bestimmte Probleme mussten auch erstmal gefunden werden, was mehr oder weniger zufällig geschieht.

Genau so könnte es dir auch ergehen, dass du nach mehreren Erfahrungen plötzlich in der Lage bist, doch Unterschiede zu finden wo bisher noch keine hörbar waren. Das ist leider immer das Risiko von lossy Codecs, und ich denke man sollte sich nicht zu früh mit dem Urteil "Verschwendung" von den verlustfreien Varianten abwenden, nur weil man heute noch keinen Unterschied hört. Für das berühmte "warm fuzzy feeling" sind sie jedenfalls angenehmer ;-), von den weiteren praktischen Vorteilen mal abgesehen.

ABX-Tests sind natürlich dann gut und sinnvoll, wenn man jemanden der mit Behauptungen um sich wirft, die so garnicht der Erfahrung von anderen entsprechen, erstmal etwas auf den Boden der Tatsachen zurückholen möchte. Dein obiges "Unterschiede sind jedoch immer hörbar." ist z.B. einfach zu pauschal. Ich werde an deinen Aussagen nichts verändern, ich erwarte einfach dass ein AudioHQ-Besucher etwas kritisch an solche Themen herangeht und nicht nur den ersten Beitrag liest.

Frank Bicking
Völlig legitim ist dieser Hörtest natürlich unter der Fragestellung, ob deine eigene Musik mit bestimmten Einstellungen transparent encodiert wird oder nicht, aber zumindest die Ergebnisse sind für andere jetzt nicht wirklich von Bedeutung.

Genau darum ging es mir ja ursprünglich. Denn wenn ich keinen Unterschied mehr höre dann wäre es Verschwendung von Speicherplatz mein Archiv mit flac oder sogar wav aufzubauen.

Ich mußte dabei auch ebenfalls feststellen dass es sehr schwer ist allgemeingültige Aussagen zur Qualität zu erstellen.
Vielleicht liegt es an falschem Herangehen/Selbstsuggestion/Einbildung oder sonstwas, während des ABX-Test habe ich schon gedacht, Unterschiede zu hören. Umso niederschmetternder war dann ja das Ergebnis, weil ich diese meine  "Eindrücke" nicht zuordnen konnte.
Da ich jetzt anfange alle meine CDs zu "oggen"  kann es sein das ich noch ein paar Problemsamples entdecke. Bis dahin werde ich dem ABX Test glauben und kann es jedem nur empfehlen gleiches zu tun.

Jergar
PS: Frank du kannst meine "nicht belegbaren Aussagen" streichen, wenn du magst

sagt aus, dass in acht Durchgängen dreimal Original und komprimierte Kopie richtig zugeordnet werden konnten, wodurch die Wahrscheinlichkeit, dass er zu diesem Ergebnis durch Raten gekommen ist, bei 85,5% liegt. Für signifikante Ergebnisse wäre ein Wert unter 5% nötig, erst dann kann man davon ausgehen, dass jemand auch wirklich einen Unterschied hört. Typisch in ABX-Tests sind 8 oder 16 Durchgänge, von eindeutig hörbaren Unterschieden kann man bei 8/8, 15/16 oder 16/16 Punkten sprechen.

Hier kann man also davon ausgehen, dass Jergar in keinem Test einen Unterschied ausmachen konnte und seine obigen Qualitätsaussagen bezüglich hörbarer Unterschiede weiterhin unbewiesen sind. Dieser Test zeigt die Wichtigkeit von Hörtests, und ebenfalls, wie wenig man auf unbelegte in den Raum gestellte Qualitätsbehauptungen geben sollte.

Da du keine Unterschiede wahrnehmen kannst, Jergar, stellt sich an dieser Stelle natürlich auch die Frage nach der Eignung der vorgestellten CDs für deine eigenen Hörtests. Für höhere Bitraten scheinen sie keine für dich hörbaren Artefakte mehr zu erzeugen, und ich denke in Hörtests sollten bevorzugt kritische Samples (oder eben niedrigere Qualitätsstufen) verwendet werden, ansonsten verschwimmen die Ergebnisse überhalb der Transparenzgrenze und man kann keine wirklich sinnvollen Vergleiche zwischen Codecs oder Einstellungen anstellen. Völlig legitim ist dieser Hörtest natürlich unter der Fragestellung, ob deine eigene Musik mit bestimmten Einstellungen transparent encodiert wird oder nicht, aber zumindest die Ergebnisse sind für andere jetzt nicht wirklich von Bedeutung.

Deine Samples kannst du über die eben von mir aktivierte "Dateien anhängen"-Option im Antwortfenster hochladen, bitte komprimiere sie vorher mit einem verlustfreien Codec wie FLAC oder APE um Platz und Zeit zu sparen. Das jeweilige Original reicht aus, komprimieren können wir selbst. Im Endeffekt besteht aber keine Notwendigkeit dazu, ich habe kein gesteigertes Interesse daran in der Hinsicht irgendwas nachzuprüfen, interessant wäre es erst dann geworden, wenn du schon Belege dafür hättest vorlegen können, dass Unterschiede hörbar sind.

Mein persönliches Fazit, OggVorbis bei -q 6 ist für mein Musik-Archiv und meine Ohren ausreichend. 

Jergar

Test 1
DG CD 4D/DDD "Die neue Klangdimension"
Stück Pablo de Sarasate Zigeunerweisen op.20 Anne-Sophie Mutter Wiener Philharmoniker.

File A Track1.wav  EAC rip
File B Track1.ogg  Encoder Megamix II -q 5

Es fiel mir recht schwer die beiden Proben auseinanderzuhalten,  zumindest bildete ich mir ein, eine gewisse Rauheit der Violine erkennen zu können.
Ergebnis: 03/08  85.5%

Test1.1
File A Track1.wav  EAC rip
File B Track1.ogg  Encoder Megamix II -q 6

Bei diesem Test  war eigentlich kein Unterschied zu hören, das Ergebnis ist also mehr oder weniger Zufall/Einbildung.   
Ergebnis: 04/09  74.6%

Test 2
Dual & Audio Test CD Track 39 "Surround Signale - Triangel im Raum"
Primär wollte ich damit die Auflösung im Raum testen, fand dann aber heraus das eine Triangel eigentlich ganz problematische Töne erzeugen kann.  ;-)

File A Track2.wav  EAC rip
File B Track2.ogg   Encoder Megamix II -q 6

Ergebnis: 3/9 (91.0%)

Jergar

Gibt es nirgends ein Image einer Test-CD mit bearbeiteten Samples, sprich mit Tracks welche mit verschiedenen Codecs und Bitraten encodiert wurden und danach wieder zu Wav decodiert wurden?

Das ist unmöglich, denn es gibt hunderte von Einstellungsmöglichkeiten bei MP3 und zig verschiedene Audioformate. Eine wirklich komplette Sammlung kann niemand erstellen, mal ganz abgesehen von dem gigantischen Webspace, der dafür draufgehen würde  :blink:

Und wozu auch? Testsamples gibt es genug im Internet (siehe Posting von Dominic) und es kann doch nicht das Problem sein, mal kurz ein paar Wave's über den Encoder zu jagen?

Es gibt keine Anforderungen! Du musst lediglich als Quelle eine Orginal-Audio-CD verwenden. Aber welche Songs oder Musikrichtung etc. Du auswählst, bleibt absolut Dir überlassen.

Spunky

PS. Ausnahmen sind organisierte Hörtests wie z.B die von Roberto Amorim, wo mehrere Leute gemeinsam eine Fragestellung analysieren. Da werden die Testsamples vorgegeben, damit man es entsprechend auswerten kann.

Was ich mich schon längere Zeit frage:

- Gibt es nirgends ein Image einer Test-CD mit bearbeiteten Samples, sprich mit Tracks welche mit verschiedenen Codecs und Bitraten encodiert wurden und danach wieder zu Wav decodiert wurden?

Meine Test-CDs waren bislang immer relativ einfach gestrickt, da es mir zu aufwändig war, gute Samples mit kritischen Passagen in der richtigen Länge und in verschiedenen Codecs in sinnvollen Einstellungen zu encodieren.

Es kann ja nicht sein, dass für jede Test-CD das Rad neu erfunden werden muss. Zudem müssen ja doch einige Aspekte beim Erstellen einer Test-CD erstellt werden, wenn sie seriös sein soll.

Grüsse
FlicFlac