Objektiv betrachtet: Behalte das 16-85! Du wirst mehr gute Fotos haben.
Subjektiv betrachtet: Nimm das 20-40! Du wirst weniger, aber dafür mehr sehr gute Fotos haben. Unter Umständen

Also ich kann verstehen, wenn man das 20-40mm mag. Es fasst sich gut an und es ist ein Limited. Aber zu denken sollte dennoch geben, dass das oftmals die erstgenannten Eigenschaften sind. Ich hatte es auch mal, aber ich war dann doch nicht willens mich einzuschränken. 20mm waren mir einfach zu lang für meinen Fotoalltag. Vielleicht wäre ich heute in meiner Entwicklung weiter und könnte mich besser darauf einlassen. Aber wahrscheinlich dann doch wieder nicht.
Ich glaube, da kann man viel spekulieren. Das 16-85mm soll eine astreine Linse sein, so Rundrum sorglos in gewisser weise. Schaue mal nach, wie viele der von Dir mit diesem Objektiv gemachten Bilder im Bereich 16-19mm gemacht wurden. Und dann überprüfe deren Bedeutung für Dich, also sind es Bilder, die Du bei diesem Motiv nicht hättest anders bekommen können bzw. die Du genau so haben wolltest. Wenn ja...
Ich halte nur bedingt was vom "abrunden nach unten", wenn es um den doch (meiner Meinung nach) recht essentiellen Bereich zwischen 16-20mm geht. Aber gut, das mag/wird von Fotograf zu Fotograf variieren. Wie gesagt, am besten mal Deine Fotothek dahingehend überprüfen.
Denn eines ist klar, Du wirst sicher nicht laufend das Objektiv wechseln wollen, nur weil die 20mm nicht reichen. Andererseits sagen viele gute/große Fotografie, dass Beschränkung einen erweitert.