元大学院生のノート

心と口と行いと研究で

8/18 UnicodeEncodeError

Pythonクロ&スクp45

エンコーディングを取得してutf-8にデコードしたものをhtmlファイルに保存しようとしたら,

UnicodeEncodeError: 'cp932' codec can't encode character '\xa9' in position 37940: illegal multibyte sequence

とprint()の箇所でエラーを吐出したので, デコードを実行するファイルの中身を,

import sys
import urllib.request
import io #add

req = urllib.request.Request("https://gihyo.jp/dp", headers={"User-Agent": "Mozilla/5.0"})
res = urllib.request.urlopen(req)

encoding = res.info().get_content_charset(failobj="utf-8")
print('encoding:', encoding, file=sys.stderr)

text = res.read().decode(encoding)
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') #add
print(text)

として, #addとコメントアウトした行を加えたところエラーが消えた.

ioモジュールについては全くの無知なので要勉強.

(追記)

後日#addを抜いたコードを実行したらうまくいった.

なぜだ...