pythonスククロp74lxmlでスクレイピングするときはopen()を使わなかったので, UnicodeDecodeErrorが出なかったが, BeautifulSoupでは, with open('index.html', encoding = 'utf-8') as f: soup = BeautifulSoup(f, 'html.parser') のようにopen()を使ってht…

Pythonクロ＆スクp49htmlを開いて中身を変数htmlに保存しようとしたところ, read()の箇所で, UnicodeDecodeError: 'cp932' codec can't decode byte 0x8d in position 147: illegal multibyte sequence が出たので, open()のエンコーディングを指定したとこ…

Pythonクロ＆スクp45エンコーディングを取得してutf-8にデコードしたものをhtmlファイルに保存しようとしたら, UnicodeEncodeError: 'cp932' codec can't encode character '\xa9' in position 37940: illegal multibyte sequence とprint()の箇所でエラーを…

Pythonクロ＆スク p43urllibを使ってWebページを取得しようとしたら, アクセス拒否をされて403が出た.対処はUser-Agentを偽造することでアクセスできた. >>> import urllib.request >>> >>> request = urllib.request.Request("https://gihyo.jp/dp", header…