常連

注目の的

回答者

拍手喝采

自己紹介

Google Chromeでpdfを開き、ダウンロードボタンを押したときに、そのpdfのホームページアドレスを取得して保存するpythonプログラムが走るようにしたいのですが、どのようにすればよいでしょうか？

Google Chromeで特定の操作をしたときにPythonプログラムを実行する

以下のように、1つの価を、3つの変数に格納したいと思いコードを書きましたが
エラーでした。

```ここに言語を入力
title, law_url, contact_url= "error"
```
やはり、以下のように書くしか無いのでしょうか？
もっとスムーズな書き方はないでしょうか。
```ここに言語を入力
title, law_url, contact_url = "error","error","error"
```

python変数代入方法

## 概要
* スクレイピングはBeautifulSoup4
* async, await がよく分かってない
* どうやらurllib.requestのurlopenは同期処理？なのでaiohttpを使うのかな？
## やりたいこと
たとえば、ユニークなドメインのURLが10個あって、すべてのURLから`body`タグ内を引っ張ってきたいとしたとき。

一つのURLに対してのリクエストは一回だけなので、10個のURLを1個ずつ処理するより並列でそれぞれ処理(HTTPリクエスト？)したほうが、取得する順番はどうでもいいですし、処理にかかる時間を相当短縮できるのでは？と思ったわけです。
（全然並列処理について分かってないのでトンチンカンなこと言ってたら叱ってください）

ここ2日ほどGoogle先生やQiitaで調べまくってみましたが、色々な書き方や事例がありすぎていまいちよく分かってません・・・
（単に頭が弱いというのが一番かもしれないですが）

拾ってきたコードをデバッグして処理を追ってみたりしましたが、あまり効果はなかったようです。

というわけで、**複数のURLを1つずつではなく、いっぺんに処理がしたい。**というのが私の願望でございます。

## 教えてください
* 超個人的にはPython3.5からの`async`/`await`を使用していきたい（使い方分かってないけど...）です

* `async`/`await`の使い方を含めて、上記のような非同期スクレイピングをするにはどういったコードを書くのが良いでしょうか？

* とにかく**複数のURLを1つずつではなく、いっぺんに処理がしたい。**ので、なんでも構いません、なにか方法を教えてください。


よろしくお願いします。

python3で非同期スクレイピングがしたいけど非同期がよくわからない

Pythonのソースコードを読んでいて、わかりにくいと思うのが、
オブジェクトの型が明示されていないことです。
そのため、オブジェクトの型が何なのか知るために、
obj.__class__やobj.shapeを実行しているのですが、面倒に思っています。
他にもっと良い方法があるのか、それともPythonでの開発とはこういうものなのかが
現状よくわかっていません。

また、自分がオブジェクトを定義する際、型がひと目でわかるように
わかりやすい命名規則にしたいと思っていますが
どのようにしたらわかりやすいかで悩んでいます。

このあたり、解説や助言を頂けたら幸いです。

Pythonで、オブジェクトの型を容易に知る方法、わかりやすい命名規則

Python初心者です。
```
l = [0,0,0,0,0]
```
の配列に対し、idxが２−3番目の値を1に変更したいです。 ([0,0,1,1,0]にしたい)

Javaの場合は、
```
 Arrays.fill(l, 2, 4, 1);
```
というfillメソッドがあるのですが、Pythonで探したところ、見当たらなかったため、以下のメソッドを自作しました。
```
def fill(ｌ, s, e, val):
    for i in range(s, e):
        l[i] = val
```

質問は２点で、
- Javaでいうfillメソッドに相当するものがPython3にも用意されているか？
- 存在しない場合、自作したfillメソッドよりスマートな書き方があるか？

です。
初歩的な質問でお恥ずかしいですが、よろしくお願いします。

Python3で配列に対しfillを行いたい

windows で git を使うときに、エディタの文字コードが、sjis になってしまい。他のＯＳで開けた時に不便です。

そこで、git で使うエディタを utf-8 にしたいのです。
[terepad の事例](http://qiita.com/manmatti/items/c98939c2004b0ace494d)は、ありました。vs code で同様のことをするにはどんな指定をすればいいのでしょうか？ terapad のように //cu8 ではだめのようです。

windows の git で、使うエディタを、vscode で、しかも utf-8 で起動したい

notebook 内の script から、jupyter_notebook_config.py の環境変数(c.NotebookApp云々) を参照したいのですが、可能なのでしょうか？

jupyter notebook で、note の中から、c.NotebookApp.notebook_dirを参照したい。

**訂正** `DDoS` ではなく、 `DoS` でした。ベストアンサーを決定済みなので本文はそのままにしてタイトルだけ修正します。以降すべてDDoS -> DoS で読み替えお願いします。

###前提

Pythonは以前からdictのキーの順番は不定、とされてきました。
しかし、見た目上は何らかの固定の順番でdictのキーを取り出せていました。（不定だけど一定） **--(A)**

Python3.3では、 [hash randomizeが導入されました](https://docs.python.jp/3/whatsnew/3.3.html#builtin-functions-and-types)。
導入された目的は、[`object.__hash__`のドキュメント](https://docs.python.jp/3/reference/datamodel.html#object.__hash__)に書いてあったので以下に引用します。
> この目的は、慎重に選ばれた入力で辞書挿入の最悪性能 O(n^2) 計算量を悪用することで引き起こされるサービス妨害 (denial-of-service, DoS) に対する保護です。 詳細は http://www.ocert.org/advisories/ocert-2011-003.html を参照してください。

この導入によって、dictのキーの順番がインタプリタ起動毎に不定になりました。 **--(B)**

そしてPython3.6でdictの実装が変わり、dictが省メモリになり、キーの順番が維持されるようになりました。 ref: [Python 3.6 の（個人的に）注目の変更点 - methaneのブログ](http://methane.hatenablog.jp/entry/2016-09-12/Python3.6b1) **--(C)**

### 検証したこと

Python**2.7.13**で文字列のhash値を取得(**(B)**の確認)
```
$ python2.7 -c "print(hex(hash('abc')))"
0x142a6050a093d0a3
$ python2.7 -c "print(hex(hash('abc')))"
0x142a6050a093d0a3
$ python2.7 -c "print(hex(hash('abc')))"
0x142a6050a093d0a3
```

Python**3.5.2**で文字列のhash値を取得(**(B)**の確認)
```
$ python3.5 -c "print(hex(hash('abc')))"
0x53a97f418e279642
$ python3.5 -c "print(hex(hash('abc')))"
-0x745a06d34cd5d4ed
$ python3.5 -c "print(hex(hash('abc')))"
0x29736bbb038652f5
```
Python**3.6.0**で文字列のhash値を取得(**(B)**の確認)
```
$ python3.6 -c "print(hex(hash('abc')))"
0x11108253ed4a023b
$ python3.6 -c "print(hex(hash('abc')))"
-0x5dc778080cb917cd
$ python3.6 -c "print(hex(hash('abc')))"
-0x687164debf8ee240
```

Python**2.7.13**で辞書のキー順を取得(**(A)**の確認)
```
$ python2.7 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['a', 'c', 'b', 'e', 'd', 'g', 'f']
$ python2.7 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['a', 'c', 'b', 'e', 'd', 'g', 'f']
$ python2.7 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['a', 'c', 'b', 'e', 'd', 'g', 'f']
```

Python**3.5.2**で辞書のキー順を取得(**(B)**の確認)
```
$ python3.5 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['e', 'd', 'f', 'a', 'b', 'c', 'g']
$ python3.5 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['e', 'f', 'g', 'b', 'a', 'c', 'd']
$ python3.5 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['d', 'e', 'a', 'g', 'b', 'f', 'c']
```
Python**3.6.0**で辞書のキー順を取得(**(C)**の確認)
```
$ python3.6 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['a', 'b', 'c', 'd', 'e', 'f', 'g']
$ python3.6 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['a', 'b', 'c', 'd', 'e', 'f', 'g']
$ python3.6 -c "print(list(dict.fromkeys(list('abcdefg'))))"
['a', 'b', 'c', 'd', 'e', 'f', 'g']
```

### 質問

Python3.6では、セキュリティ上安全で、これまでOrderedDictを使っていたプログラムをdictで一部置き換え可能と考えてよいでしょうか？
複数の要素が絡み合っていそうなので、質問を以下の3つに分けます。

1. **(B)**で、DDoS回避のためにdictキー順をランダム化したかった訳ではなく、`object.__hash__`がランダム化された副作用でdictキー順が起動毎にランダムになった、という理解であってますか？

2. Python3.6未満でも、[PYTHONHASHSEED環境変数](https://docs.python.jp/3/using/cmdline.html#envvar-PYTHONHASHSEED)を指定すれば、起動毎には変化しない以前の挙動を復活させる方法がありますが、これをやるとDDoS回避の実装を無効化することになるという理解であってますか？

3. **(C)**で、dictのキー順が維持されるようになりましたが、これはキー順が`object.__hash__`の結果に依存しなくなった、という理解で合っていますか？ [DSAS開発者の部屋:Python に現在実装中の Compact dict の紹介](http://dsas.blog.klab.org/archives/python-compact-dict.html) からそのように読み解きました。

Python3.6でのdictのキー順維持と、hash randomizeによるDoS回避の関係について

pythonはforループを回すより、リスト内包表記やベクトル演算に置き換えた方が早いと言われている様なのですが、下記の計算をベクトル演算に置き換えることは可能でしょうか？

```ここに言語を入力
import numpy as np

m=np.zeros((10,10))
n=np.ones((10,10))
for i in range(10):
  for j in range(10):
    m[i,j]=np.dot(n[:,i],n[:,j])
```

10行10列の行列nのi列とj列の内積を、行列mに格納したいということです。
リスト内包表記やmap関数でやるしかないのでしょうか？

Pythonでforループをベクトル演算に

プログラミングに関係ありません。
すみません。


どうしてもteratailでしか聞けないことだなと思い投稿しました。


なぜQiitaに投稿する人がいるのでしょうか？


どのようなメリット、心理があって投稿するのか以前から気になっており、
今、我慢できなくなって質問してます。



具体的に知りたいところは報酬に関してです。


先日、ある記事を読みました。
なぜクックパッドは楽天レシピに勝ったのか。



1つは情報量の差。(省略)
2つめが報酬の違いでした。



クックパッドがユーザーの投稿に対して他ユーザーから感謝・評価された時のユーザー心理を利用しているのに対し、楽天レシピは投稿してユーザーに返ってくるのがお金です。


報酬がお金だと人は楽しみを失い、やがてそのサービスから離れていくという内容だった気がします。




この報酬の性質に着目したとき、
Qiitaもクックパッドに近いから投稿者がついているのかなと考えました。
クックパッドと比べるとQiitaは評価機能は(コメントによるコミュニケーションもまた)少ないですが。



同列に考えていいものかとも思いますが、とりあえず。




以下は、僕が考えた、ユーザーがQiitaに投稿する理由です。



①備忘録

なんども検索したり勉強したりするのがめんどくさい。
せっかくなら記事としてウェブに残しておこう。みたいな。

ただ、あんまりここは理由として信用してないです。
備忘が目的ならBoostnoteに書けばいいだけですし。


②承認欲求


自分の投稿を他のプログラマーに認めてほしい。



③貢献欲求


自分が躓いて苦労したから同じような人のために。




以上です。
私は①～③も特に思ったことはないので、みなさんの気持ちがわからないです。




頭のいいteratailユーザーのみなさんなら、
僕が知りたいことを言語化してくれるのではないかと思いました。



できれば、以下を伝えてから回答してくださると嬉しいです。


①Qiitaをよく利用する
②teratailをよく利用する
③どちらもよく利用する
④どちらもあまり利用しない




結構、サイト作るときにここらへんを意識しなければいけないので、全く無意味な質問ではないと思います。teratailの思想には反していますが！





もし目に留まれば回答をお願いします。
よろしくお願いします。