常連

注目の的

社会貢献

出力のp>|t|（有意水準）の値のみを抜き出したい場合は、どのようにすればよいのでしょうか
教えて頂けると幸いです。

```python
import statsmodels.api as sm

model = sm.OLS(df_y, sm.add_constant(df))
result = model.fit()

# 重回帰分析の結果を表示する
result.summary()
```
```出力
Dep. Variable:	keiyaku_pr	R-squared:	0.847
Model:	OLS	Adj. R-squared:	0.819
Method:	Least Squares	F-statistic:	29.85
Date:	Thu, 11 Jul 2019	Prob (F-statistic):	0.00
Time:	03:11:42	Log-Likelihood:	-1.0480e+05
No. Observations:	6461	AIC:	2.116e+05
Df Residuals:	5448	BIC:	2.185e+05
Df Model:	1012		
Covariance Type:	nonrobust		


coef	std err	t	P>|t|	[0.025	0.975]
const	2.782e+07	3.63e+04	766.651	0.000	2.78e+07	2.79e+07
pj_no	4.568e+04	5e+04	0.914	0.361	-5.23e+04	1.44e+05
```

重回帰分析のp値のみを抜き出す

###前提・実現したいこと
python3でクローリング（スクレイピング）を行おうとしています。
以下のようなhtmlに対して、「BBBAAACCC」だけ抜き出したいのですが
命令文による取得方法はあるでしょうか。

<h2>
     <strong>AAA</strong>BBBAAACCC
</h2>

###試したこと
soup = BeautifulSoup(html, 'html_parser')
print(soup.find('h2').find('strong').get_text())
 → 取得結果「AAA」
print(soup.find('h2').get_text())
 → 取得結果「AAABBBAAACCC」

python3でのfindの方法(タグの中の<strong>等で囲まれていない文字の抽出)

### 前提・実現したいこと

pythonのscrapyを使ったクローリングを勉強したくて下記のサイトを参考にチュートリアルを行いました。
しかし、pythonの基本文法も怪しいレベルでいじったため、動くんだけどドユコト？ってなってしまいました。そこでコードの理解が正しいか確認＆わからないことの質問をさせてください。
[python超初心者がスクレイピングしてみる](https://qiita.com/ritukiii/items/272d485e8a249d0d1bd7#%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB%E3%81%AB%E6%9B%B8%E3%81%84%E3%81%A6%E3%81%82%E3%82%8B%E4%BD%9C%E6%A5%AD%E3%81%AE%E9%A0%86%E5%BA%8F)
[Python, Scrapyの使い方（Webクローリング、スクレイピング）](https://note.nkmk.me/python-scrapy-tutorial/)


### 該当のソースコード(自分の解釈をコメントアウトで書いています)
spider
```ここに言語名を入力
# -*- coding: utf-8 -*-
import scrapy
from tutorial.items import TutorialItem
# この２文によってscrapyのフレームワークと、他の名前空間？(items.py)にある定義をこのファイルでも使えるようにする

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # ここよくわかりません。このnameどこで使ってます？
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/page/1/']
    # allowed_domeinsでダウンロードするドメインの指定。念のため的な？start_urlsはダウンロードするページ

    def parse(self, response):
      # perseという関数の役割がよくわかりません。引数がself？？これはページのurlでしょうか？responseはダウンロードしたページの情報が入っているという解釈で良いですか？？
      for quote in response.css('div.quote'):
        # response.css()でページの中でもさらに情報を絞ってそれをquoteにlistとして入れてる
          item = TutorialItem()
          # itemという空のlistを定義？
          item['author'] = quote.css('small.author::text').extract_first()
          item['text'] = quote.css('span.text::text').extract_first()
          item['tags'] = quote.css('div.tags a.tag::text').extract_first()
          # cssセレクターによって欲しい情報を入手！
          yield item
          # itemを返す
      # for文でこの動作を繰り返し、ページ上のquoteを全て取得

      next_page = response.css('li.next a::attr(href)').extract_first()
      # ここで次ページのurl(/page/ページ数/)を取得
      if next_page is not None:
        # 次ページが存在しない（最終ページ）の時は処理をやめるための文
          next_page = response.urljoin(next_page)
          # urljoinによってresponseの中の情報のurlと今取得した次ページのurlを合体させてる？？
          yield scrapy.Request(next_page, callback=self.parse)
          # scrapy.Requestはどういう関数？ですか？また引数にnext_pageとcallback=self.perseここの引数、上のperseという関数にまた渡してる感じなんでしょうが、いまいちよくわかりません。


```
item.py
```
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class TutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()
#ここでスクレイピングで使う変数の定義をしてる
```


### 補足情報（FW/ツールのバージョンなど）

python3.5.2

scrapyの仕組みがいまいちわかってないので確認＆質問

Scrapyを用いてクローリング＆スクレイピングを行なっており、
なんとなく欲しい情報を取得できたものの思った通りに並んで
くれず、原因や解決方法がわからない状態です。


**＜やりたいこと＞**
ページAに複数ページ（仮にページBとCとDとします）のリンクが貼られており、
更にページBとCとDからリンク先のページがあるとします。

↓こんな感じです。（伝わりますでしょうか・・・）

|階層1|階層2|階層3|
|:--|:--:|--:|
|ページA|ページB|ページB'|
|　|ページC|ページC'|
|||ページD|

ページAから地名を取得し、
次に、ページBやCで、宿泊施設の名前を取得し、
更に、ページB'やページDで、宿泊施設のURLを取得したいです。

※ページBには複数の宿泊施設の名前があり、全て取得したく、ページB'には1つしかURLは存在しないです。
※ページBとCはページAから、ページC'とDはページCからそれぞれリンクが貼られています。

**【表1】**
|列1|列2|列3|
|:--|:--:|--:|
|熱海|ホテル熱海|http://www.hotel_atami.jp/|
|長野|ホテル長野|http://www.hotel_nagano.jp/|
|長野|民宿長野|http://www.minsyuku_nagano.jp/|

というようにCSV形式で取得したいのですが、実際には

**【表2】**
|列1|列2|列3|
|:--|:--:|--:|
|熱海|ホテル熱海||
|長野|ホテル長野,民宿長野||
|||http://www.minsyuku_nagano.jp/|
|||http://www.hotel_nagano.jp/|
|||http://www.minsyuku_nagano.jp/|

のように空欄ができたりしてしまいます。
どうしたら表1のように取得ができますでしょうか？
また、なぜ現在はこのような取得結果になっているのでしょうか？

```python
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from project1.items import Project1Item

class Project1Spider(CrawlSpider):
    name = 'project1'
    allowed_domains = ['syukuhaku.jp']
    start_urls = ('http://syukuhaku.jp/',)

    rules = (
        Rule(LinkExtractor(allow=r'/cgi-bin/\w+'), callback='parse_topics', follow=True),
        Rule(LinkExtractor(allow=r'/dettail/\w+'), callback='parse_topics_detail'),
    )


    def parse_topics(self, response):
        item = Project1Item()
        item['area'] = response.css('#main > h1 > span:nth-child(1)::text').extract()
        item['name'] = response.css('#main > h1 > span:nth-child(3)::text').extract()
        yield item


    def parse_topics_detail(self, response):
        item = Project1Item()
        item['url'] = response.css('#base-info > table > tr > td > a::attr("href")').extract_first()
        yield item

```

Scrapyを用いて複数ページから複数要素を1レコードずつ抽出したい

### 前提・実現したいこと

ある会社の購買データから、
男女別の売上を集計したいと思っています。
そこでmatplotlibを使い、棒グラフを描こうと思ったのですが、
以下のエラーが起きました。

### 発生している問題・エラーメッセージ

```
TypeError: 'Series' object is not callable
```

### 該当のソースコード

```Python
x = df.sex('男性', '女性')
y = df.rev()

plt.figure(figsize = (10, 6))
plt.bar(x, y, align='center', width = 0.5)
plt.xticks(x, ['male', 'female'])
plt.xlabel('sex')
plt.ylabel('revenue')

plt.grid(True)
```

該当のソースコードの上に
```python
df = pd.read_csv(rf'G:???csv,engine='python',
                encoding='cp932')
```
というのがあり、
そのデータの中では性別は男性、女性と
表記されています。

```Python



print(df.keys())



Index(['cst_id', 'date_purchase_c', 'date_purchase_n', 'yymm_purchase',
       'InsDate', 'dhms_InsDate', 'Trn_Type', '**rev**', 'num', 'code', 'Brand',
       'MdName', 'TranKey', 'TranLineNo', 'Store_code', 'TerminalNo',
       'date_purchase', 'TranNo', 'StoreName', 'St_SalesChannel',
       'St_Hierarchy', 'Category_c', 'Item_c', 'Sub_Item_c', 'Category',
       'Item', 'Sub_Item', 'Sub_Item_2', 'FY', 'age_latest_cat', **'sex**',
       'age_asof_purchase_cat', 'St_Region', 'Season', 'SubSeason',
       'Season_wk'],
      dtype='object')
```
何卒宜しくお願い致します。

matplotlibで棒グラフを書きたい！

# やりたいこと
特定キーワードのGoogle検索結果を定点観測したい（競合の広告文、順位の変動など）。

イメージ例）
1　タイトルAAA　aaa.com
2　タイトルBBB　bbb.com
3　タイトルCCC　ccc.com
4　タイトルDDD　ddd.com

条件
・上記結果を計測ツールの兼ね合い上、Googleスプレッドシートに書き込みたい
・特定キーワードは100近くあり、毎日計測してデータとして残したい

## 相談内容
PythonのライブラリBeautifulSoupを使い、
スクレイピングするところまでは成功しましたが、
スプレッドシートに書き込む方法で悩んでいます。

Google APIを有効化して、ライブラリgspreadを使い、
直接書き込むことは出来ましたが、処理時間がかかり、
APIの使用条件に抵触するのではないかと懸念しています。

ちなみに、コードは以下です。

```
import gspread
from oauth2client.service_account import ServiceAccountCredentials
scope = ['https://spreadsheets.google.com/feeds','https://www.googleapis.com/auth/drive']

credentials = ServiceAccountCredentials.from_json_keyfile_name('<jsonファイル名>', scope)
gc = gspread.authorize(credentials)
wb = gc.open("＜スプレッドファイル名＞")
sh = wb.worksheet("＜スプレッドシート名＞")

for i in range(0,len(lists)):  

# lists はスクレイピングしたデータ
# 例）
#[['日付', 順位1, 'タイトル', 'URL1'],
# ['日付', 順位2, 'タイトル', 'URL2']]

    sh.update_cell(i+1,1,lists[i][0])
    sh.update_cell(i+1,2,lists[i][1])
    sh.update_cell(i+1,3,lists[i][2])
    sh.update_cell(i+1,4,lists[i][3])

```

別案としては、Python経由でスプレッドシートに書き込みはしないで、
一度CSVに保存をさせて、Google Apps Script で保存したCSVを
スプレッドシードに書き込むなども考えています。

本状況において、ご助言いただけると幸いです。
よろしくお願いします。