常連

情報収集家

自己紹介

### 他人の全ツイートを保存するには
ツイッターで自分のではなく他人の全ツイートを保存したいです。
よくあるツイート保存サイトでは３２００件までしかツイート保存することができません。

[他人の全ツイートをJSONで一括保存するコマンドを作った](https://tatzyr.hatenablog.com/entry/2015/12/17/112635)
こちらのページで紹介されている全ツイートをJSON形式で保存する方法を試してみたのですが
このJSONファイルをツイート形式で開けないでしょうか。

作成した全ツイートのJSONファイルを
tweet.jsというファイル名に変更し
[tweet-js-loader](https://17number.github.io/tweet-js-loader/)
こちらのサイトにアップロードして全ツイートを確認しようとしたところ、
JSON内のツイート画像が
http://pbs.twimg.com/media/〇〇.png形式になっている(ツイッター公式サイトのリンク)ため、
ツイート主がツイ消ししたり垢消ししたり鍵をかけると全く見れなくなるので
これだとツイートを保存した意味がありません。

どうにか全ツイートを保存する方法はないんでしょうか？
どなたか詳しい方いましたらお教えいただけますと助かります。


〖補足〗
回答ありがとうございます。
画像についてはまた、別のこういった別の方法で集めて見ることにします。

jsonファイルはそのまま開くとコード形式になっておりツイートとして見るには見ずら過ぎてとても見れたものではないため、
[tweet-js-loader](https://17number.github.io/tweet-js-loader/)
というツイート形式にしてくれるサイトを利用しましたが、
こちらのサイトではjsonファイルを作成したアカウントがツイ消し、垢消し、鍵垢などにすることでツイートが全く見れなくなっていました。(このサイトの仕様なのかjsonファイル自体がそもそも見れなくなる仕様なのかがちょっと分からないです)
他にこのjsonファイルをある程度ツイート形式として見やすくする方法はないものでしょうか。

とにかく鍵垢でもツイ消しでも垢消ししても全ツイートを予め保存していつでも見られる方法が知りたいです。

ツイッターで他人の全ツイートを保存する方法

料理テーブル（A）と材料テーブル（B）があったとして、その料理に使う材料の関係性をつなぐ中間テーブル（C）があったとします。（いわゆるhasAndBelongsToManyな関係のテーブルです）
材料として、りんご、はちみつを検索し、料理テーブルからカレーとアップルパイを引っ張りだすSQL文が浮かびません。
材料が少なければサブクエリを繋いで探す方法はなんとなーく浮かんだんですけれど、材料が増えてくるとその分だけサブクエリも増え、著しくレスポンスが悪くなる気がします。

なるべくレスポンスを悪くせずに検索する方法はありますでしょうか？

Aのカラム（他にもカラムはある、値段等々）
idとcook（料理名）
1,カレー
2,生姜焼き
3,プリン
4,アップルパイ

Bのカラム
idとmaterial（素材名）
1,リンゴ
2,豚肉
3,ハチミツ
4,牛乳
5,砂糖
6,塩

Cのカラム
idとAid、Bid
1,1,1
2,1,3
3,1,4
4,2,2
5,2,6
6,3,3
7,3,4
8,3,5
9,4,1
10,4,3
11,4,5

一応どうにか考えたクエリです
```sql
select *
from A
join
(/* 以下のクエリで材料テーブルを横に並べ替えている */
	select
		aid,
		 /* ↓の２行が、検索する材料が増えると増えていく */
		case when sum(case when bid = 1 then 1 else null end) = 1 then 1 else 0 end as material_1,
		case when sum(case when bid = 3 then 1 else null end) = 1 then 1 else 0 end as material_2
	from C
	group by aid
	having material_1 = 1 and material_2 = 1 /* ここも材料分増える */
) as B
on A.id = B.aid
```

何かあんまりスマートじゃないですよね・・・
中間テーブルが増えたらかなりレスポンスも悪くなるような気もしますし・・・

ちなみにcakephpで開発中なんですけれど、上のSQLを効率よくcakephpのfind文にできるんでしょうか？？？

中間テーブルからの検索方法

WordPress 5.2.1を使用しています。

# やりたいこと
**WP_QUERYでカスタムフィールド2つの値を使って第1、第2ソートを指定して並び替える。**


name, title, year　の３つがカスタムフィールドで、それぞれの記事がこのような具合です。
投稿タイトル|name|kana|year|
|:--:|:--:|:--:|:--:|
ABC|ICHIRO|いちろう|1982|
TTT|ICHIRO|いちろう|1983|
BBB|JIRO|じろう|1984|
GGG|SABURO|さぶろう|1994|
AAA|SABURO|さぶろう|1983|

### 問題点
**第1、第2ソートとも基準がカスタムフィールドである場合、ソートがうまくいきません。**
```ここに言語を入力
うまくいくパターン（カスタムフィールドが一方のみ）
第1：投稿タイトル　 第2：name
第1：name　　 第2：投稿タイトル

うまくいかないパターン（カスタムフィールドを1つ使用）
第1：year　　　　　第2：name　←うまくいかない
第1：name　　　　　第2:kana　←うまくいかない
第1：kana　　　　　第2:year　←うまくいかない
```



### やってみたこと
とりあえず、それぞれ一つだけを基準にソートしてみたのですが、うまくいったので入力データ自体は大丈夫かと思います。


**↓1つだけのソートは問題なし**
```PHP

//投稿タイトルでソート
$param = array(
    'post_type' => array('post'),
    'orderby' => 'title',
    'order' => 'ASC',
);

//カスタムフィールドでソート
$param = array(
    'post_type' => array('post'),
    'orderby' => 'meta_value',
    'meta_key' => 'name',  //kana, yearもうまくいく
    'order' => 'DESC',
);

```



どちらかのみカスタムフィールドの場合も第2ソートも問題なく反映できました。
**↓カスタムフィールドがどちらか一方でも問題なし**
```PHP
$param = array(
    'post_type' => array('post'),
    'orderby' => array('name' => 'ASC' , 'title'=>'ASC' ),
    'meta_key' => 'name'
);
```

#### ↓うまくいかないです
カスタムフィールド2つの場合、うまくいかないです。
```PHP
$param = array(
    'post_type' => array('post'),
    'orderby' => array('name' => 'ASC' , 'year'=>'DESC' ),
    'meta_query' => array(
        array(
            'key' => 'name',
        ),
        array(
            'key' => 'year',
        )
    )
);
```
---
そもそも条件2つともカスタムフィールドのやり方がよくわからくて、色々と調べて試行錯誤したのですが、よくわかりませんでした。

###### 参考にした記事
1.[関数リファレンス/WP Query](https://wpdocs.osdn.jp/%E9%96%A2%E6%95%B0%E3%83%AA%E3%83%95%E3%82%A1%E3%83%AC%E3%83%B3%E3%82%B9/WP_Query#.E9.A0.86.E5.BA.8F.E3.81.A5.E3.81.91.E3.83.91.E3.83.A9.E3.83.A1.E3.83.BC.E3.82.BF)
2.[WordPress4.0から使えるようになった複雑な’oderby’を使ってみる](https://geek-memo.com/orderby/)
3.[wordpress カスタムフィールドの値でソート（複数項目）](http://aka-iro.jp/blog/2016/04/27/wordpress-%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E3%83%95%E3%82%A3%E3%83%BC%E3%83%AB%E3%83%89%E3%81%AE%E5%80%A4%E3%81%A7%E3%82%BD%E3%83%BC%E3%83%88%EF%BC%88%E8%A4%87%E6%95%B0%E9%A0%85%E7%9B%AE%EF%BC%89/)

---


**そもそも**
● カスタムフィールドが複数の場合、従来使っていた'meta_key'には何かいれなければならないのか

●　'meta_query'を上記のような使い方であっているのか（meta_keyを入れない代わりに使用？）
●　サイトによっては 指定キー名に「meta_」とつけているものもあり、仕様がわからない。こちらもためしてみたが、うまくいかず。。

等いまいちわからないことだらけでした。

---

**どなたか詳しい方、ご教示＆やり方を教えていただけますと幸いです。**

カスタムフィールドを使った第2ソートがうまくいかない

### PHP7.2環境にてJavaScriptから飛んできた暗号化されたデータを複合化しようとしているのですがうまく複合化出来ません。


サンプルで作成したPHP上ではお互いに暗号化複合化が行えたのですが、JavaScriptから飛んできたデータを複合化しようとすると失敗します。


### 発生している問題・エラーメッセージ

```
bool(false)
```

### PHPコード

```ここに言語名を入力
<?php
// 暗号化
$iv       = "0123456789abcdef";
$password = "hogehoge";
$data     = "暗号化したい文字列";
$encrypt  = "{$iv}," . base64_encode(openssl_encrypt($data, "AES-256-CBC", $password, 1, $iv));

// 暗号化されたデータが出力される
var_dump($encrypt);

// 複合化
list($iv, $str) = explode(',',$encrypt);
$data     = base64_decode($str);
$value    = openssl_decrypt($data, "AES-256-CBC", $password, 1, $iv);
var_dump($value);
```

### JavaScriptコード
```
// JavaScriptで暗号化したデータの作成
var CryptoJS = require("cryptojs");
var iv       = CryptoJS.lib.WordArray.random(64/8).toString();
var password = "hogehoge";
var data     = "sampleString";
var options  = {iv: iv, mode: CryptoJS.mode.CBC, padding: CryptoJS.pad.Pkcs7};

var encrypt  = CryptoJS.AES.encrypt(data, password, options);

// このデータをPHPにPOSTすると失敗する。
var value    = iv + "," + encrypt;
``` 
JavaScriptで変数valueに出力された値を上記PHPコードの$encryptにセットし、複合化を行うとfalseとなってしまいます。
代替案でライブラリは一応見つけたものの、そもそも何故動かなかったのかをきちん理解しておきたいので、どうかお知恵を拝借したく。
よろしくお願いします。

AES暗号化及び復号がうまくいきません

私は大学で数学を専攻しておりました、社会人1年目の者です。

最近は機械学習・AIなどが流行っており、数学がシステム開発の場で応用されていますが、それ以外にも、何か利用されている数学の分野はあるのでしょうか？

エンジニアの方々の中で、システム開発に数学の知識を活用したことがあるという方がいらっしゃれば、是非どういう分野をどのように活用したのか、可能な範囲で教えてください。

よろしくお願いします。

システム開発に数学を使う場面はあるか？

javaを勉強中のものです。
以下のコードをコマンドプロンプトで実行してみたのですが、文字化け？してしまい、エラーになってしまいます。
文字化けしてしまっている部分は、「㎠」の部分です。
テキストエディッタはsublimeTextを使用していまして、実行時には、javac -encoding UTF-8 とファイル名の前につけ加えていまして、他の日本語に関しましては、文字化けなどしていないのですが「㎠」の部分だけ文字化けしてしまっています...
対処法などありましたら、教えて下さい。
よろしくお願いします。

```java
public class calc {
	public static double calcTriangleArea(double bottom, double height){

		

		double ans = bottom * height / 2.0;

		return ans; 
	}

	public static double calcCircleArea(double radius){

		

		double ans = radius * radius * 3.14;

		return ans;
	}

	public static void main(String[] args){

		

		double triangleArea = calcTriangleArea(5.0, 3.11);
		double circleArea = calcCircleArea(3.77);

		System.out.println("三角形の面積は" + triangleArea + "㎠" );
		System.out.println("円の面積は" + circleArea + "㎠");

	}
}

```

javaコードを実行すると文字化してしまいます

Pythonであるwebページの全てのリンクを取得しようと思います。
Beautiful.soupで特定の解析はしたことがありますが、全てのリンクを取得することはしたことはなく、質問させてください。
aタグのリンクを全て取得すれば、サイトの様々なリンクを取得できるかと思っておりますが、java遷移があるリンクは取得できないと思います。
そこで、
１、リンクアドレスをくまなく取得できているかの確認はありませんでしょうか。
2、java遷移している箇所の特定と、遷移しているかの有無を調べる方法はありますか。
宜しくお願いいたします。

Webスクレイピング

BOMの付いているファイルを一括で探せないか調べていたところ
PHPのソースで以下を利用すると書いているものがありました。

-------
preg_match('/^efbbbf/', bin2hex($contents[0].$contents[1].$contents[2]))
------


$contensには file_get_contents($path)　の値が入っているのですが、
$contents[0]～[2]の値には何がはいっているのか試してみたのですがvardumpしても文字化けのようになってしまっており解りませんでした。

知りたいこととしては　$contents[0]～[2]には何が入る場所なのかということと
なぜ$contents[0]～[2]の値を連結してから１６進数に直すのかということです。


よろしくお願いします。

BOMファイル検索について

タイトルで記述した通り、同時に10万人がアクセスする想定でサーバーを構築する場合はAWS ec2 のインスタンスタイプならどのサイズが耐えられますか？

同時に10万人アクセスする想定でAWS ec2 のインスタンスタイプならどのサイズが耐えられますか？

Windows10(家庭用のデスクトップPC)からLet’s Encryptのssl証明書を発行できるのでしょうか？

Windowsサーバからならいけそうなのですが・・・

またubuntuでLet’s Encryptのssl証明書を発行しまして、fullchain.pemとprivkey.pemができたのですが、このファイルはwindowsのapacheで使えますか？

記事のリンクなどあればうれしいです。

宜しくお願いいたします。

Let’s Encryptをwindows1０で使う方法を教えてください。

### 現状(1)

```
const str = 'あああ■いいい■ううう■えええ■おおお';
arr = str.split('■');
console.log(array); // ['あああ','いいい','ううう','えええ','おおお']
```

第一ステージとして、以下のような配列を期待しているので

```
['あああ','■','いいい','■','ううう','■','えええ','■','おおお'];
```

以下の解放を作りました。

```
const str = 'あああ■いいい■ううう■えええ■おおお'
const splitString = '■'
const arr = str.split(splitString);
arr.forEach(function(element,index) {
  if (index%2 == 0){
     return
  }
  arr[index] = '■'
});
```

### 今回したいこと。

以下にあるような配列を期待したいのですが、なかなか解法が浮かびません。

```
const str = 'あああ■いいい▲ううう■えええ▲おおお';
const arr = str.split(/■|▲/);
console.log(arr); // [ 'あああ', 'いいい', 'ううう', 'えええ', 'おおお' ]

//// 何らかの処理...

////////////// 期待する配列 /////////////////
console.log(arr); // ['あああ', '■', 'いいい', '▲', 'ううう', '■', 'えええ', '▲', 'おおお'];

```

もし実装が可能な方いらっしゃったらご教授、助言などいただけると幸いです。
また現状(1)のコードのアドバイス等も頂けると幸いです。よろしくお願いします。

Javascript | 'あ●い▲う'などの文字列をsplitなど用いて区切り文字も含めた配列にしたい。

ImageMagick で、透過PNGを使ってバッチ処理で jpeg 画像を生成する処理を作っています。

以下のような画像を（画面上ではわからないですが、白い部分が透過です）

input.png 
![input1.png 変換元画像です](5437bffc3cf119f396ffb453a3c1a05c.png)

以下のようなコマンドで変換すると
```
C:> convert input.png output1.jpg
```


output1.jpg
![output1.jpg 変換結果1](3fef933eec8732b16dac30b137cda7a3.jpeg)

のようになります。
これを、任意の色を背景に指定して(以下の例では緑色)、

expectation.jpg
![expectation.jpg 期待する結果](ddac04dbce90dcaec5bfa50a9f78b9ad.jpeg)

のような画像を得たいのです。

現状は以下のような背景用画像を用意して、

green.png
![背景用画像](fc4762159e4d7e8464d2acee6cad2c2f.png)

以下のような方法で生成しています。
```
convert green.png input.png -composite output2.jpg
```

この方法でも生成はできるのですが、実際の処理では以下の二つの理由で非常に時間がかかっており、
背景画像を読み込むのではなく、 ImageMagick 内で処理させることで、
処理時間を短縮することはできないかと思い質問しました。

* 画像が非常に大きい
* 処理するファイルの数が非常に多い

よろしくお願いいたします。

使用しているソフトウェアのバージョンは以下の通りです。
```
$ cat /etc/issue
Ubuntu 14.04.3 LTS \n \l

$ convert -version
Version: ImageMagick 6.7.7-10 2014-03-06 Q16 http://www.imagemagick.org
Copyright: Copyright (C) 1999-2012 ImageMagick Studio LLC
Features: OpenMP    
```

透過画像に背景を指定して非透過の画像をつくりたい

PHP初心者です。
現在、メールフォームを作成しているのですがメール内容にヘッダーが表示されてしまいます。

```php

<?php

//言語と文字コードの使用宣言
mb_language("ja");
mb_internal_encoding("UTF-8");

$subject = "タイトル";
$message = '【メッセージ】'.$_POST["message"]." \n";
$to .= 'aaa@bbb.com,'.$_POST["email"];


if (!mb_send_mail($to , $subject, $message, "From:
" . $_POST["email"])) {
exit("error");
}

?>

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
</head>
<body>
<p>送信されました。</p>
</body>
</html>


```

"\r\n" を "\n" に変更したり、コードのどこかに間違えがありヘッダーが押し出されているような感じなので原因を調べたりと試行錯誤しているのですが
なかなか解決策が見つかりません。

どなたかアドバイスを頂けませんでしょうか。
よろしくお願い致します。

メールフォームからメールを送った際にヘッダーが表示されてしまいます。

デバッグの為、NSLog/NSStringを使ったりしますが、「NS」は何の略がお分かりの方がいましたら、ご教示願いたいです。

調べても出てこず、ずっともやもやしています。
宜しくお願いいたします。

NSLogのNSは何の略？

### 発生している問題
クローラーのプログラム自体は出来ていて、ローカルでは動くのですが本番環境になると「403 forbidden エラー」が発生してしまいます。

ユーザーエージェントの指定やheaderの指定などをしたり、seleniumでクローラーを作り直して実行したりもしましたが、何を試しても403エラーが発生しています。

### 該当のソースコード

一部、抜粋したプログラムです

これをrails taskで実行しています。

```ここに言語名を入力
namespace :mercari_bot do
 task :iphone => :environment do
  agent = Mechanize.new
  agent.user_agent = "Mozilla/5.0"
  agent.request_headers = {
   "Accept-Encoding" => "deflate",
   "content-type"=>"text/html;charset=UTF-8"
  }
  page = agent.get("https://www.mercari.com/jp/search/?keyword=iphone")
  elements = page.search(".items-box")
  elements.each do |element|
   puts element.at("h3.items-box-name").text
  end
 end
end
```

もしくは、手早くエラーを再現する方法として、ローカルでheaderを指定せずにcurlで上記のメルカリのurlを叩くと同じ現象が発生します。

### エラーが発生していると思われる原因
メルカリで使われている、varnish serverというのが原因だと思います。
ただ、ローカルでは問題なく動くのに本番だとcurlを含め何をしても403エラーが発生するので、行き詰まってます。

お手数お掛けするのですが、何かこの問題の解決方法がわかる方がいましたら、知見を共有していただければと思います。

よろしくお願い致します。

メルカリのスクレイピングで403 forbiddenエラーが発生する原因を解決したい【ローカルはok、本番環境でエラーが発生】

### 前提・実現したいこと

ここに質問の内容を詳しく書いてください。
（例）PHP(CakePHP)で●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

（例）PHP(CakePHP)で●●なシステムを作っています。

### 前提
 - TwitterAPIは利用承認済
 - 開発はLaravel 5使用

### 要件定義
 - 「[developer.twitter](https://developer.twitter.com/)」から「Keys and Access Tokens」を取得

### 実際やったこと
参考のサイト（[【TwitterAPI】使ってみた(ユーザ情報取得) - Qiita](https://qiita.com/da-sugi/items/d3c5005c34100121a951)）通り、
ローカル環境なら「http://127.0.0.1:8000/」を入れるように書いてありましたので、その通りにやったら、このURLでは「Invalid website url（無効なWebサイトのURL）」と怒られ、どうすればいいかわからない状態です。だれかお詳しい方ご教授お願いできないでしょうか？

[TwitterAPI]APIキー取得の「Website URL (required)」でローカルURLだとエラーになる

### 前提・実現したいこと

サイト内の記事の更新をお知らせしてくれる「RSS」ですが、
このRSSが更新されるとtwitterへ自動ツイートを行いたいと思っています。

今回はRSSフィードのないサイトを更新・ツイートしたいと思っており、
自身で調べたところ自動的にRSSフィードに変換してくれるサービスがWeb上に何個かありました。

・代表例
[https://happyou.info/fs/](https://happyou.info/fs/)  （更新頻度4時間）
[https://feed43.com/](https://feed43.com/)  （更新頻度6時間）

ただ無料プランだと更新頻度が遅く、有料プランに入るのも悩ましいところです。
希望としては30分〜1時間の頻度くらいで更新を希望しているのが現状です。

更新されるとツイートしたいサイトはこちらです。
[https://www.pokemon-card.com/info/](https://www.pokemon-card.com/info/)


### 該当のソースコード

```ここに言語名を入力
<li class="List_item"></li>
```
が更新箇所となります。


### 試したこと

あらゆるウェブページをRSSフィードに変換するサイト（更新４時間間隔）
[https://happyou.info/fs/](https://happyou.info/fs/)

から

socialdogのRSS自動投稿（更新1時間間隔）
[https://web.social-dog.net/](https://web.social-dog.net/)

にしており、動作も正常に動くのですが、
上記で最大５時間の遅延が発生いたします。

即時性のある案件なので、なるべく早くtwitter投稿したいところなのですが、
何か良い方法はありますでしょうか？

また特にRSSにこだわる必要もありません。
例えばこういった方法でのツイートも可能です。
[https://nekogata.hatenablog.com/entry/2012/04/20/203440](https://nekogata.hatenablog.com/entry/2012/04/20/203440)


当方、プログラミング初心者のWebデザイナーで、
このサイトに投稿するのは初めてになります。
何かと至らない点、ご不明点などあればお気軽にレス下さいませ。

RSSフィードのないサイトの更新をtwitterに投稿したい

### 前提・実現したいこと
php-phantomjsで取得したhtmlをphpQueryでスクレイピングしたいのですが
phpQueryでスクレイピングする際にエラーになってしまいます。

url先のjs実行後のhtmlが取得できていることは確認済みです。
[こちら](https://qiita.com/karashi39/items/c2346ef45d16c028010c)を参考に実装を行ったのですが、エラーの原因がわからなかったのでご教示頂けると幸いです。

### 発生している問題・エラーメッセージ

```
Parse error: syntax error, unexpected 'newDocument' (T_STRING), expecting variable (T_VARIABLE) or '$'
```

### 該当のソースコード

```PHP
<?php
//phpqueryの読み込み
require_once("phpQuery-onefile.php");
//PHP Phantomjsの読み込み
require_once("vendor/autoload.php");
use JonnyW\PhantomJs\Client;
//インスタンスの取得
$client = Client::getInstance();
//リクエストとレスポンスオブジェクト作成
$request  = $client->getMessageFactory()->createRequest();
$response = $client->getMessageFactory()->createResponse();
//URLの指定と実行
$url = '***';
$request->setUrl($url);
$client->send($request, $response);
//js実行後のhtmlの取得
$html = $response->getContent();
//echo $html;
//DOMDocumentにする
$dom = new DOMDocument;
@$dom->loadHTML($html); //$htmlになんらかのHTML的invalidがあるので、@をつける
$dom->saveHTML();
//phpQueryでスクレイピングする
$doc = new phpQuery::newDocument($dom);//ここでエラー
echo $doc;
 ?>

```

### 補足情報（FW/ツールのバージョンなど）
PHP 7.1.16