Androidでアクションバーのタイトルが「...」で終わるかどうか判定する方法

「長すぎるかどうか判別する方法」はわかりませんが、「長すぎる場合はフォントを小さくする」ことならできそうです。

Activityのタイトルバーの代わりにサポートライブラリーが提供するToolbarを使用、Toolbarの子要素としてTextViewを配置、このTextViewにAPI 26で導入されたAutosizing TextViewsを適用することで実現できます。

res/styles.xml（標準のタイトルバーをNoActionBarに書き換える）

<resources>

    <style name="AppTheme" parent="Theme.AppCompat.Light.NoActionBar">
        <!-- Customize your theme here. -->
        <item name="colorPrimary">@color/colorPrimary</item>
        <item name="colorPrimaryDark">@color/colorPrimaryDark</item>
        <item name="colorAccent">@color/colorAccent</item>
    </style>

</resources>

activity_main.xmlの例

<?xml version="1.0" encoding="utf-8"?>
<android.support.constraint.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <android.support.v7.widget.Toolbar
        android:id="@+id/toolbar"
        android:layout_width="0dp"
        android:layout_height="?attr/actionBarSize"
        android:layout_marginEnd="0dp"
        android:layout_marginStart="0dp"
        android:layout_marginTop="0dp"
        android:background="?attr/colorPrimary"
        android:theme="@style/ThemeOverlay.AppCompat.ActionBar"
        app:layout_constraintLeft_toLeftOf="parent"
        app:layout_constraintRight_toRightOf="parent"
        app:layout_constraintTop_toTopOf="parent">

        <TextView
            android:id="@+id/toolbar_title"
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:gravity="center_vertical"
            android:maxLines="1"
            android:textColor="@android:color/white"
            android:textSize="20sp"
            app:autoSizeMinTextSize="1sp"
            app:autoSizeStepGranularity="1px"
            app:autoSizeTextType="uniform" />

    </android.support.v7.widget.Toolbar>

</android.support.constraint.ConstraintLayout>

MainActivity.javaの例

public class MainActivity extends AppCompatActivity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        Toolbar toolbar = findViewById(R.id.toolbar);
        setSupportActionBar(toolbar);

        TextView toolbarTitle = findViewById(R.id.toolbar_title);
        toolbarTitle.setText("あいうえお");
　　　　　//toolbarTitle.setText("あいうえおかきくけこさしすせそたちつてとなにぬねのはひふへほまみむめもらりるれろ");
    }
}

5文字のとき

40文字のとき

なお、Autosizing TextViewsを用いるためにはcompileSdkVersionを26以上にする必要があり、さらにminSdkVersionに設定できる下限が14となるため、Android 4.0未満の端末では動かせません。