里芋や自然薯、長芋の皮をむいているときの手や、とろろ芋を食べた後の口周りが痒くなるのは、含まれるシュウ酸カルシウムが影響しているかもしれません。
里芋、自然薯、長芋、大和芋などにはシュウ酸カルシウムが多く含まれ、このシュウ酸カルシウム結晶の中に針のような形状をした針状結晶が肌に付着すると刺激を感じ、痒みを感じることがあります。

針状結晶の数と針の長さには違いが

1つの結晶細胞の中に含まれる針状結晶の数と針の長さは、芋の種類によっても異なります。以下の中では、数が多いのは長芋ですが、皮の近くに結晶細胞がより多く存在するのはイチョウ芋になります。
素手で皮むきをしている際に、痒みをより強く感じるのはイチョウ芋で、擦ったものが口のまわりの皮膚についたときに痒みを感じやすいのは長芋とも言えるかと思います。

自然薯：38～92本（平均58本）、40～190μ（平均103μ）
イチョウ芋：51～98本（平均75本）、50～170μ（平均102μ）
長芋：67～168本（平均121本）、40～230μ（平均136μ）
つくね芋：53～125本（平均101本）、40～140μ（平均74μ）
一年芋：41～88本（平均65本）、60～210μ（平均130μ）

出典）https://www.jstage.jst.go.jp/article/jhej1951/25/1/25_1_27/_pdf

尚、やまいも（やまのいも）とは、ヤマノイモ、大薯（だいしょ）、自然薯の総称で、ヤマノイモの中に、長芋、イチョウ芋、つくね芋が含まれます。大和芋は関東ではイチョウ芋を指し、関西ではつくね芋を指します。
大和芋は、かるかんや薯蕷饅頭など和菓子の原料になります。和菓子にはやまいもを原料にしているものも多くあり、中には低温加熱でつくられているものもあります。

日本標準商品分類において「やまいも」は「やまのいも」を指しており、「じねんじょ」、「ながいも」、「つくねいも」、「いちょういも」、「やまといも」も「やまいも」に含まれるとしています。
アレルギー表示における「やまいも」は、「ながいも」、「やまといも」、「じねんじょ」、「つくねいも」、「いちょういも」も対象になります。

加熱、胃の中で針状結晶の刺激は弱まる

針状結晶は加熱をすると刺激が弱まり、0.5％塩酸（胃酸とほぼ同等）の中で大体30分ぐらいで溶解するとの報告もあります。
付着した皮膚の部位の痒み以外に、食後に腹痛や呼吸器症状、血管付着部位以外の皮膚に症状が出る場合は、針状結晶が原因でない可能性が高いと言えます。
また、山芋を酢水にさらすと刺激が弱まるのも、針状結晶が酸により溶解しやすくなることに起因しています。

アセチルコリンによるアレルギー様症状

神経伝達物質「アセチルコリン」が、自律神経失調症状や血管収縮、血圧上昇その後、血管拡張、血管拡張による全身の痒み、心拍数低下、血圧降下、動悸、顔面紅潮、発汗、吐き気、嘔吐、腹痛や下痢、気管支収縮などを起こす場合があります。

アレルギー反応ではありませんが、里芋や自然薯、長芋には、アセチルコリンを含むため、食後にこれらのアレルギー症状に似た面のある症状が出現する場合があります。あく抜きをする、一度に多く摂取しないなどに留意するよう心掛けるのも良いかと思います。