最初に断っておきますが、食品添加物を全て悪として無くしてしまうと今の流通形態が成り立たず、欲しい時に欲しい物がない可能性がある世界を許容する必要があります。

それを踏まえた上での話です。

食品添加物で日本人が一日許容摂取量（ADI）に抵触する可能性がありそうなもの一位は「リン酸塩」です。
皆さんご存知のグルタミン酸ナトリウムも近いですが、グルタミン酸ナトリウムの毒性は極めて低いので気にしなくて良いと思います。
ソルビン酸Kやアスパルテームは平均でADIの１０％程度です。

因みに、ADIに到達したからといって健康被害が出るわけじゃないです。
ADIは、その量を一生涯とり続けても問題ないとされる量、です。
ADIの１０～１００倍摂取したら健康上問題出る可能性がある、というレベルです。
ADIはかなり安全な数値です。
多くの人はＡＤＩ以下しか摂取してません。
ですから、アスパルテームやソルビン酸ｋの健康被害を出そうと思うと、今の１００～１０００倍摂取しないといけないので、そんな事は土台不可能です。

リン酸塩の問題はリン酸塩自体の毒性というより、カルシウムやミネラルの栄養吸収を阻害するので、ただでさえカルシウム摂取量が少ない日本人にとっては良くないです。
加えて、リン酸塩は加工食品に多く、加工食品の多くは栄養バランスが悪いので、食べてるようで栄養失調になる可能性があります。
インスタントラーメンばかり食べてる人で不調の人の大半は、栄養失調だろうと予想してます。